🤖 machine learning

Incremental Evaluation and Training in Relational Deep Learning

Este artigo aborda as limitações da avaliação estática em Aprendizado Profundo Relacional ao introduzir um paradigma de treinamento e avaliação incremental e de múltiplos episódios que aproveita o aprendizado por transferência para lidar efetivamente com desvios conceituais temporais e superar as linhas de base tradicionais de treinamento do zero.

Autores originais: Jakub Peleška, Gustav Šír

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jakub Peleška, Gustav Šír

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a prever o futuro com base em uma biblioteca massiva e viva de informações. Esta não é apenas uma biblioteca de livros; é um banco de dados relacional, uma teia complexa de tabelas interconectadas onde cada pedaço de dado conversa com outro — como usuários, produtos, registros e interações, todos ligados entre si. Por muito tempo, cientistas têm usado um tipo especial de "cérebro" chamado Aprendizado Profundo Relacional (RDL) para ler essa teia. Pense no RDL como um detetive superinteligente que não apenas lê uma página por vez, mas entende toda a estrutura da história, conectando os pontos entre diferentes personagens e eventos sem precisar achatar a história em uma lista entediante de números primeiro.

No entanto, há um problema. Na maioria das vezes, quando testamos esses robôs detetives, damos a eles um único registro congelado da biblioteca — uma foto tirada em um momento específico no tempo. Pedimos que resolvam um mistério baseado nessa única foto e então os declaramos um sucesso ou um fracasso. Mas a vida real não funciona como um álbum de fotos; ela funciona como uma transmissão ao vivo. Novos livros são adicionados a cada segundo, livros antigos são atualizados, e a história muda. Se você treinar um detetive em um registro de uma foto do ano passado, ele pode ficar totalmente confuso com as novas reviravoltas que estão acontecendo hoje. Este artigo faz uma pergunta simples, mas vital: o que acontece com esses detetives de IA quando a biblioteca continua crescendo, e como ensinamos eles a acompanhar o ritmo sem começar do zero toda vez?

Os autores deste artigo, Jakub Peleška e Gustav Šír, da Universidade Técnica de Praga, decidiram parar de tratar bancos de dados como fotos congeladas e começar a tratá-los como organismos vivos e pulsantes. Eles introduziram uma nova maneira de testar e treinar esses modelos de IA chamada paradigma "incremental, multi-episódio". Em vez de dar ao modelo um grande exame baseado em dados antigos, eles simulam um cenário do mundo real onde os dados chegam em blocos ao longo do tempo. Eles deixam o modelo fazer um teste, aprender com a nova informação que acabou de chegar e, em seguida, fazer outro teste no próximo bloco de tempo, repetindo esse ciclo.

Quando rodaram este experimento em enormes conjuntos de dados do mundo real (como cliques de usuários em anúncios ou registros de desempenho de motoristas), descobriram algo importante: o mundo muda mais rápido do que pensávamos. Eles descobriram que o "desvio de conceito temporal" está em toda parte. Esta é uma maneira sofisticada de dizer que as regras do jogo mudam ao longo do tempo. Um padrão que era verdadeiro ontem pode ser completamente falso amanhã. Por exemplo, a maneira como os usuários interagem com produtos hoje pode ser totalmente diferente de como faziam há alguns meses. Quando testaram o método antigo — treinar um modelo do zero com os dados mais recentes a cada vez — ele era lento, caro e muitas vezes não performava tão bem quanto o esperado porque esquecia tudo o que aprendeu antes.

Para corrigir isso, a equipe tentou uma abordagem diferente: o "ajuste fino" (fine-tuning). Imagine que, em vez de retreinar o detetive desde o bebê toda vez que um novo livro chega, você apenas lhe dá um curso de atualização rápida sobre o novo material. Eles testaram quatro maneiras diferentes de fazer isso, incluindo uma onde o modelo aprende apenas com os dados mais recentes e outra onde ele mistura novos dados com dados antigos para evitar o esquecimento. Os resultados foram impressionis. Os modelos que usaram essas estratégias de ajuste fino incremental performaram consistentemente tão bem quanto, ou até melhor do que, os modelos caros feitos "do zero", mas fizeram isso muito mais rápido. De fato, em alguns casos, os modelos de ajuste fino atingiram o desempenho máximo em apenas algumas centenas de etapas, enquanto os outros precisavam de milhares.

Os pesquisadores também notaram que nem todas as previsões futuras são igualmente importantes. Prever o que acontecerá na próxima hora é geralmente mais crítico para uma empresa do que prever o que acontecerá em um ano. Por isso, eles inventaram um novo sistema de pontuação que pesa as previsões recentes com mais força, como um professor que se importa mais com seu último teste do que com seu dever de casa do mês passado. Quando usaram essa nova métrica, os modelos incrementais brilharam ainda mais, provando que são melhores em se adaptar ao futuro imediato.

Em resumo, este artigo sugere que, para construir IAs verdadeiramente robustas para bancos de dados relacionais, precisamos parar de tratar os dados como instantâneos estáticos e começar a tratá-los como um fluxo contínuo. Ao usar o treinamento incremental e focar na precisão do futuro próximo, podemos criar modelos que não apenas aprendem uma vez e ficam estagnados, mas que evoluem e se adaptam conforme o mundo ao seu redor muda. Embora o estudo tenha focado em bancos de dados que apenas adicionam novos dados (como um registro de "apenas adição"), e não tenha testado sistemas onde dados são deletados ou pesadamente editados, as descobertas oferecem um roteiro sólido para tornar a IA mais resiliente e prática para o mundo real e em constante mudança.

Resumo Técnico: Avaliação e Treinamento Incremental em Aprendizado Profundo Relacional

1. Definição do Problema

O Aprendizado Profundo Relacional (RDL) surgiu como um paradigma transformador para modelar bancos de dados multi-tabulares como grafos heterogêneos temporais, permitindo o aprendizado de representação de ponta a ponta sem engenharia de atributos manual. No entanto, as práticas predominantes de avaliação de RDL dependem de instantâneos (snapshots) estáticos de conjuntos de dados de episódio único. Essa abordagem negligencia a natureza contínua e evolutiva no tempo dos bancos de dados do mundo real, onde os dados se expandem e mudam dinamicamente. Consequentemente, os benchmarks atuais falham em capturar como o desempenho do modelo degrada ao longo do tempo devido ao drift de conceito temporal (temporal concept drift). O atual framework de avaliação estática, embora evite o vazamento temporal (temporal leakage) via divisões cronológicas, avalia modelos em episódios isolados, falhando em abordar os pré-requisitos para modelos de fundação RDL robustos que devem se adaptar a dados em crescimento contínuo.

2. Metodologia

2.1 Paradigma Incremental e Multi-Episódico

Os autores propõem um novo paradigma de avaliação e treinamento que simula o ciclo de vida real do crescimento de um banco de dados. Em vez de uma única divisão estática, o framework transita para um cenário multi-episódico:

Episódios: O tempo é dividido em incrementos ( $\Delta I$ ). Cada episódio $i$ introduz um novo lote de dados alvo que chega dentro de uma janela de tempo específica.
Crescimento Somente de Adição (Append-Only): O conjunto de treinamento expande-se estritamente através da adição de novos incrementos de dados ao contexto histórico, garantindo que não haja vazamento temporal.
Horizontes Deslocados: Em cada episódio, os horizontes de validação e teste deslocam-se cronologicamente para frente. O modelo é avaliado em dados alvo recém-revelados enquanto é treinado no histórico cumulativo até aquele ponto.

2.2 Regimes de Treinamento

Para avaliar a adaptabilidade, o artigo compara quatro estratégias de treinamento distintas para cada episódio $i$ :

Do Zero (From Scratch - Baseline): O modelo é retreinado do zero usando todos os dados disponíveis até o carimbo de tempo de validação atual $t^{(i)}_{val}$ . Isso serve como um baseline de limite superior computacionalmente caro.
Ajuste Fino Cumulativo (Finetune Cumulative): O modelo retém os pesos do episódio $i-1$ e é ajustado (fine-tuned) em todo o conjunto de dados históricos até $t^{(i)}_{val}$ .
Ajuste Fino Incremental (Finetune Incremental): O modelo é atualizado exclusivamente no incremento de dados mais recente para maximizar a velocidade de treinamento e a responsividade imediata.
Ajuste Fino com Sobreamostragem (Finetune Upsampled): Uma estratégia híbrida que realiza o ajuste fino em uma distribuição sobreamostrada do incremento mais recente, enquanto retém dados históricos (amostrados com uma probabilidade específica) para mitigar o esquecimento catastrófico.

2.3 Métricas de Avaliação Ponderadas pelo Tempo

Reconhecendo que previsões para o futuro próximo são frequentemente mais criticamente operacionais do que previsões de longo prazo, os autores introduzem uma métrica de decaimento exponencial ponderada pelo tempo.

As métricas padrão (ex: MAE, AUROC) são ponderadas com base na distância temporal do horizonte de treinamento.
Uma taxa de decaimento $\alpha \in [0, 1]$ é aplicada, onde $\alpha=0$ resulta em uma média uniforme e $\alpha \to 1$ prioriza o próximo incremento imediato.
O peso $W_{s,i}$ para uma amostra na janela $i$ é calculado como:
$W_{s,i} = \frac{(1 - \alpha)^{i-1}}{\sum_{j=1}^{N} |S_j|(1 - \alpha)^{j-1}}$

2.4 Configuração Experimental

Datasets: 12 tarefas (regressão e classificação binária) em 4 bancos de dados do benchmark RelBench.
Arquitetura: Arquitetura RDL padrão composta por codificadores de nós ResNet tabulares (via PyTorch Frame) pareados com GraphSAGE (2 camadas de passagem de mensagem).
Implementação: Construído sobre PyTorch, PyTorch Lightning e PyTorch Geometric, utilizando treinamento de mini-lote (mini-batch) com amostragem de vizinhos temporais uniforme para evitar vazamento.

3. Resultados Principais

3.1 Drift de Conceito Temporal

O estudo demonstra empiricamente que o drift de conceito temporal é prevalente em tarefas padrão de RDL.

A análise das distribuições de dados (Figura 3b) revela mudanças claras nas distribuições cumulativas de valores alvo ao longo do tempo para a maioria das tarefas (ex: rel-stack, rel-trial).
Modelos de linha de base "Do Zero" treinados incrementalmente mostram uma tendência geral de degradação de desempenho ao longo do tempo quando avaliados em horizontes subsequentes, confirmando que snapshots estáticos são insuficientes para capturar a robustez de longo prazo do modelo.

3.2 Eficácia do Ajuste Fino Incremental

Regimes de treinamento incremental consistentemente igualam ou superam os baselines caros "Do Zero":

Desempenho: Estratégias de ajuste fino (Cumulativo, Incremental, Sobreamostrado) alcançam desempenho comparável ou superior aos modelos retreinados do zero na maioria das tarefas.
Eficiência: Os regimes "Finetune (Incremental)" e "Finetune (Upsampled)" demonstram alta eficiência computacional. Notavelmente, modelos pré-treinados alcançam desempenho em paridade com os baselines totalmente treinados em apenas 100 passos de treinamento, destacando a viabilidade da transferência de aprendizado em RDL.
Robustez: A estratégia "Finetune (Upsampled)" equilibra efetivamente a responsividade aos novos dados com a retenção do conhecimento histórico, mitigando o esquecimento catastrófico.

3.3 Impacto das Métricas Ponderadas pelo Tempo

A aplicação das métricas de avaliação com decaimento revela padrões distintos de utilidade do modelo:

Variar o fator de decaimento $\alpha$ geralmente preserva o ranking dos regimes de treinamento ideais.
No entanto, os valores absolutos das métricas mudam com base na volatilidade temporal do conjunto de dados. Por exemplo, study-adverse mostra uma queda consistente de desempenho conforme o foco se desloca para o futuro imediato, enquanto driver-position mostra melhoria em taxas de decaimento específicas, sugerindo diferentes taxas de volatilidade temporal localizada entre os conjuntos de dados.

4. Significância e Contribuições

O artigo reivindica as seguintes contribuições para o campo do Aprendizado Profundo Relacional:

Mudança de Paradigma: Introduz um paradigma de avaliação e treinamento incremental e multi-episódico que alinha o benchmarking de RDL com a realidade contínua e dinâmica dos bancos de dados reais, indo além de snapshots estáticos.
Validação Empírica de Drift: Fornece o primeiro benchmark formal demonstrando que o drift de conceito temporal é um fator dominante em tarefas padrão de RDL, necessitando de métodos de avaliação dinâmica.
Viabilidade de Transferência de Aprendizado: Estabelece que o ajuste fino incremental não é apenas viável, mas altamente eficaz no cenário de RDL, oferecendo uma alternativa computacionalmente superior ao retreinamento do zero, mantendo ou até melhorando a precisão preditiva.
Alinhamento Operacional: Ao propor métricas de avaliação ponderadas pelo tempo, o trabalho alinha a avaliação de benchmarks com as prioridades operacionais práticas que favorecem a precisão do futuro próximo.

5. Limitações

Os autores reconhecem diversas limitações:

Mutações de Dados: A configuração experimental atual foca no crescimento apenas de adição (append-only). Sistemas do mundo real envolvem atualizações e exclusões (operações CRUD), que introduzem dependências de atributos complexas exigindo investigação adicional (ex: atualizações de estado de nós dinâmicos).
Esquecimento Catastrófico: Embora o ajuste fino incremental seja escalável, mitigar o esquecimento catastrófico ao longo de horizontes estendidos continua sendo um desafio, podendo exigir técnicas avançadas de aprendizagem contínua, como buffers de repetição (replay buffers) dinâmicos.
Modelos de Fundação: Estender esta avaliação contínua para os emergentes modelos de fundação monolíticos de RDL permanece um desafio aberto para compreender plenamente sua resiliência específica ao drift temporal.