Resumo Técnico: Nunca Pule um Lote: Aprendizado Denso de TGNs Temporais via Pseudo-Supervisão Adaptativa

1. Declaração do Problema

As Redes de Grafos Temporais (TGNs) são modelos de estado da arte para tarefas de grafos dinâmicos, mas sua eficiência de treinamento é severamente prejudicada pela escassez de supervisão em conjuntos de dados do mundo real. Em muitos problemas aplicados (ex: recomendação, detecção de fraude), as interações rotuladas constituem menos de 2% do total de eventos. Consequentemente, as implementações padrão de TGN processam lotes (batches) em dois modos distintos:

1. Lotes Supervisionados: Etapas completas de treinamento envolvendo atualizações de gradiente e atualizações de memória.
2. Lotes Não Supervisionados: Ocorrem apenas atualizações de memória e do amostrador de vizinhos; nenhuma atualização de parâmetros baseada em gradiente é realizada porque os rótulos de verdade fundamental (ground-truth) estão ausentes.

Este comportamento de "pular um lote" cria um gargalo significativo. O modelo pula atualizações de parâmetros para a vasta maioria dos dados, levando a atualizações de gradiente de alta variância quando os rótulos finalmente estão disponíveis e uma lenta convergência de tempo de execução (wall-clock). O artigo postula que as preferências dos nós evoluem lentamente, sugerindo que sinais de supervisão históricos podem ser aproveitados para gerar pseudo-alvos informativos para esses lotes, que de outra forma estariam ociosos.

2. Metodologia: Rótulos de Média Móvel (MAL)

Os autores propõem os Rótulos de Média Móvel (Moving-Averaged Labels - MAL), um esquema de rotulagem pseudo que gera alvos suaves para lotes não supervisionados com base em sinais de supervisão históricos. Esta abordagem é ortogonal à arquitetura do modelo subjacente (ex: TGNv2, DyRep) e não introduz parâmetros aprendíveis adicionais.

Mecanismo Central

Para um nó $v$ em um lote $B_t$ carente de rótulos de verdade fundamental, o MAL constrói um pseudo-alvo $\tilde{y}^{(v)}_t$ usando alvos observados anteriormente. O pseudo-alvo é definido como:
$$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$$
Onde:

• $\bar{y}^{(v)}_t$ é um agregado de alvos históricos.
• $\epsilon$ é um ruído de média zero amostrado de uma distribuição uniforme, normalizado para garantir que $\tilde{y}^{(v)}_t$ permaneça uma distribuição de probabilidade válida (soma 1).
• $\gamma$ é um fator de escala de ruído atuando como um regularizador.

Estratégias de Agregação

O artigo avalia três estratégias para computar o agregado histórico $\bar{y}^{(v)}_t$:

1. Previsão Persistente (Persistent Forecast - PF): Reutiliza o rótulo observado mais recentemente para o nó.
2. Média Móvel (Moving Average - MA): Atualiza incrementalmente o pseudo-rótulo usando uma janela de tamanho $w$. Quando um novo alvo $y^{(v)}_t$ chega, o agregado é atualizado como:
   $$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$$
3. Média Histórica (Historical Average - HA): Agrega todos os alvos passados com peso igual (baseline teórica).

Pipeline de Treinamento

O método modifica o loop de treinamento padrão do TGN. Quando um lote chega sem rótulos de verdade fundamental, o modelo computa os pseudo-alvos $\tilde{y}$ usando a estratégia de agregação escolhida. O modelo então realiza uma passagem direta (forward pass) completa, computa a perda de entropia cruzada contra esses pseudo-rótulos e realiza o backpropagation para atualizar tanto os parâmetros da GNN quanto os módulos de memória. Isso transforma a computação "ociosa" em etapas de treinamento produtivas.

3. Análise Teórica

O artigo fornece uma justificativa teórica de por que o MAL melhora a velocidade de convergência ao reduzir a variância dos gradientes estocásticos.

• Redução de Variância: Sob a suposição de preferências de usuário constantes (ou de deriva lenta), os autores modelam a geração de rótulos como um processo onde os rótulos reais são vetores one-hot. Eles provam que agregar $h$ rótulos históricos (Média Histórica) reduz a variância do estimador de rótulo em comparação com uma única observação.
• Limite de Convergência: Para o Gradiente Descendente Estocástico (SGD) com uma perda fortemente convexa $\mu$, o limite de arrependimento (regret bound) $R_T$ é proporcional à variância do gradiente $\sigma^2$. Os autores derivam que, para os Rótulos de Média Histórica (HA), a variância escala com $\frac{1}{\min(h, k)}$, onde $h$ é o comprimento do histórico e $k$ é o número de classes de interação possíveis.
• Resultado: Isso implica um aumento teórico na velocidade de convergência de um fator de $\min(h, k)$ em comparação ao treinamento vanilla, desde que a suposição de consistência temporal seja válida.

4. Resultados Experimentais

Os autores avaliaram o MAL no Temporal Graph Benchmark (TGB) usando quatro conjuntos de dados de larga escala: tgbn-trade, tgbn-genre, tgbn-reddit e tgbn-token. Eles implementaram o MAL no TGNv2 e em um DyRepv2 modificado (incorporando a identificação de origem-destino do TGNv2).

Principais Descobertas

• Desempenho Preditivo: O MAL superou consistentemente o treinamento vanilla e outras baselines. No modelo TGNv2, a Média Móvel (MA) alcançou melhorias no NDCG@10 variando de 3% a 17% entre os datasets em comparação ao treinamento vanilla.
• Velocidade de Convergência: O ganho mais significativo foi na eficiência do treinamento. O MAL reduziu o tempo para precisão (tempo para atingir a pontuação máxima) em uma média de 6× em todos os datasets. Em alguns casos (ex: tgbn-token), o método alcançou o desempenho de um modelo vanilla totalmente convergido em uma fração do tempo.
• Comparação com Baselines:
  • Modelos Vanilla: Muitas arquiteturas existentes (JODIE, TGAT, CAW-N, etc.) colapsaram para soluções triviais (desempenho semelhante a uma baseline de alvo médio) nos datasets TGB sem as melhorias arquiteturais específicas do TGNv2.
  • Pseudo-Rotulagem Alternativa: O MAL superou o Previsão Persistente (PF), o Suavização de Rótulos (Label Smoothing) e as estratégias de Aprendizado Auto-Supervisionado (SSL) de predição de próxima aresta.
  • Tamanho da Janela: Um estudo de ablação mostrou que os tamanhos de janela ideais variam por dataset (ex: $w=3$ para trade, $w=9$ para Reddit), mas um padrão de $w=7$ geralmente forneceu um desempenho robusto.
• Robustez:
  • Ruído: O método permaneceu estável através de diferentes fatores de ruído ($\gamma$).
  • Embaralhamento Temporal: Quando os rótulos de treinamento foram embaralhados (destruindo a consistência temporal), o desempenho caiu significativamente para todos os métodos, confirmando que os ganhos derivam da consistência temporal e não de mera regularização.
  • Escassez: Sob remoção controlada de rótulos, a vantagem relativa do MAL sobre o treinamento vanilla aumentou conforme a supervisão se tornou mais escassa.

5. Significância e Alegações

O artigo afirma abordar uma ineficiência fundamental no aprendizado de grafos dinâmicos: o desperdício de recursos computacionais em lotes não supervisionados.

• Mudança de Paradigma: O trabalho muda o paradigma de "treinar apenas quando supervisionado" para "sempre treinar, extrapolando inteligentemente".
• Eficiência sem Complexidade: O método alcança resultados de estado da arte (SOTA) e aumentos significativos de velocidade sem modificar a arquitetura do modelo, adicionar parâmetros aprendíveis ou exigir uma etapa separada de pré-treinamento.
• Fundamentação Teórica: Fornece uma prova teórica de que a agregação de supervisão histórica reduz a variância do gradiente, levando a uma convergência mais rápida sob suposições leves de estabilidade temporal.
• Impacto Prático: Ao permitir o aprendizado denso em dados esparsos, o MAL torna o treinamento de modelos de grafos temporais de larga escala significativamente mais rápido e eficaz, particularmente em domínios onde eventos rotulados são raros.

Os autores concluem que a consistência temporal é um sinal de supervisão não explorado que, quando aproveitado via médias móveis simples, oferece uma solução principista e leve para a esparsidade de gradiente no aprendizado de grafos temporais.