Resumo Técnico: Dispersão de Atenção em Transformers de Grafos Dinâmicos

Declaração do Problema

A aprendizagem em Grafos Dinâmicos de Tempo Contínuo (CTDG) tem adotado cada vez mais arquiteturas baseadas em Transformers para processar sequências históricas de interações de comprimento variável. Embora esses modelos se tenham tornado o paradigma dominante em benchmarks padrão, o seu desempenho estagna em conjuntos de dados caracterizados por desvios de distribuição temporal significativos entre as janelas de treino e teste. A investigação existente focou-se principalmente na melhoria da construção de sequências (por exemplo, codificação de co-ocorrência de vizinhos, "patching" temporal) e no design de características, no entanto, essas abordagens falham em resolver a degradação de desempenho em conjuntos de dados de alto desvio, como US Legis., UN Trade e UN Vote.

O artigo identifica que esta limitação não se deve à falta de disponibilidade de informação ou a capacidade insuficiente do modelo. Em vez disso, o modo de falha central é a dispersão de atenção: sob desvio de distribuição temporal, os mecanismos de atenção softmax padrão falham em concentrar a massa de probabilidade em tokens históricos críticos, resultando em distribuições de atenção excessivamente planas que não conseguem distinguir fiavelmente sinais preditivos de ruído.

Metodologia

1. Diagnóstico da Dispersão de Atenção

Os autores estabelecem primeiro que a degradação do desempenho correlaciona-se fortemente com a magnitude do desvio de distribuição temporal, medido pela Discrepância Máxima de Média (MMD). Para localizar a causa, introduzem o conceito de nós críticos: vizinhos históricos que são estruturalmente centrais (conectados a múltiplos nós na estrutura de interação local) ou temporalmente estáveis (envolvidos em relações repetidas e estáveis).

Através de estudos de ablação controlada, os autores demonstram:

• Disponibilidade de Informação: Nós críticos carregam informação preditiva desproporcionalmente. O seu mascaramento causa quedas significativas de desempenho, especialmente em conjuntos de dados de alto desvio.
• O Gargalo: Mesmo quando todos os nós críticos estão presentes na entrada, os modelos Transformer existentes performam mal em conjuntos de dados de alto desvio. Isto indica que a falha reside na alocação de atenção, e não na recuperação de informação.
• Mecanismo: Desvios temporais reduzem o contraste relativo nas pontuações query-key ($QK^\top$), fazendo com que o softmax subsequente produza distribuições mais planas e dispersas. O modelo atribui peso insuficiente aos tokens mais informativos.

2. A Solução Proposta: Atenção Diferencial

Para abordar a dispersão de atenção, o artigo propõe substituir a auto-atenção padrão por Atenção Diferencial. Originalmente proposta para modelagem de linguagem, este mecanismo calcula a diferença entre dois mapas de atenção softmax derivados da mesma entrada:
$$\text{DiffAttn}(Z) = (A_1 - \lambda A_2)V$$
onde $A_1$ e $A_2$ são mapas de atenção calculados a partir de dois pares query-key, e $\lambda$ é um escalar aprendível.

• Função: A subtração suprime a atenção de "modo comum" (sinais que aparecem de forma semelhante em ambos os mapas, representando frequentemente ruído ou padrões genéricos) e amplifica sinais distintivos ao nível do token.
• Objetivo: Isto restaura o contraste entre tokens históricos, forçando o modelo a concentrar a massa de probabilidade nos nós críticos mais preditivos.

3. Implementação DiffDyG

Os autores instanciam esta correção no DiffDyG, um Transformer CTDG de referência.

• Arquitetura: Mantém componentes padrão de construção de entrada (RoPE, codificação de co-ocorrência de vizinhos, codificação de distância espacial), mas substitui as camadas de auto-atenção por atenção diferencial.
• Eficiência: Devido à capacidade melhorada de desruido temporal da atenção diferencial, o DiffDyG alcança desempenho superior com uma dimensão de incorporação menor (36 vs. 50 nas linhas de base) e menos parâmetros, resultando em tempos de treino mais rápidos quando combinado com FlashAttention e Grouped Query Attention.

Contribuições Principais

1. Diagnóstico: O artigo identifica a dispersão de atenção como um modo de falha partilhado de modelos CTDG baseados em Transformers sob desvio de distribuição temporal. Demonstra que sinais preditivos críticos existem na entrada, mas são ignorados devido a distribuições de atenção achatadas.
2. Validação: Os autores validam este diagnóstico em três linhas de base arquiteturalmente distintas (DyGFormer, TIDFormer, TCL). Substituir apenas o mecanismo de atenção por atenção diferencial produz ganhos de desempenho consistentes, particularmente em conjuntos de dados de alto desvio. Medições diretas confirmam que a correção reduz a entropia de atenção e aumenta a massa de atenção nos nós críticos.
3. Desempenho SOTA: O DiffDyG alcança resultados state-of-the-art em 9 benchmarks sob três protocolos de amostragem negativa (aleatória, histórica e indutiva). Fecha significativamente a lacuna de desempenho nos conjuntos de dados deslocados mais desafiadores onde os métodos anteriores estagnaram.

Resultados

• Ganhos de Desempenho: Em conjuntos de dados de alto desvio, o DiffDyG mostra melhorias substanciais sobre as melhores linhas de base existentes:
  • US Legis.: 71,1% $\to$ 87,5% AP
  • UN Trade: 66,5% $\to$ 99,0% AP
  • UN Vote: 69,0% $\to$ 88,8% AP
• Verificação do Mecanismo: Medições ao nível da atenção mostram que a atenção diferencial reduz consistentemente a entropia (indicando foco mais aguçado) e aumenta a proporção de massa de atenção atribuída aos nós críticos em comparação com a atenção padrão.
• Eficiência: O DiffDyG treina 1,5$\times$ a 2,5$\times$ mais rápido do que modelos comparáveis baseados em Transformers (por exemplo, DyGFormer, TIDFormer) enquanto utiliza menos parâmetros.

Significado e Alegações

O artigo argumenta que o caminho a seguir para a aprendizagem CTDG em conjuntos de dados difíceis e deslocados requer não apenas uma melhor construção de sequências históricas, mas melhores mecanismos para alocação de atenção sobre essas sequências. O trabalho demonstra que uma mudança direcionada ao mecanismo de atenção pode resolver gargalos de desempenho que inovações arquitetónicas na codificação de entrada falharam em corrigir.

Os autores mantêm uma postura modesta, notando que a sua análise é principalmente empírica. Reconhecem que não fornecem uma caracterização teórica formal de quando a atenção softmax se torna dispersa ou quando a atenção diferencial é garantida para ajudar. Além disso, a sua definição de "nós críticos" serve como uma sonda de diagnóstico e não como uma definição ótima única, e a avaliação está atualmente limitada à previsão de ligações dinâmicas em benchmarks padrão. Sugere-se trabalho futuro para estender estas descobertas a outras tarefas de grafos dinâmicos e grafos industriais maiores.