Resumo Técnico: DynaSTy

Formulação do Problema

O artigo aborda o desafio da predição de atributos de nós em múltiplos passos e múltiplas dimensões em grafos dinâmicos. Diferentemente das Redes Neurais Gráficas Espaço-Temporais (STGNNs) tradicionais que assumem uma matriz de adjacência estática compartilhada entre todos os passos de tempo e amostras de treinamento, o DynaSTy visa cenários onde a estrutura do grafo (arestas) evolui ao longo do tempo e varia entre amostras de entrada individuais.

O problema é definido da seguinte forma: Dada uma sequência de matrizes de características de nós $\{X_1, \dots, X_L\}$ e uma sequência correspondente de matrizes de adjacência $\{A_1, \dots, A_L\}$ representando um grafo dinâmico $G_t = (V, E_t)$, o objetivo é prever características futuras de nós $\{X_{L+1}, \dots, X_{L+H}\}$. O framework assume um conjunto fixo de nós $V$ (uma ontologia de nós compartilhada), mas permite que o conjunto de arestas $E_t$ mude dinamicamente em cada passo de tempo e difira entre amostras de treinamento (por exemplo, diferentes sujeitos em um estudo de rede cerebral ou diferentes dias em uma rede de tráfego).

Metodologia

O DynaSTy é um modelo espaço-temporal end-to-end com viés em arestas, composto por um codificador espacial e um decodificador temporal.

1. Visão Geral da Arquitetura

• Representação de Entrada: Cada amostra de treinamento consiste em um tensor de histórico de atributos de nós $X_{hist} \in \mathbb{R}^{N \times D \times L}$ e uma sequência de grafos dinâmicos $A_{hist} \in \mathbb{R}^{N \times N \times L}$.
• Codificador Espacial (Atenção com Viés em Arestas):
  • O codificador utiliza uma pilha de camadas de transformador.
  • Mecanismo Central: Em vez de aprender um grafo estático ou usar uma adjacência fixa, o modelo injeta a matriz de adjacência observada $A_t$ em cada passo de tempo como um viés aditivo aprendível nas pontuações de atenção.
  • A pontuação de atenção entre o nó $i$ e o nó $j$ no tempo $t$ é calculada como:
    $$\text{score}_{ijt} = \frac{Q_{it}^\top K_{jt}}{\sqrt{d}} + \text{Bias}_{ijt}(A_t)$$
  • O termo de viés é computado por meio de uma pequena Rede Neural de Camadas Múltiplas (MLP) sobre a entrada de adjacência $A_t[i, j]$. Isso permite que o modelo adapte a atenção espacial à topologia atual, mantendo a flexibilidade da autoatenção. O termo baseado em conteúdo ($Q^\top K$) pode sobrepor o viés do grafo se a similaridade de características sugerir uma relação diferente.
  • O codificador é equivariante à permutação e suporta grafos por amostra simplesmente fornecendo a sequência específica $A_t$ para aquela amostra.
• Decodificador Temporal:
  • As características codificadas são passadas para um decodificador baseado em GRU que opera de forma autoregressiva sobre o horizonte de previsão $H$.
  • Amostragem Agendada: Para mitigar a discrepância entre treinamento e teste (onde a verdade fundamental não está disponível durante a inferência), o decodificador utiliza amostragem agendada. Durante o treinamento, a entrada para o próximo passo é escolhida probabilisticamente entre a verdade fundamental e a própria previsão anterior do modelo, com a probabilidade de usar a previsão do modelo aumentando ao longo das épocas.
  • Função de Perda Ponderada por Horizonte: O modelo emprega uma função de perda combinando o Erro Absoluto Médio (MAE) com pesos de decaimento exponencial para enfatizar a precisão de curto prazo.
  • Perda de Variação: Um termo de perda secundário penaliza diferenças nas derivadas temporais (mudanças quadro a quadro) entre previsões e verdade fundamental, prevenindo previsões excessivamente suavizadas.

2. Melhorias de Treinamento

• Pré-treinamento com Máscara em Nós/Tempo: Inspirado na modelagem de linguagem mascarada, o modelo é pré-treinado para reconstruir entradas aleatoriamente mascaradas no tensor de características de entrada $X_{hist}$ usando a sequência de adjacência correspondente $A_{hist}$. Este objetivo auto-supervisionado melhora a aprendizagem de representações, particularmente para estruturas ruidosas ou irregulares.
• Aprendizado de Currículo: O horizonte de previsão é aumentado gradualmente durante os estágios iniciais do treinamento supervisionado.

Contribuições Principais

1. Previsão de Grafos Dinâmicos por Amostra: O artigo formula e resolve a tarefa de predição de atributos de nós em múltiplos passos onde cada exemplo de treinamento fornece sua própria topologia em evolução, indo além da suposição de um único grafo global estático.
2. Codificador Espacial Portátil para Grafos: A introdução de um mecanismo de atenção com viés em arestas que injeta a matriz de adjacência fornecida como um viés aditivo. Isso preserva a equivariância à permutação enquanto incorpora dinâmicas de arestas sem exigir que o modelo aprenda a estrutura do grafo do zero.
3. Previsão Robusta de Longo Horizonte: A combinação de amostragem agendada, função de perda ponderada por horizonte e perda de variação aborda o acúmulo de erros na previsão de múltiplos passos.
4. Validação Empírica: O método é validado em conjuntos de dados heterogêneos (redes de confiança Bitcoin, tráfego de Los Angeles e redes cerebrais fMRI), demonstrando melhorias consistentes sobre bases de referência robustas.

Resultados Experimentais

Os autores avaliaram o DynaSTy em vários conjuntos de dados:

• Bitcoin-OTC e Bitcoin-Alpha: Redes de confiança dinâmicas onde as arestas representam classificações que evoluem no tempo.
• METR-LA e PEMS-BAY: Redes de sensores de tráfego (usadas aqui com grafos dinâmicos semi-sintéticos para testar robustez).
• Redes Cerebrais (ABIDE): Dados fMRI onde perfis de conectividade variam por sujeito.

Desempenho:

• O DynaSTy superou consistentemente bases de referência robustas (incluindo STGCN, DCRNN, Graph WaveNet, MTGNN, DGCRN e PDFormer) em termos de Erro Quadrático Médio Raiz (RMSE) e Erro Absoluto Médio (MAE) em todos os conjuntos de dados.
• Estudos de Ablação:
  • Remover o mecanismo de viés em arestas causou uma queda substancial de desempenho em conjuntos de dados com grafos dinâmicos reais (Bitcoin e Cérebro), confirmando a necessidade de condicionar à adjacência por passo de tempo.
  • Remover o pré-treinamento com máscara ou a perda de variação resultou em degradação moderada, indicando seu papel como regularizadores eficazes.
  • Experimentos de Embaralhamento: Quando os grafos dinâmicos de entrada foram embaralhados (desacoplando a dinâmica dos nós da estrutura específica do grafo), o desempenho nos conjuntos de dados Bitcoin e Cérebro caiu significativamente, provando que o modelo depende da estrutura específica do grafo por amostra. Em contraste, os conjuntos de dados de tráfego (que usam grafos estáticos compartilhados) não mostraram tal queda.
• Análise de Coorte: Em um experimento de rede cerebral envolvendo coortes neurotípicas e neurodivergentes, o DynaSTy (condicionando a grafos por sujeito) manteve alta precisão quando treinado conjuntamente, enquanto uma base de referência (Graph WaveNet) que aprende uma única matriz de adjacência compartilhada sofreu degradação significativa de desempenho no treinamento conjunto, falhando em capturar padrões de conectividade específicos da coorte.

Significado e Alegações

O artigo afirma que o DynaSTy preenche uma lacuna crítica na literatura ao permitir a previsão de atributos de nós em configurações de múltiplos sistemas onde as estruturas de grafos não são apenas variantes no tempo, mas também específicas da amostra. Enquanto trabalhos anteriores focam em previsão de links ou classificação de nós em grafos dinâmicos, ou assumem grafos estáticos para previsão de atributos, o DynaSTy visa explicitamente o regime de grafos dinâmicos por amostra.

Os autores afirmam que sua abordagem generaliza as STGNNs para domínios mais amplos, como previsão de sinais de regiões cerebrais baseada em fMRI, onde indivíduos compartilham as mesmas regiões anatômicas (nós), mas exibem perfis de conectividade distintos e em evolução (arestas). Os resultados sugerem que modelar a estrutura específica do grafo dinâmico para cada amostra é crucial para a precisão, particularmente em populações heterogêneas, e que o mecanismo de atenção com viés em arestas proposto integra efetivamente essa informação estrutural sem sacrificar a flexibilidade da autoatenção.