Improving Spatio-Temporal Residual Error Propagation by Mitigating Over-Squashing

Resumo Técnico: Teger – Melhorando a Propagação de Erros Residuais Espaço-Temporais por Mitigação do Over-Squashing

Declaração do Problema
Modelos recorrentes para previsão de séries temporais multivariadas, particularmente em Sistemas Inteligentes de Transporte (SIT), sofrem com a propagação de erros residuais. Pequenas imprecisões de previsão se acumulam ao longo do tempo, degradando o desempenho em horizontes de longo prazo. Embora modelos recentes de aprendizado profundo parametrizem efetivamente correlações contemporâneas variantes no tempo, eles frequentemente assumem independência temporal dos erros e negligenciam correlações espaciais através da rede observada. Métodos existentes, como o TCVAR, modelam a covariância temporal, mas falham em capturar interações espaciais. Além disso, esses modelos lutam para capturar explicitamente a volatilidade, levando a estimativas de incerteza mal calibradas.

Uma limitação teórica central identificada é o fenômeno de over-squashing (OQ) em Redes Neurais em Grafos (GNNs). O OQ ocorre quando dependências de longo alcance são excessivamente comprimidas em representações limitadas, distorcendo a propagação de informações. No contexto de previsão de tráfego, isso se manifesta como arestas de gargalo (identificadas por curvatura discreta negativa) que atenuam severamente o fluxo de informações entre nós distantes. Consequentemente, modelos existentes subestimam correlações entre regiões e concentram a dependência ao longo de cadeias finas, falhando em modelar a verdadeira estrutura de covariância espaço-temporal dos resíduos de previsão.

Metodologia: Teger
Os autores propõem o Teger, um framework probabilístico agnóstico ao backbone projetado para modelar resíduos espaço-temporais em grafos dinâmicos. O Teger integra um mecanismo de covariância espacial consciente da curvatura em uma cabeça de ruído de baixo posto mais diagonal (LRD), preservando inferência tratável via identidade de Woodbury.

1. Formulação Probabilística:
   O modelo decompõe a variável de série temporal $x_t$ em uma média preditiva $\mu_t$ e um componente de erro estocástico $\eta_t \sim \mathcal{N}(0, \Sigma_t)$. Para lidar com grandes $N$ (número de nós), a matriz de covariância $\Sigma_t$ é parametrizada como uma forma de baixo posto mais diagonal: $\Sigma_t = L_t L_t^\top + \text{diag}(d_t)$.

2. Correlação Temporal:
   Dependências temporais sobre um horizonte finito $D$ são capturadas empilhando resíduos em um vetor de lote $\eta^{bat}_t$. A matriz de correlação temporal $C_t$ é modelada como uma mistura de kernels dinâmicos (semelhante ao TCVAR), onde os pesos são aprendidos via uma rede softmax.

3. Correlação Espacial e Reconfiguração Consciente da Curvatura:
   A inovação central é um mecanismo de reconfiguração da matriz de precisão espacial consciente da curvatura.

   • Identificação de Gargalos: O método utiliza a curvatura Forman Balanceada para identificar arestas atuando como gargalos de informação (arestas com curvatura $\kappa(i, j) \leq -2 + \delta$).
   • Estratégia de Reponderação: Diferentemente de métodos de reconfiguração estrutural (como LASER) que adicionam ou removem arestas para criar novos caminhos, o Teger mantém a topologia de entrada fixa. Ele repondera arestas existentes com base em sua curvatura. Arestas identificadas como gargalos são fortalecidas usando uma função aprendível: $W'_{ij,t} = W_{ij,t}(1 + \lambda b_{ij,t})$, onde $b_{ij,t}$ é uma pontuação de gargalo derivada da curvatura.
   • Construção de Covariância: O Laplaciano de grafo reponderado $L'_t$ é projetado em um espaço de fatores de baixa dimensão ($R \ll N$) para construir uma matriz de precisão espacial $Q_t = \alpha I_R + \beta L^{(R)}_t + \sigma_{min} I_R$. A covariância do fator espacial é então $G_t = Q_t^{-1}$. Esta abordagem admite uma projeção de baixo posto de forma fechada, integrando-se limpa à atualização de covariância estilo Woodbury.

4. Refinamento no Tempo de Inferência:
   Para abordar a subestimação da volatilidade e a propagação de erros de etapas iniciais, o Teger emprega uma etapa de refinamento. Ele extrai amostras de resíduos do próximo passo de uma condicional Gaussiana induzida pela covariância do modelo. Crucialmente, introduz escalonamento de volatilidade por nó, separando a covariância condicional em uma matriz de correlação adimensional e uma estimativa empírica de volatilidade por nó (via média móvel exponencial de resíduos quadrados). Isso previne a contagem dupla da variância marginal enquanto se adapta à volatilidade local.

Principais Contribuições

1. Modelo de Covariância LRD Dinâmico: Um framework probabilístico para resíduos espaço-temporais que captura dependência espacial via fatores latentes conscientes de grafos e dependência temporal via uma estrutura autorregressiva.
2. Mecanismo Espacial Baseado em Curvatura: Uma abordagem inovadora para modelar difusão de erros em grafos dinâmicos usando dinâmicas conscientes do estado e adaptação de volatilidade, visando especificamente a mitigação do over-squashing.
3. Algoritmo de Reponderação Eficiente: Uma etapa de reponderação de arestas embutida na cabeça de covariância que mapeia o Laplaciano reconfigurado em um espaço de fatores de dimensão $R$ com complexidade $O(R^3)$ (vs. $O(N^3)$), representando a primeira integração de reconfiguração baseada em curvatura em um preditor espaço-temporal probabilístico.
4. Framework Unificado: Integração desses componentes em um framework autorregressivo unificado que mantém a tratabilidade computacional enquanto expande a expressividade da modelagem de incerteza.

Resultados Experimentais
Os autores avaliaram o Teger em quatro conjuntos de dados espaço-temporais do mundo real (PeMS03, PeMS04, PeMS07 e Bruxelas) usando quatro backbones diferentes: LSTM, Transformer, xLSTM e MTGNN.

• Desempenho: O Teger superou consistentemente as linhas de base, incluindo abordagens ingênuas, TCVAR (correlação temporal apenas) e LASER (reconfiguração estrutural), na maioria dos horizontes de previsão. A métrica principal utilizada foi o Escore de Probabilidade Ranqueado Contínuo (CRPS).
• Ganhos Quantitativos: No conjunto de dados de Bruxelas, o Teger melhorou o CRPS em 25,3% sobre o LASER. Em geral, modelar a propagação de erro espacial reduziu a magnitude do erro MAE em quase 30% comparado ao TCVAR.
• Validação Teórica: O artigo relata melhorias na conectividade espectral (gap espectral), resistência efetiva reduzida (índice de Kirchhoff) e gargalos locais mitigados (condutância de corte) após o processo de reconfiguração.
• Interpretabilidade: Análise qualitativa no conjunto de dados de Bruxelas mostrou que a reponderação do Teger preserva a correspondência entre topologia do grafo e estrutura física da estrada, enquanto arestas adicionadas pelo LASER às vezes introduziam caminhos fisicamente irreais.

Significado e Alegações
O artigo afirma que o Teger aborda uma lacuna crítica na previsão probabilística: a incapacidade de capturar padrões de covariância espaço-temporal em resíduos, que estão intrinsecamente ligados ao fenômeno de over-squashing.

• Escopo da Alegação: Os autores são explícitos de que a reponderação de arestas é uma "ferramenta estritamente mais fraca" do que a reconfiguração estrutural (como LASER ou SDRF) porque não pode criar novos caminhos de longo alcance onde nenhum existe. No entanto, eles argumentam que isso se adequa bem à previsão de redes rodoviárias onde o grafo físico é fixo, mas as importâncias das arestas variam ao longo do tempo.
• Ligação Teórica: O trabalho fornece evidências teóricas conectando a reconfiguração consciente da curvatura a (i) mitigação do over-squashing, (ii) conectividade espectral aprimorada, (iii) resistência efetiva reduzida e (iv) limites de calibração de covariância aprimorados.
• Agnosticismo ao Backbone: O Teger requer apenas o estado latente produzido por qualquer codificador autorregressivo, tornando-o aplicável a uma ampla gama de modelos existentes (LSTM, Transformer, xLSTM).

Os autores concluem que, ao mitigar a propagação de erros residuais através de modelagem espacial consciente da curvatura, o Teger alcança quantificação de incerteza mais confiável e desempenho aprimorado de previsão em horizontes de longo prazo em sistemas espaço-temporais complexos.