Resumo Técnico: Filtre o Filtro, Não a Mensagem

Declaração do Problema

As Redes Neurais de Grafos de Pré-propagação (PP-GNNs) abordam as limitações de escalabilidade das MP-GNNs padrão (redes de passagem de mensagem) ao desacoplar a computação dependente do grafo do loop de treinamento. Nas PP-GNNs, a propagação do grafo é realizada uma única vez como uma etapa de pré-processamento para gerar características densas de nós (hops), e o modelo treina exclusivamente sobre essas características. Embora essa abordagem permita o treinamento em grafos massivos com ganhos de velocidade de ordens de magnitude, um enigma persistente permanece: agregadores de características mais complexos não superam de forma confiável os mais simples.

Observações empíricas mostram que agregadores baseados em MLP simples (ex: SIGN) frequentemente igualam ou superam o desempenho de mecanismos sofisticados de atenção de hops (ex: HOGA) em vários benchmarks. As explicações existentes focadas na capacidade arquitetônica bruta não conseguem explicar isso. O artigo postula que a limitação não reside na complexidade do agregador, mas em como os coeficientes do filtro são compartilhados entre nós e canais de características dentro da base de difusão pré-computada. Especificamente:

• Arquiteturas baseadas em MLP aprendem filtros que são dependentes de canal, mas amplamente compartilhados entre os nós.
• Arquiteturas de atenção de hop aprendem misturas que são dependentes de nó, mas amplamente compartilhadas entre os canais.
  Nenhuma das abordagens realiza plenamente a filtragem adaptativa conjunta de nó e canal, um regime que os designs padrão de PP-GNN deixam inexplorado.

Metodologia: FilterMoE

Os autores propõem o FilterMoE, uma PP-GNN de Mistura de Especialistas (MoE) que introduz a filtragem adaptativa conjunta de nó e canal, aderindo estritamente ao contrato computacional de pré-propagação (sem passagem de mensagem esparsa durante o treinamento).

Arquitetura Central

1. Pré-processamento (Offline):

   • Uma base de difusão de Chebyshev é materializada uma vez: $B_k = T_k(\tilde{L})X$ para $k=0, \dots, K$, onde $\tilde{L}$ é o Laplaciano do grafo reescalonado e $T_k$ são polinômios de Chebyshev.
   • Uma quadratura de Lanczos estocástica (SLQ) é usada para gerar uma grade espectral para analisar as respostas dos filtros.

2. Banco de Especialistas (Expert Bank):

   • Em vez de prever coeficientes polinomiais independentes para cada par nó-canal (o que é computacionalmente proibitivo e fraco em termos de viés indutivo), o FilterMoE aprende um pequeno banco de $M$ especialistas de filtro de Chebyshev.
   • Cada especialista $m$ é definido por um conjunto de coeficientes de Chebyshev $\alpha_m$, representando uma resposta espectral específica $g_m(\lambda)$.

3. Roteamento Conjunto Nó-Canal:

   • Um tensor de roteamento 3D $G \in \mathbb{R}^{N \times M \times F}$ roteia os especialistas. $G_{i,m,f}$ determina o peso do especialista $m$ para o nó $i$ e o canal de característica $f$.
   • Isso permite que cada par nó-canal tenha um filtro efetivo único $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$, enquanto restringe todos os filtros a serem misturas do banco de especialistas compartilhado.

4. Variantes do Roteador (Router):

   • MLP Conjunto Direto: Mapeia descritores de nós diretamente para a grade completa de logits $M \times F$.
   • Roteador de Dois Estágios Sensível à Resposta: Utiliza os esboços de resposta espectral dos especialistas como chaves. Ele primeiro computa um prior de nível de nó sobre os especialistas e, em seguida, refina isso com resíduos de nível de canal. Isso condiciona explicitamente o roteamento às formas espectrais do grafo dos especialistas.

5. Objetivo de Treinamento:

   • A perda principal é a perda da tarefa supervisionada.
   • Regularização Auxiliar:
     • Perda de Diversidade: Incentiva respostas espectrais distintas entre os especialistas no espaço de resposta espectral (usando a grade SLQ) para evitar o colapso.
     • Perda de Suavidade: Penaliza coeficientes de Chebyshev de alto grau para garantir filtros estáveis.
     • Balanceamento de MoE: Perdas padrão de importância e balanceamento de carga para garantir o uso equitativo dos especialistas.

Principais Contribuições

1. Análise da Perspectiva Grafo-Filtro: O artigo reformula o desempenho das PP-GNNs não como uma função da capacidade do agregador, mas como uma função de como os coeficientes do filtro são compartilhados. Identifica que os métodos existentes são ou dependentes de nó/adaptativos de canal ou dependentes de canal/adaptativos de nó, perdendo o regime adaptativo conjunto.
2. Arquitetura FilterMoE: Uma nova PP-GNN que implementa a filtragem adaptativa conjunta de nó e canal via uma mistura de especialistas de Chebyshev compartilhados, roteados por um tensor de roteamento 3D.
3. Alternativa Robusta ao Ajuste Manual: O FilterMoE serve como um mecanismo aprendido e robusto que elimina a necessidade de selecionar manualmente agregadores de hops específicos (MLP vs. Atenção vs. Fusão) para diferentes conjuntos de dados.
4. Avaliação Abrangente: Experimentos extensos em 11 benchmarks (homofílicos, heterofílicos e de larga escala) demonstram a eficácia da abordagem.

Resultados Experimentais

O FilterMoE foi avaliado em 11 conjuntos de dados, incluindo quatro homofílicos, quatro heterofílicos e três grafos de larga escala (Pokec, OGBN-Products, OGBN-Papers100M).

• Desempenho Geral: O FilterMoE superou as bases de PP-GNN mais fortes (SIGN, HOGA, GAMLP) em 9 de 11 conjuntos de dados, melhorando a pontuação média de teste em 1,53 pontos.
• Grafos de Larga Escala: O FilterMoe classificou-se em primeiro lugar em todos os três benchmarks de larga escala, superando a melhor base de PP-GNN em +1,76 (Pokec), +0,93 (OGBN-Products) e +0,71 (OGBN-Papers100M).
• Comparação com MP-GNNs: Em grafos grandes, o FilterMoE superou todas as bases de MP-GNN avaliadas, mantendo a eficiência de pré-propagação do treinamento. Em grafos menores, permaneceu competitivo com variantes adaptativas de MP-GNN especializadas (ex: variantes AGDN), mas não dominou uniformemente, sugerindo que sua principal força reside no regime de PP-GNN.
• Estudos de Ablação:
  • Roteamento: O roteamento conjunto nó-canal superou consistentemente as variantes de eixo único (apenas nó ou apenas canal).
  • Operador: O ganho de desempenho não se deveu apenas ao operador de Chebyshev; substituir o operador nas bases por Chebyshev as melhorou, mas não fechou a lacuna com o FilterMoE.
  • Regularização: A perda de suavidade espectral foi o regularizador mais crítico, enquanto as perdas de diversidade e balanceamento de MoE forneceram benefícios menores e dependentes do conjunto de dados.

Significância e Alegações

O artigo alega que a principal limitação das PP-GNNs existentes não é a falta de agregadores complexos, mas a falta de um mecanismo estruturado para aprender filtros de grafo que sejam conjuntamente adaptativos de nó e canal mantendo a escalabilidade.

O FilterMoE estabelece o roteamento de filtro conjunto nó-canal como uma alternativa robusta à seleção de agregador de hop específica para cada conjunto de dados. Ao desacoplar a resposta espectral (especialistas aprendidos) do mecanismo de roteamento (gate de nó-canal), o modelo alcança alta expressividade sem reintroduzir o problema da explosão de vizinhos ou o overhead computacional de passagem de mensagem por época. Os resultados sugerem que, para classificação de nós em larga escala, uma estratégia de roteamento adaptativa aprendida sobre um banco de filtros compartilhados é superior ao design manual ou ajuste de cabeças de agregação específicas para cada conjunto de dados.

Os autores mantêm a modéstia quanto ao escopo, observando que o trabalho atual foca em grafos homogêneos fixos para classificação de nós. Extensões para previsão de links, tarefas de nível de grafo, grafos heterogêneos e grafos dinâmicos são identificadas como trabalhos futuros, e não capacidades atuais.