Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning

O artigo propõe as Redes Neurais de Passagem de Mensagens Escaláveis (SMPNNs), que substituem o mecanismo de atenção por convolução padrão em blocos Transformer com normalização pré-camada, permitindo redes profundas de alto desempenho para aprendizado em grandes grafos sem o custo computacional da atenção e com fundamentação teórica sobre a necessidade de conexões residuais para evitar o sobre-suavização.

O essencial

Imagine que você precisa organizar uma festa gigante com milhões de pessoas (os "nós" do gráfico) e quer que todos se conheçam e troquem informações para decidir qual música tocar ou qual comida servir.

No mundo da Inteligência Artificial, isso é chamado de Aprendizado em Grafos. O problema é que, quando a festa fica enorme, os métodos tradicionais de organizar essa conversa ficam lentos, confusos ou esquecem quem é quem.

Este artigo apresenta uma nova solução chamada SMPNN (Redes Neurais de Passagem de Mensagens Escaláveis). Vamos explicar como funciona usando analogias simples:

1. O Problema: A "Festa" que fica sem graça (Oversmoothing)

Imagine que você tem uma rede de amigos. Se você pedir para cada pessoa contar uma história para seus vizinhos, e depois pedir para os vizinhos contarem para os seus vizinhos, e assim por diante... após muitas rodadas, todo mundo vai estar contando a mesma história chata. Todos os vizinhos vão parecer iguais.

Na IA, isso se chama "Oversmoothing" (Excesso de Suavização). As redes neurais tradicionais (GNNs) ficam "sem graça" se tiverem muitas camadas. Elas perdem a capacidade de distinguir as diferenças entre os nós. É como se, após muita conversa, todos na festa começassem a pensar exatamente igual.

2. A Solução: O "Modelo de Transformer" (Mas sem o custo alto)

Recentemente, os modelos de linguagem (como o que você está usando agora) ficaram famosos por usarem um mecanismo chamado Atenção.

• A Analogia da Atenção: Imagine que, em vez de conversar apenas com o vizinho, cada pessoa na festa pudesse olhar para todas as outras pessoas ao mesmo tempo para ver quem está gritando mais alto ou quem tem uma informação importante. Isso é ótimo, mas em uma festa de 100 milhões de pessoas, olhar para todos ao mesmo tempo exigiria um esforço mental (e de memória de computador) impossível. É como tentar ler todos os livros do mundo ao mesmo tempo.

3. A Inovação do SMPNN: "Conversa Local com um Truque"

Os autores do paper dizem: "E se a gente não precisasse olhar para todos? E se a gente apenas conversasse com os vizinhos, mas de um jeito muito inteligente?"

Eles criaram o SMPNN, que faz duas coisas principais:

• A Conversa Local (Convolução): Em vez de usar o mecanismo caro de "Atenção" (olhar para todos), eles usam a conversa tradicional de vizinho para vizinho. É rápido e eficiente.
• O Truque do "Resíduo" (Residual Connections): Aqui está a mágica. Para evitar que a festa fique sem graça (o oversmoothing), eles adicionam um "cabo de energia" que mantém a voz original da pessoa intacta enquanto ela ouve os vizinhos.
  • Analogia: Imagine que você está em uma roda de conversa. O seu vizinho sussurra algo no seu ouvido (a mensagem nova), mas você continua segurando o seu próprio microfone ligado (o resíduo). Assim, você ouve o vizinho, mas não esquece quem você é. Isso permite que a conversa dure 100 rodadas sem que todos fiquem iguais.

4. Por que isso é revolucionário?

• Economia de Recursos: Os modelos antigos (Transformers de Grafos) tentavam olhar para todos de uma vez. O SMPNN olha apenas para os vizinhos próximos. Isso significa que ele pode rodar em computadores comuns com grafos gigantes (como redes sociais com milhões de usuários ou mapas de proteínas biológicas), sem explodir a memória.
• Profundidade: Graças ao "cabo de energia" (resíduo), o SMPNN pode ter muitas camadas (ser muito "profundo") e aprender coisas complexas, algo que as redes antigas não conseguiam fazer sem se confundir.
• Desempenho: Eles testaram em bancos de dados gigantescos (como o ogbn-products, com milhões de itens) e o SMPNN venceu os modelos mais modernos que usam "Atenção", e fez isso sem precisar desse mecanismo caro.

Resumo em uma frase:

O SMPNN é como uma festa gigante onde, em vez de tentar ouvir todo mundo ao mesmo tempo (o que é caro e lento), cada pessoa conversa apenas com seus vizinhos, mas com um "microfone de backup" que garante que ninguém perca sua própria identidade, permitindo que a conversa seja profunda, rápida e eficiente.

Conclusão: O papel mostra que, para grafos muito grandes, a "Atenção" (olhar para todos) muitas vezes é um luxo desnecessário. Uma conversa local bem estruturada, com o cuidado de não esquecer a origem da informação, é suficiente para vencer os melhores modelos atuais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning" (Redes Neurais de Passagem de Mensagens Escaláveis: Sem Necessidade de Atenção em Aprendizado de Representação de Grandes Grafos), apresentado no workshop GRaM da ICLR 2026.

---

1. O Problema

O aprendizado de representação em grafos (Graph Neural Networks - GNNs) enfrenta dois desafios principais ao escalar para grafos de grande porte (com milhões ou centenas de milhões de nós):

• Complexidade Computacional: As abordagens baseadas em Transformers (Graph Transformers) utilizam mecanismos de atenção global, que possuem complexidade quadrática $O(N^2)$ em relação ao número de nós. Isso torna o treinamento e a inferência proibitivamente caros em termos de memória e tempo para grafos massivos.
• Oversmoothing (Super-suavização): As GNNs tradicionais baseadas em passagem de mensagens (como GCNs) tendem a sofrer de oversmoothing quando empilhadas em muitas camadas. Isso faz com que as representações dos nós se tornem indistinguíveis, limitando essas arquiteturas a configurações rasas (poucas camadas), o que restringe sua capacidade de capturar dependências de longo alcance.

O artigo questiona a premissa de que mecanismos de atenção são essenciais para o desempenho em grafos grandes, sugerindo que a arquitetura atual pode ser simplificada sem perda de eficácia.

2. Metodologia: SMPNNs

Os autores propõem as Redes Neurais de Passagem de Mensagens Escaláveis (SMPNNs). A ideia central é adaptar as melhores práticas da arquitetura de Transformers (especificamente o estilo Pre-Layer Normalization ou Pre-LN) para o contexto de GNNs, substituindo o mecanismo de atenção por convolução de mensagens padrão.

Arquitetura do Bloco SMPNN

O bloco fundamental da SMPNN segue a estrutura de um bloco Transformer, mas com uma modificação crucial:

1. Normalização Prévia (Pre-LN): Aplica-se LayerNorm às features de entrada antes da operação principal.
2. Passagem de Mensagens Local (Substituindo a Atenção): Em vez de atenção global, utiliza-se uma camada padrão de GCN (Graph Convolutional Network).
   • A operação é definida como: $H_2 = \alpha_1 \cdot \text{SiLU}(\tilde{A} H_1 W_1) + X$, onde $\tilde{A}$ é a matriz de adjacência normalizada por grau e $X$ é a entrada residual.
   • O uso de conexões residuais é explícito e fundamental.
3. Feedforward Pontual (Pointwise FF): Uma transformação feedforward (MLP) aplicada independentemente a cada nó, precedida por outra normalização e conexão residual.
   • $X_{saída} = \alpha_2 \cdot \text{SiLU}(H_2 W_2) + H_2$.

Complexidade Computacional

• A convolução de grafos tem complexidade linear em relação às arestas: $O(E)$.
• Ao contrário dos Graph Transformers que exigem $O(N^2)$ ou aproximações complexas, as SMPNNs escalam naturalmente para grafos com até 100 milhões de nós sem necessidade de atenção global.
• O modelo não requer codificações posicionais, embeddings de arestas ou funções de perda aumentadas para atingir desempenho competitivo.

3. Contribuições Principais

1. Arquitetura Escalável e Profunda: Demonstração de que é possível construir GNNs profundas (muitas camadas) que superam os Graph Transformers atuais em tarefas de aprendizado transdutivo em grandes grafos, sem o custo computacional da atenção.
2. Análise Teórica de Universalidade:
   • Os autores fornecem uma nova análise teórica baseada na aproximação universal.
   • Eles provam que, sem conexões residuais, a classe de modelos baseada apenas em convolução de grafos não é um aproximador universal (perde expressividade).
   • Demonstram que a adição de conexões residuais restaura a propriedade de aproximação universal, garantindo que a rede possa aprender funções complexas mesmo em grafos completos (pior caso).
   • Isso explica teoricamente por que as GNNs tradicionais falham em profundidade e por que as SMPNNs funcionam.
3. Desmistificação da Atenção: Evidência empírica de que, em grafos grandes e altamente conectados (como os benchmarks OGB), a atenção global traz melhorias marginais (geralmente < 1%) em detrimento de um custo computacional massivo. A inductividade local da convolução parece ser suficiente.

4. Resultados Experimentais

Os autores avaliaram as SMPNNs em diversos benchmarks, incluindo conjuntos de dados massivos do Open Graph Benchmark (OGB):

• Desempenho em Grandes Grafos (Tabela 2 e 3):
  • As SMPNNs superaram consistentemente os State-of-the-Art (SOTA), incluindo NodeFormer, DIFFormer e SGFormer, em datasets como ogbn-products (2.4M nós), ogbn-papers-100M (111M nós) e ogbn-proteins.
  • No dataset ogbn-products, as SMPNNs alcançaram 90.61% de acurácia, superando o SGFormer (89.09%).
  • No dataset ogbn-papers-100M, as SMPNNs alcançaram 66.21%, superando o SGFormer (66.01%) e outros baselines, demonstrando escalabilidade real.
• Profundidade do Modelo:
  • Experimentos mostraram que as SMPNNs podem ser empilhadas até 12 camadas mantendo ou melhorando o desempenho.
  • Em contraste, ao remover as conexões residuais, o desempenho colapsa drasticamente após 4 camadas, confirmando a teoria de oversmoothing.
• Eficiência e Memória:
  • O uso de atenção linear em SMPNNs aumentou o número de parâmetros em mais de 2x (de 834K para 2.4M) com um ganho de desempenho de apenas 0.18%, tornando-se ineficiente.
  • O consumo de memória GPU escala linearmente com o número de arestas, permitindo o treinamento em GPUs padrão para subgrafos grandes.
• Outras Tarefas: O modelo também obteve resultados competitivos em classificação de imagens (CIFAR, STL) e textos (20News) e previsão de dinâmicas espaço-temporais, validando sua generalidade.

5. Significado e Conclusão

O trabalho tem um impacto significativo na comunidade de aprendizado de máquina em grafos:

• Simplicidade e Eficiência: Propõe que a complexidade dos Graph Transformers pode ser desnecessária para a maioria dos grafos grandes. A combinação de convolução local, normalização prévia e conexões residuais é suficiente para obter o melhor desempenho.
• Viabilidade de Modelos Profundos: Resolve o problema histórico de oversmoothing, permitindo o treinamento de redes GNNs profundas (semelhantes aos LLMs) que antes eram limitadas a poucas camadas.
• Reavaliação da Atenção: Sugere que a atenção global pode ser um "luxo" computacional em grafos densamente conectados e grandes, onde a informação se propaga rapidamente (alto MaxSCC Ratio), tornando a inductividade local mais eficiente.
• Fundamentação Teórica: A prova de que conexões residuais são necessárias para a universalidade em convoluções de grafos oferece um novo fundamento teórico para o design de arquiteturas de GNNs, indo além das análises assintóticas tradicionais.

Em resumo, as SMPNNs estabelecem um novo padrão para aprendizado em grandes grafos, demonstrando que é possível alcançar o estado da arte com arquiteturas mais simples, escaláveis e teoricamente fundamentadas, eliminando a dependência de mecanismos de atenção custosos.