Resumo Técnico: PostDeg: O Posicionamento Supera a Parametrização em GNNs com LayerNorm

Declaração do Problema

Muitas políticas de aprendizado em grafos para tarefas de otimização combinatória — como maximização de influência, desmantelamento de redes e conjunto independente máximo (MIS) — dependem do ranqueamento de nós com base em sinais topológicos como grau, centralidade ou k-core. A arquitetura dominante de aprendizado profundo para essas tarefas envolve o empilhamento de blocos de Redes de Atenção em Grafos (GAT) com LayerNorm. No entanto, a LayerNorm, embora estabilize o treinamento, apaga inadvertidamente os próprios sinais topológicos que essas políticas exigem. Observações empíricas em trabalhos anteriores (ex: GraphNorm, PairNorm) indicam que normalizadores de estatísticas de características falham em preservar os contrastes de magnitude baseados no grau necessários para a seleção de nós, contudo, a literatura não identificou o mecanismo ou localização específica dentro do bloco residual onde ocorre esse apagamento.

Metodologia

O artigo investiga o "posicionamento" (placement) de multiplicadores escalares positivos por nó (representando sinais topológicos como o grau) em relação à operação de LayerNorm dentro de um bloco residual de GNN.

O Diagnóstico de Posicionamento

Os autores utilizam a identidade de absorção da LayerNorm. Para um escalar positivo $a_i$ e uma representação de nó $z_i$:
$$\text{LN}(a_i z_i) \approx \text{LN}(z_i)$$
Esta aproximação mantém-se até um termo estabilizador $\epsilon_{\text{LN}}$. Especificamente, o resíduo relativo é limitado por $\epsilon_{\text{LN}} / (a_i^2 \sigma^2)$, onde $\sigma^2$ é a variância da característica. O artigo demonstra que, se um escalar topológico for inserido antes da LayerNorm, ele é efetivamente dividido (absorvido), deixando a magnitude da representação inalterada. Por outro lado, se o mesmo escalar for inserido após a LayerNorm, ele sobrevive como a magnitude da representação que chega ao cabeçalho de pontuação (score head).

O Operador PostDeg

Com base neste diagnóstico, os autores propõem o PostDeg, um operador livre de parâmetros que ocupa a posição pós-LayerNorm. Ele aplica uma escala de inverso-grau à representação normalizada:
$$\hat{h}_i = (b c_i + \epsilon)^{-1/2} \cdot \text{LN}(h_i)$$
onde $b c_i$ é o grau normalizado (limitado para evitar divisão por zero) e $\epsilon$ é um pequeno estabilizador. Esta operação restaura um contraste de magnitude monótona em $1/d_i$, permitindo que o pontuador (scorer) subsequente ranqueie os nós por topologia.

Desenho Experimental e Falseabilidade

Para isolar "posicionamento" de "parametrização", o estudo emprega uma grade experimental controlada:

1. Backbone: Uma GAT de 3 camadas fixa com LayerNorm.
2. Variável: Apenas o slot de normalização pós-bloco é modificado.
3. Falsificadores: Quatro controles pré-registrados foram desenhados para rejeitar a regra de posicionamento caso esta tivesse sucesso:
   • GraphScalar: Um escalar espectral de nível de grafo (testa se o ganho vem de propriedades espectrais globais em vez de grau por nó).
   • Extra LayerNorm: Uma camada de normalização adicional (testa se o ganho vem de normalização de características extra).
   • Variantes Aprendidas (PostDeg-L-FG/Adaptive): Operadores aprendidos no mesmo slot (testa se a capacidade expressiva é necessária).
   • Backbone PNA: Adicionar PostDeg a um backbone PNA (que injeta o grau dentro da agregação) (testa se o ganho é agnóstico ao backbone).

Principais Resultados

Os experimentos foram conduzidos em quatro tarefas de seleção de nós (InfluMax, Dismantle, Epidemic, MIS) e uma tarefa de classificação de grafos (DD).

• Ganhos de Desempenho: O PostDeg superou o backbone padrão de LayerNorm em +3,5% no InfluMax, +2,5% no Desmantelamento de Rede e +5,6% no MIS. Esses ganhos foram consistentes em todos os 10 pares de sementes (10/10 vitórias).
• Posicionamento vs. Parametrização: As variantes aprendidas (PostDeg-L-FG e PostDeg-L-Adaptive) foram estatisticamente equivalentes ao PostDeg livre de parâmetros (equivalência TOST em $\pm 1\%$). Isso confirma que o ganho é impulsionado pelo posicionamento do escalar, não pela capacidade aprendível do operador.
• Resultados dos Falsificadores: Nenhum dos quatro falsificadores rejeitou a regra de posicionamento:
  • GraphScalar e Extra LayerNorm mostraram ganhos insignificantes ou negativos.
  • As variantes aprendidas não ofereceram vantagem sobre o PostDeg fixo.
  • Adicionar PostDeg a um backbone PNA (que já lida com o grau na agregação) resultou em equivalência pareada, indicando que o ganho desaparece quando o canal de grau já está presente no passo de agregação.
• Condições de Contorno: O ganho atenuou em tarefas com baixa heterogeneidade de grau (dataset DD) ou onde a recompensa não estava alinhada com a magnitude do grau (contenção de Epidemia), consistente com a previsão teórica de que o efeito depende da variância do grau.
• Colapso no DD: Normalizadores de zeramento de variância (PairNorm, InstanceNorm, BatchNorm) colapsaram para a predição da classe majoritária no dataset DD, enquanto o PostDeg manteve ~80% de acurácia, demonstrando que o PostDeg não sofre do mesmo colapso que os normalizadores de estatísticas de características.

Significância e Alegações

O artigo afirma ter localizado o mecanismo preciso pelo qual a LayerNorm apaga sinais topológicos em GNNs e fornece uma solução simples e livre de parâmetros.

• Posicionamento sobre Parametrização: A principal conclusão é que o posicionamento, não a parametrização, carre o ganho. Uma pequena verificação de invariância (colocar o escalar após a LayerNorm) é suficiente para recuperar sinais topológicos sem aprender pesos.
• Generalização: Alega-se que o diagnóstico se generaliza para qualquer escalar topológico positivo (ex: PageRank, k-core) em qualquer pilha residual normalizada.
• Contribuição Teórica: O trabalho formaliza a identidade de absorção da LayerNorm para escalares positivos e estabelece uma "regra de posicionamento" que dita onde a magnitude da topologia deve ser injetada para ser visível ao pontuador.
• Modéstia: Os autores limitam explicitamente suas alegações a escalares positivos e blocos residuais de camada única. Eles não afirmam que o método resolve efeitos cumulativos de múltiplas camadas, variantes de RMSNorm ou multiplicadores que alteram o sinal, observando que estes estão fora do escopo. O ganho é apresentado como uma correção específica para tarefas de seleção de nós sensíveis ao grau onde as GNNs padrão com LayerNorm falham em utilizar a magnitude topológica.