Resumen Técnico: PostDeg: El posicionamiento supera a la parametrización en GNN con LayerNorm

Planteamiento del Problema

Muchas políticas de aprendizaje en grafos para tareas de optimización combinatoria —como la maximización de la influencia, el desmantelamiento de redes y el conjunto independiente máximo (MIS)— dependen de la clasificación de nodos basándose en señales topológicas como el grado, la centralidad o el k-core. La arquitectura de aprendizaje profundo dominante para estas tareas implica la apilamiento de bloques de Redes de Atención de Grafos (GAT) con LayerNorm. Sin embargo, LayerNorm, aunque estabiliza el entrenamiento, borra inadvertidamente las señales topológicas que estas políticas requieren. Observaciones empíricas en trabajos previos (por ejemplo, GraphNorm, PairNorm) indican que los normalizadores de estadísticas de características no logran preservar los contrastes de magnitud basados en el grado necesarios para la selección de nodos, aunque la literatura no ha identificado el mecanismo o la ubicación específica dentro del bloque residual donde ocurre este borrado.

Metodología

El artículo investiga el "posicionamiento" de los multiplicadores escalares positivos por nodo (que representan señales topológicas como el grado) en relación con la operación LayerNorm dentro de un bloque residual de GNN.

El Diagnóstico de Posicionamiento

Los autores aprovechan la identidad de absorción de LayerNorm. Para un escalar positivo $a_i$ y una representación de nodo $z_i$:
$$\text{LN}(a_i z_i) \approx \text{LN}(z_i)$$
Esta aproximación se mantiene hasta un término estabilizador $\epsilon_{\text{LN}}$. Específicamente, el residuo relativo está acotado por $\epsilon_{\text{LN}} / (a_i^2 \sigma^2)$, donde $\sigma^2$ es la varianza de la característica. El artículo demuestra que, si un escalar topológico se inserta antes de LayerNorm, es efectivamente dividido (absorbido), dejando la magnitud de la representación sin cambios. Por el contrario, si el mismo escalar se inserta después de LayerNorm, sobrevive como la magnitud de la representación que llega a la cabeza de puntuación (score head).

El Operador PostDeg

Basándose en este diagnóstico, los autores proponen PostDeg, un operador sin parámetros que ocupa el espacio post-LayerNorm. Este aplica una escala de inverso-grado a la representación normalizada:
$$\hat{h}_i = (b c_i + \epsilon)^{-1/2} \cdot \text{LN}(h_i)$$
donde $b c_i$ es el grado normalizado (limitado para evitar la división por cero), y $\epsilon$ es un estabilizador pequeño. Esta operación restaura un contraste de magnitud monótono en $1/d_i$, permitiendo que el clasificador posterior clasifique los nodos por topología.

Diseño Experimental y Falsabilidad

Para aislar el "posicionamiento" de la "parametrización", el estudio emplea una cuadrícula experimental controlada:

1. Backbone: Un GAT de 3 capas con LayerNorm fijo.
2. Variable: Solo se modifica el espacio de normalización post-bloque.
3. Falsificadores: Se diseñaron cuatro controles pre-registrados para rechazar la regla de posicionamiento si esta tuviera éxito:
   • GraphScalar: Un escalar espectral a nivel de grafo (prueba si la ganancia proviene de propiedades espectrales globales en lugar de grados por nodo).
   • Extra LayerNorm: Una capa de normalización adicional (prueba si la ganancia proviene de una normalización de características adicional).
   • Variantes Aprendidas (PostDeg-L-FG/Adaptive): Operadores aprendidos en el mismo espacio (prueba si se requiere capacidad expresiva).
   • Backbone PNA: Añadir PostDeg a un backbone PNA (que inyecta el grado dentro de la agregación) (prueba si la ganancia es agnóstica al backbone).

Resultados Clave

Los experimentos se realizaron en cuatro tareas de selección de nodos (InfluMax, Dismantle, Epidemic, MIS) y una tarea de clasificación de grafos (DD).

• Ganancias de Rendimiento: PostDeg superó al backbone estándar de LayerNorm en un +3.5% en InfluMax, un +2.5% en Desmantelamiento de Redes y un +5.6% en MIS. Estas ganancias fueron consistentes en las 10 semillas emparejadas (10/10 victorias).
• Posicionamiento vs. Parametrización: Las variantes aprendidas (PostDeg-L-FG y PostDeg-L-Adaptive) fueron estadísticamente equivalentes al PostDeg sin parámetros (equivalencia TOST a $\pm 1\%$). Esto confirma que la ganancia es impulsada por el posicionamiento del escalar, no por la capacidad de aprendizaje del operador.
• Resultados de los Falsificadores: Ninguno de los cuatro falsificadores rechazó la regla de posicionamiento:
  • GraphScalar y Extra LayerNorm mostraron ganancias insignificantes o negativas.
  • Las variantes aprendidas no ofrecieron ventaja sobre el PostDeg fijo.
  • Añadir PostDeg a un backbone PNA (que ya maneja el grado en la agregación) resultó en equivalencia emparejada, indicando que la ganancia desaparece cuando el canal de grado ya está presente en el paso de agregación.
• Condiciones Límite: La ganancia se atenuó en tareas con baja heterogeneidad de grado (dataset DD) o donde la recompensa no estaba alineada con la magnitud del grado (contención de Epidemia), consistente con la predicción teórica de que el efecto depende de la varianza del grado.
• Colapso en DD: Los normalizadores de varianza cero (PairNorm, InstanceNorm, BatchNorm) colapsaron hacia la predicción de la clase mayoritaria en el dataset DD, mientras que PostDeg mantuvo aproximadamente un 80% de precisión, demostrando que PostDeg no sufre el mismo colapso que los normalizadores de estadísticas de características.

Significado y Reivindicaciones

El artículo afirma haber localizado el mecanismo preciso por el cual LayerNorm borra las señales topológicas en las GNN y proporciona una solución simple y sin parámetros.

• Posicionamiento sobre Parametrización: La principal conclusión es que el posicionamiento, no la parametrización, conlleva la ganancia. Una pequeña comprobación de invariancia (colocar el escalar después de LayerNorm) es suficiente para recuperar las señales topológicas sin necesidad de aprender pesos.
• Generalizabilidad: Se afirma que el diagnóstico se generaliza a cualquier escalar topológico positivo (por ejemplo, PageRank, k-core) en cualquier pila residual normalizada.
• Contribución Teórica: El trabajo formaliza la identidad de absorción de LayerNorm para escalares positivos y establece una "regla de posicionamiento" que dicta dónde debe inyectarse la magnitud de la topología para que sea visible para el clasificador.
• Modestia: Los autores limitan explícitamente sus reivindicaciones a escalares positivos y bloques residuales de una sola capa. No pretenden que el método resuelva efectos compuestos de múltiples capas, variantes de RMSNorm o multiplicadores que cambian de signo, señalando que estos están fuera de su alcance. La ganancia se presenta como una corrección específica para tareas de selección de nodos sensibles al grado donde las GNN estándar con LayerNorm fallan en utilizar la magnitud topológica.