Resumen Técnico: Filtrar el Filtro, No el Mensaje

Planteamiento del Problema

Las Redes Neuronales de Grafos de Pre-propagación (PP-GNNs) abordan las limitaciones de escalabilidad de las MP-GNNs estándar (de paso de mensajes) mediante el desacoplamiento de la computación dependiente del grafo del bucle de entrenamiento. En las PP-GNNs, la propagación del grafo se realiza una sola vez como un paso de preprocesamiento para generar características densas de los nodos (hops), y el modelo entrena únicamente sobre estas características. Si bien este enfoque permite entrenar en grafos masivos con aceleraciones de órdenes de magnitud, persiste un enigma: los agregadores de características más complejos no superan de manera fiable a los más simples.

Las observaciones empíricas muestran que los agregadores simples basados en MLP (por ejemplo, SIGN) a menudo igualan o superan el rendimiento de los sofisticados mecanismos de atención de hops (por ejemplo, HOGA) en diversos benchmarks. Las explicaciones existentes centradas en la capacidad arquitectónica bruta no logran explicar esto. El artículo postula que la limitación no reside en la complejidad del agregador, sino en cómo los coeficientes del filtro se comparten entre los nodos y los canales de características dentro de la base de difusión precomputada. Específicamente:

• Las arquitecturas basadas en MLP aprenden filtros que dependen de los canales pero que están ampliamente compartidos entre los nodos.
• Las arquitecturas de atención de hops aprenden mezclas que dependen de los nodos pero que están ampliamente compartidas entre los canales.
  Ningún enfoque logra plenamente la filtración adaptativa conjunta de nodo y canal, un régimen que los diseños estándar de PP-GNN dejan inexplorado.

Metodología: FilterMoE

Los autores proponen FilterMoE, una PP-GNN de Mezcla de Expertos (MoE) que introduce una filtración adaptativa conjunta de nodo y canal, adhiriéndose estrictamente al contrato computacional de pre-propagación (sin paso de mensajes dispersos durante el entrenamiento).

Arquitectura Central

1. Preprocesamiento (Fuera de línea):

   • Se materializa una vez una base de difusión de Chebyshev: $B_k = T_k(\tilde{L})X$ para $k=0, \dots, K$, donde $\tilde{L}$ es el Laplaciano del grafo reescalado y $T_k$ son polinomios de Chebyshev.
   • Se utiliza una cuadratura de Lanczos estocástica (SLQ) para generar una rejilla espectral para analizar las respuestas de los filtros.

2. Banco de Expertos:

   • En lugar de predecir coeficientes polinómicos independientes para cada par nodo-canal (lo cual es computacionalmente prohibitivo y débil en sesgo inductivo), FilterMoE aprende un pequeño banco de $M$ expertos de filtros de Chebyshev.
   • Cada experto $m$ está definido por un conjunto de coeficientes de Chebyshev $\alpha_m$, que representan una respuesta espectral específica $g_m(\lambda)$.

3. Enrutamiento Conjunto Nodo-Canal:

   • Un tensor de enrutamiento (gating) 3D $G \in \mathbb{R}^{N \times M \times F}$ enruta los expertos. $G_{i,m,f}$ determina el peso del experto $m$ para el nodo $i$ y el canal de característica $f$.
   • Esto permite que cada par nodo-canal tenga un filtro efectivo único $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$, mientras restringe todos los filtros a ser mezclas del banco de expertos compartidos.

4. Variantes del Enrutador:

   • MLP Conjunto Directo: Mapea los descriptores de los nodos directamente a la rejilla completa de logits $M \times F$.
   • Enrutador de Dos Etapas Consciente de la Respuesta: Utiliza los bocetos de respuesta espectral de los expertos como claves. Primero calcula un prior a nivel de nodo sobre los expertos y luego lo refina con residuales a nivel de canal. Esto condiciona explícitamente el enrutamiento a las formas espectrales conscientes del grafo de los expertos.

5. Objetivo de Entrenamiento:

   • La pérdida principal es la pérdida de la tarea supervisada.
   • Regularización Auxiliar:
     • Pérdida de Diversidad: Fomenta respuestas espectrales distintas entre los expertos en el espacio de respuesta espectral (usando la rejilla SLQ) para prevenir el colapso.
     • Pérdida de Suavidad: Penaliza los coeficientes de Chebyshev de alto grado para asegurar filtros estables.
     • Equilibrio de MoE: Pérdidas estándar de importancia y equilibrio de carga para asegurar un uso equitativo de los expertos.

Contribuciones Clave

1. Análisis desde la Perspectiva Grafo-Filtro: El artículo replantea el rendimiento de las PP-GNN no como una función de la capacidad del agregador, sino como una función de cómo se comparten los coefientes de los filtros. Identifica que los métodos existentes son o bien compartidos por nodo/adaptativos por canal, o bien compartidos por canal/adaptativos por nodo, perdiendo el régimen adaptativo conjunto.
2. Arquitectura FilterMoE: Una nueva PP-GNN que implementa la filtración adaptativa conjunta de nodo y canal mediante un tensor de enrutamiento de mezcla de expertos de Chebyshev compartidos.
3. Alternativa Robusta a la Sintonización Manual: FilterMoE sirve como un mecanismo aprendido y robusto que elimina la necesidad de seleccionar manualmente agregadores de hops específicos (MLP vs. Atención vs. Fusión) para diferentes conjuntos de datos.
4. Evaluación Exhaustiva: Experimentos extensos en 11 benchmarks (homofílicos, heterofílicos y de gran escala) demuestran la eficacia del enfoque.

Resultados Experimentales

FilterMoE fue evaluado en 11 conjuntos de datos, incluyendo cuatro homofílicos, cuatro heterofílicos y tres grafos de gran escala (Pokec, OGBN-Products, OGBN-Papers100M).

• Rendimiento General: FilterMoE superó a las bases de comparación de PP-GNN más fuertes (SIGN, HOGA, GAMLP) en 9 de los 11 conjuntos de datos, mejorando la puntuación de prueba promedio en 1.53 puntos.
• Grafos de Gran Escala: FilterMoe ocupó el primer lugar en los tres benchmarks de gran escala, superando al mejor baseline de PP-GNN por +1.76 (Pokec), +0.93 (OGBN-Products) y +0.71 (OGBN-Papers100M).
• Comparación con MP-GNNs: En grafos grandes, FilterMoE superó a todas las bases de comparación de MP-GNN evaluadas, manteniendo la eficiencia de pre-propagación en el entrenamiento. En grafos más pequeños, se mantuvo competitivo con variantes adaptativas de MP-GNN (por ejemplo, variantes de AGDN), pero no dominó uniformemente a estas, lo que sugiere que su principal fortaleza reside en el régimen de PP-GNN.
• Estudios de Ablación:
  • Enrutamiento: El enrutamiento conjunto nodo-canal superó consistentemente a las variantes de un solo eje (solo nodo o solo canal).
  • Operador: La ganancia de rendimiento no se debió únicamente al operador de Chebyshev; reemplazar el operador en los baselines por uno de Chebyshev los mejoró, pero no cerró la brecha con FilterMoE.
  • Regularización: La pérdida de suavidad espectral fue el regularizador más crítico, mientras que las pérdidas de diversidad y equilibrio de MoE proporcionaron beneficios menores y dependientes del conjunto de datos.

Significado y Reivindicaciones

El artículo afirma que la principal limitación de las PP-GNN existentes no es la falta de agregadores complejos, sino la falta de un mecanismo estructurado para aprender filtros de grafos que sean conjuntamente adaptativos de nodo y canal manteniendo la escalabilidad.

FilterMoE establece el enrutamiento de filtro conjunto nodo-canal como una alternativa robusta a la selección de agregadores de hops específica para cada conjunto de datos. Al desacoplar la respuesta espectral (expertos aprendidos) del mecanismo de enrutamiento (gating nodo-canal), el modelo logra una alta expresividad sin reintroducir el problema de la explosión de vecinos o la sobrecarga computacional del paso de mensajes por época. Los resultados sugieren que, para la clasificación de nodos a gran escala, una estrategia de enrutamiento adaptativa aprendida sobre un banco de filtros compartidos es superior al diseño manual o la sintonización de cabezales de agregación específicos para cada conjunto de datos.

Los autores mantienen la modestia respecto al alcance, señalando que el presente trabajo se centra en grafos homogéneos fijos para la clasificación de nodos. Las extensiones a predicción de enlaces, tareas de nivel de grafo, grafos heterogéneos y grafos dinámicos se identifican como trabajo futuro en lugar de capacidades actuales.