SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

Resumen Técnico: SpectralMLP

Planteamiento del Problema
Las redes neuronales de hipergrafos (HGNN) actuales dependen predominantemente de mecanismos de agregación —como el paso de mensajes locales, la atención global o la proyección espectral— para enriquecer las representaciones de los nodos. Estos enfoques enfrentan limitaciones prácticas significativas: el paso de mensajes locales sufre de over-squashing (sobrecompresión) y sensibilidad al ruido; la atención global incurre en una complejidad de $O(N^2)$, lo que limita su escalabilidad; y los métodos espectrales exactos requieren una descomposición de autovalores de $O(N^3)$, lo que los hace inviables para grafos grandes. Además, los métodos espectrales existentes a menudo no logran abordar la "degeneración espectral", un fenómeno donde los autovalores del Laplaciano se agrupan estrechamente (por ejemplo, $\lambda_{max} - \lambda_{min} < 10^{-4}$), causando que los filtros estándar colapsen en respuestas constantes y pierdan la discriminación de frecuencia. Asimismo, una respuesta espectral única no puede capturar simultáneamente las señales de baja frecuencia, beneficiosas para grafos homofílicos, y las señales de alta frecuencia, requeridas para tareas heterofílicas o de multiclase.

Metodología
Los autores proponen SpectralMLP, un marco libre de paso de mensajes que reemplaza la agregación con un filtrado espectral de doble frecuencia utilizando bases de polinomios de Jacobi aprendibles. El marco consta de tres componentes principales:

1. Columna Vertebral MLP (MLP Backbone): Un MLP transforma las características de entrada en representaciones ocultas sin ninguna operación de grafo, sirviendo como una línea base justa para la comparación.
2. Filtro Espectral de Doble Frecuencia Adaptativo (ADF-SF): Esta es la innovación central. En lugar de un único filtro, el ADF-SF descompone las representaciones ocultas en dos ramas parametrizadas independientemente:
   • Rama de baja frecuencia: Gobernada por una base de polinomios de Jacobi aprendible con parámetros $(\alpha_l, \beta_l)$ y coeficientes $\theta_{low}$.
   • Rama de alta frecuencia: Gobernada por una base de Jacobi aprendible separada con parámetros $(\alpha_h, \beta_h)$ y coeficientes $\theta_{high}$.
   • Puerta Adaptativa (Adaptive Gating): Una puerta aprendida ($g = \sigma(W_g[h_{low}; h_{high}] + b_g)$) fusiona dinámicamente estas ramas por nodo, permitiendo que el modelo equilibre adaptativamente las señales homofílicas y heterofílicas.
   • Conexión Residual: La salida filtrada se combina con la señal original mediante una escala aprendible $\beta_{res}$ para asegurar la estabilidad y la preservación de la señal.
3. Detalles de Implementación: El método opera directamente sobre el Laplaciano normalizado disperso (derivado mediante expansión de cliques) utilizando relaciones de recurrencia de tres términos. Esto evita por completo la descomposición de autovalores, reduciendo la complejidad por capa a $O(K \cdot \text{nnz} \cdot H)$, donde $K$ es el orden del polinomio y $\text{nnz}$ es el número de elementos no nulos en el Laplaciano.

El objetivo de entrenamiento combina la pérdida de entropía cruzada con un regularizador de suavidad consciente de la estructura que penaliza las grandes distancias euclidianas entre nodos dentro de un mismo hiperarista, computado eficientemente mediante muestreo.

Contribuciones Clave

• Marco Libre de Paso de Mensajes: SpectralMLP demuestra que el filtrado espectral por sí solo, sin operadores de agregación aprendibles, es suficiente para la clasificación de nodos en hipergrafos.
• Bases de Jacobi Aprendibles: El artículo introduce la primera aplicación de filtrado de polinomios de Jacobi aprendibles a hipergrafos. Al hacer que los parámetros $(\alpha, \beta)$ sean aprendibles, el modelo adapta la base polinómica a la distribución espectral específica de cada conjunto de datos, añadiendo solo dos parámetros por filtro.
• Arquitectura de Doble Frecuencia: El marco aborda explícitamente la diversidad de las características espectrales en los hipergrafos al desacoplar el procesamiento de baja y alta frecuencia. Este diseño permite al modelo manejar tanto la homofilia como la heterofilia y, crucialmente, mitiga la degeneración espectral donde los filtros estándar fallan.
• Eficiencia Computacional: El método elimina la necesidad de descomposición de autovalores y expansión de vecindad, basándose únicamente en productos de matrices dispersas y vectores.

Resultados Experimentales
Los autores evaluaron SpectralMLP en 10 conjuntos de datos de clasificación de nodos de hipergrafos (que oscilan entre 101 y 41,302 nodos) frente a 9 líneas base, incluyendo HGNN de paso de mensajes, modelos basados en transformadores y métodos basados en MLP.

• Desempeño: SpectralMLP ocupó el primer o segundo lugar en 7 de los 10 conjuntos de datos.
  • Degeneración Espectral: En el conjunto de datos Congress, caracterizado por una severa degeneración espectral ($\lambda_{max} - \lambda_{min} < 10^{-4}$), SpectralMLP alcanzó un 95.88% de precisión, superando significativamente la línea base de MLP (70.47%) y otros métodos de vanguardia. Esto representa una ganancia de +27.9% sobre la línea base de MLP bajo configuraciones uniformes.
  • Tareas de Multiclase: En ModelNet40 (40 clases), SpectralMLP logró un 98.08%, superando a todas las líneas base.
  • Robustez: El modo de doble frecuencia sirvió como un robusto valor predeterminado de "configuración cero", desempeñándose dentro de un 1% de la mejor variante de una sola rama en todos los conjuntos de datos.
• Eficiencia de Parámetros: SpectralMLP añadió una mediana de aproximadamente un 2.4% de parámetros adicionales sobre la columna vertebral MLP. Su recuento total de parámetros fue menor que la mayoría de las líneas base de paso de mensajes (por ejemplo, AllSet, HyperGT, SheafHyperGCN), confirmando que el filtrado espectral es una alternativa eficiente en parámetros a la agregación aprendible.

Significado y Reivindicaciones
El artículo sostiene que SpectralMLP establece un nuevo paradigma para el aprendizaje en hipergrafos al demostrar que el filtrado es teóricamente equivalente a la agregación en poder de representación, pero superior en eficiencia práctica. Los autores argumentan que, al evitar la agregación, el marco evita el over-squashing, los costos de atención de $O(N^2)$ y la descomposición de autovalores de $O(N^3)$. El diseño de doble frecuencia se presenta como una solución a la limitación de "talla única" de los filtros espectrales estándar, permitiendo que el modelo descubra automáticamente el equilibrio de frecuencia óptimo para diversas tareas. Los resultados en el conjunto de datos Congress resaltan específicamente la capacidad del método para recuperar el desempeño en escenarios donde los métodos espectrales existentes degeneran.

Limitaciones y Trabajo Futuro
Los autores señalan que la actual columna vertebral MLP establece un límite superior de desempeño y sugieren que conexiones residuales de alta capacidad o MLPs aumentados con atención podrían mejorar aún más los resultados. Las direcciones futuras incluyen el desarrollo de órdenes polinómicos ($K$) adaptativos mediante optimización de hipergradiente y el diseño de filtros espectrales que operen directamente sobre la estructura de incidencia del hipergrafo en lugar de mediante la expansión de cliques.