Resumen Técnico: VDW-GNNs: Wavelets de Difusión Vectorial para Redes Neuronales de Grafos Geométricos

Planteamiento del Problema

El Aprendizaje Profundo Geométrico (GDL) tiene como objetivo extender el aprendizaje profundo a datos con estructuras geométricas, como grafos y variedades. Un desafío central en este campo es diseñar representaciones que respeten las simetrías y estructuras intrínsecas de los datos (por ejemplo, la invariancia/equivarianza rotacional y traslacional).

Las Redes Neuronales de Grafos (GNN) existentes dependen principalmente del paradigma de paso de mensajes, donde las representaciones de los nodos se actualizan mediante un promedio local. Aunque esto es efectivo para tareas como la clasificación de nodos en redes homófilas, este enfoque sufre de dos limitaciones críticas:

1. Sobre-suavizado (Oversmoothing): A medida que aumenta el número de capas, las representaciones de los nodos se vuelven indistinguibles, lo que limita la profundidad de la red.
2. Alcance insuficiente (Underreaching): El paso de mensajes local tiene dificultades para capturar interacciones de largo alcance necesarias para ciertas tareas.

Aunque se ha propuesto el uso de wavelets de difusión y transformadas de dispersión geométrica para abordar el compromiso entre sobre-suavizado y alcance insuficiente mediante la captura de la geometría de grafos multiescala, históricamente han estado restringidos a señales de valores escalares. Sin embargo, muchos conjuntos de datos geométricos del mundo real involucran características de valores vectoriales (por ejemplo, vectores de velocidad del viento, velocidades de actividad neuronal o valores del haz tangente en una variedad). Los enfoques estándar suelen tratar estos componentes vectoriales como canales escalares independientes, fallando al no aprovechar las relaciones geométricas entre los componentes vectoriales y la estructura de la variedad subyacente. Además, los métodos existentes para datos de valores vectoriales carecen a menudo de garantías teóricas rigurosas respecto a la estabilidad de la estructura (frame stability) o la equivariancia bajo movimientos rígidos.

Metodología

Los autores introducen las Wavelets de Difusión Vectorial (VDWs) y una familia correspondiente de Redes Neuronales de Grafos de Wavelets de Difusión Vectorial (VDW-GNNs). Este marco extiende la teoría de las wavelets de difusión y la dispersión geométrica a señales de valores vectoriales definidas en grafos geométricos.

1. Matriz de Difusión Vectorial ($Q$)

Inspirado en el algoritmo de Mapas de Difusión Vectorial (VDM), el núcleo del método es la construcción de una matriz de difusión vectorial $Q \in \mathbb{R}^{nD \times nD}$ (donde $n$ es el número de nodos y $D$ es la dimensión ambiental).

• Marcos Locales: Para cada nodo $v_i$, se construye un marco ortonormal local (base) $\{u_{i,1}, \dots, u_{i,D}\}$ utilizando la Descomposición en Valores Singulares (SVD) de la matriz de distancia relativa a sus vecinos. Esto define un sistema de coordenadas local.
• Transporte Paralelo: Para relacionar las características entre nodos, el método computa matrices de rotación $O_{i,j} = U_i U_j^\top$ que mapean el marco local del nodo $v_j$ al del nodo $v_i$. Se emplea una técnica de cambio de signo para asegurar que estas matrices estén bien definidas y sean únicas hasta el signo.
• Construcción: La matriz $Q$ se define en forma de bloque como $Q[i, j] = P[i, j] O_{i,j}$, donde $P$ es la matriz de difusión escalar estándar. Este operador actúa como un proxy computacionalmente eficiente para el semigrupo de calor asociado al Laplaciano de Conexión ($\Delta$), el cual gobierna la difusión de campos vectoriales en una variedad.

2. Wavelets de Difusión Vectorial y Dispersión

De manera similar a las wavelets de difusión escalares, los autores definen un banco de filtros utilizando potencias de $Q$:

• Wavelets: $\tilde{\Psi}_j = Q^{2^{j-1}} - Q^{2^j}$ (para $j \ge 1$) y $\tilde{\Psi}_0 = I - Q$.
• Filtro de Paso Bajo: $\tilde{\Phi}_J = Q^{2^J}$.
• Transformada de Dispersión: Las características no lineales se extraen alternando estos filtros de wavelet con funciones de activación puntuales $\sigma$. Los autores definen coeficientes de primer orden $\tilde{U}[j]w = \sigma(\tilde{\Psi}_j w)$ y coeficientes de orden superior de forma recursiva.

3. Arquitectura VDW-GNN

Los autores incorporan estas wavelets en una arquitectura GNN que procesa pistas escalares y vectoriales por separado, pero permite su interacción:

• Pista Escalar (Scalar Track): Procesa características de nodos escalares utilizando wavelets de difusión estándar.
• Pista Vectorial (Vector Track): Procesa características vectoriales utilizando VDWs.
• Mezcla (Mixing): Capas de mezcla aprendibles combinan los coeficientes de dispersión a través de las escalas.
• Cabezales de Predicción: La red está diseñada para ser rotacionalmente invariante para objetivos escalares (por ejemplo, diámetro del grafo) y rotacionalmente equivariante para objetivos vectoriales (por ejemplo, reconstrucción del viento), asegurando que la salida se transforme correctamente bajo rotaciones globales de la entrada.

Contribuciones Clave

1. Introducción de las VDWs: Los autores proponen una nueva familia de wavelets para grafos con características de nodos de valores vectoriales, extendiendo las wavelets de difusión al entorno del haz tangente.
2. Garantías Teóricas:
   • Límites de Estructura (Frame Bounds): Demuestran que las VDWs satisfacen límites de estructura similares a las wavelets de difusión escalares tradicionales, asegurando una inversión estable y robustez al ruido.
   • Equivarianza: Demuestran que las wavelets y los coeficientes de dispersión son equivariantes con respecto al grupo Ortogonal Especial $SO(D)$ (rotaciones) e invariantes a las traslaciones.
3. VDW-GNNs: Demuestran la integración efectiva de estas wavelets en redes neuronales, mostrando que el método captura la geometría multiescala sin sobre-suavizado.
4. Validación Empírica: El método se valida en datos sintéticos, datos reales de campos de viento y variedades de actividad neural, mostrando un rendimiento competitivo o superior a las GNN equivariantes de vanguardia (como EGNN y TFN) con significativamente menos parámetros.

Resultados Experimentales

El artículo evalúa las VDW-GNNs a través de tres escenarios distintos:

1. Elipsoides Sintéticos:

   • Tarea: Predecir el diámetro euclidiano de elipsoides aleatorios (a nivel de grafo) y realizar la regresión de un campo vectorial definido en la superficie del elipsoide (a nivel de nodo).
   • Hallazgos: Los modelos no equivariantes fallaron significativamente cuando los datos de prueba fueron rotados, mientras que las VDW-GNNs mantuvieron su rendimiento. Las VDW-GNNs lograron una precisión comparable a las pesadas bases equivariantes (EGNN, TFN) pero con órdenes de magnitud menos parámetros (por ejemplo, ~60k frente a ~29M para TFN).

2. Reconstrucción de Campo de Viento:

   • Tarea: Reconstruir mediciones de velocidad del viento enmascaradas (valores del haz tangente en una esfera) a partir de un conjunto de datos real de la NOAA.
   • Hallazgos: Las VDW-GNNs obtuvieron el mejor MSE de prueba y el segundo mejor MSE de prueba rotada entre los modelos comparables. Superaron sustancialmente a DD-TNN (una red específica para el haz tangente) y fueron las más rápidas de entrenar por época.

3. Grabaciones Neurales Multicanal:

   • Tarea: Aprender incrustaciones (embeddings) de baja dimensión de series temporales de actividad neural de macacos para predecir condiciones conductuales (entorno inductivo).
   • Hallazgos: Las VDW-GNNs alcanzaron una precisión de clasificación media del 66%, superando ligeramente a MARBLE (65%) y superando significativamente a CEBRA y LFADS. El modelo se entrenó mucho más rápido y utilizó menos parámetros que MARBLE.

Significancia y Reivindicaciones

El artículo afirma que las VDW-GNNs proporcionan un marco flexible, eficiente en parámetros y con base teórica para aprender sobre datos con características de valores vectoriales. Al aprovechar la estructura de baja dimensión intrínseca de los datos (hipótesis de la variedad) y las simetrías del espacio ambiental, el método evita los problemas de sobre-suavizado de los pasos de mensajes estándar mientras respeta la naturaleza geométrica de los campos vectoriales.

Los autores enfatizan que su enfoque:

• Une la Teoría y la Práctica: Conecta la teoría espectral del Laplaciano de Conexión con implementaciones de GNN escalables y prácticas utilizando operaciones de matrices dispersas, evitando descomposiciones espectrales costosas.
• Ofrece un Sesgo Inductivo Fuerte: La equivariancia rotacional y la naturaleza multiescala de las wavelets sirven como sesgos inductivos efectivos, permitiendo que el modelo generalice bien ante datos rotados y capture la estructura global con menos capas.
• Es Computacionalmente Eficiente: A pesar de manejar datos de valores vectoriales, el uso de operadores de difusión dispersos y la evitación de la descomposición espectral explícita hace que el método sea escalable a grandes conjuntos de datos.

Los autores señalan modestamente algunas limitaciones, incluyendo la dependencia del PCA local para la estimación del espacio tangente (que puede degradarse en vecindarios dispersos) y la sensibilidad a los hiperparámetros respecto a las escalas de difusión. También reconocen que el método asume que la hipótesis de la variedad se cumple; si los datos no residen en una variedad suave de baja dimensión, la derivación teórica podría no sostenerse.