Resumen Técnico: Redes Neuronales de Haz Temporales con Transporte Ortogonal Dinámico

1. Planteamiento del Problema

La predicción de enlaces temporales implica inferir conexiones futuras en grafos que evolucionan continuamente basándose en un flujo cronológico de eventos pasados. Un desafío fundamental en los modelos de grafos de tiempo continuo actuales es el probleente de la representación-alineación. Las arquitecturas actuales operan típicamente dentro de un único espacio de incrustación (embedding) global compartido, asumiendo que los ejes de coordenadas que definen el estado de un nodo permanecen semánticamente consistentes a lo largo del tiempo. Sin embargo, en sistemas dinámicos, los roles de los nodos derivan (por ejemplo, usuarios cambiando de comunidades, proteínas adquiriendo nuevos socios), lo que provoca que la base subyacente de las representaciones aprendidas se desplace. Aunque los vectores almacenados pueden permanecer numéricamente estables, su significado semántico puede desalinearse, lo que conduce a predicciones incorrectas al comparar estados que fueron aprendidos en contextos locales diferentes. Los métodos existentes, incluyendo las arquitecturas basadas en memoria y los codificadores centrados en eventos, heredan esta suposición implícita de alineación global y carecen de un mecanismo explícito para alinear los estados interactuantes antes de la comparación.

2. Metodología: Redes Neuronales de Haz Temporales (TSNN)

TSNN aborda este desafío extendiendo el aprendizaje de representaciones basado en haces (sheaf-based) a flujos de interacción de tiempo continuo. En lugar de un espacio global compartido, TSNN equipa a cada nodo con un marco ortogonal variante en el tiempo (un sistema de coordenadas local). El modelo opera bajo un protocolo estricto de predicción-luego-actualización, asegurando que todas las computaciones sean estrictamente causales y dependan únicamente del historial previo al evento.

Componentes Principales

• Marcos Locales Dinámicos: Cada nodo $v$ mantiene un vector de tallo (stalk vector) $h_v(t)$ (memoria semántica) y parámetros de marco $F_v(t)$ que parametrizan un mapa ortogonal $U_v(t) \in \mathbb{R}^{d \times d}$. Estos marcos se parametrizan eficientemente mediante productos de Householder de bajo rango, requiriendo solo $O(kd)$ parámetros por nodo.
• Transporte Ortogonal Explícito: Para comparar o agregar estados de diferentes nodos, TSNN transporta explícitamente estos hacia un marco local común. El mapa de transporte entre los nodos $u$ y $v$ se define como $Q_{uv}(t) = U_u(t)^\top U_v(t)$. Esto asegura que las interacciones se califiquen basándose en distancias euclidianas cuadráticas en un sistema de coordenadas sincronizado, preservando el contenido semántico a pesar de la evolución de los marcos locales.
• Evolución de Estado con Consistencia de Coordenadas: Cuando el marco de un nodo se actualiza, el estado oculto almacenado no se descarta ni se reinicializa. En su lugar, se traslada exactamente mediante la transformación $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$. Esto garantiza que el contenido semántico de la memoria permanezca invariante ante cambios en la base de las coordenadas locales.
• Decodificador de Residuo Geométrico: El mecanismo de puntuación combina una rama geométrica, que ancla las predicciones en la distancia euclídea al cuadrado transportada entre estados alineados, y una rama de residuo (MLP) que aprende correcciones basadas en tipos de relación, recencia y metadatos de los nodos. Este diseño impone un sesgo inductivo contrastivo permitiendo al mismo tiempo la flexibilidad para desviaciones sistemáticas.
• Difusión de Haz Activa Total: Después de un evento, el modelo realiza $K$ rondas de difusión de haz normalizada con escalado de características sobre un grafo activo local al evento. Esta difusión se formula como un paso de descenso de gradiente métrico sobre la energía de Dirichlet del haz combinatorio, asegurando un descenso de energía monótono y no expansividad.

Flujo Algorítmico

Para cada evento entrante $(u, v, t, r, x)$:

1. Puntuación (Scoring): Los destinos candidatos se clasifican utilizando únicamente el historial previo al evento ($E_{<t}$) mediante el decodificador de residuo geométrico.
2. Actualización: Al observar el evento positivo, los marcos de los extremos se actualizan utilizando los estados de los socios transportados.
3. Traslado (Carry-Over): Los tallos previos al evento se transforman en las nuevas coordenadas locales.
4. Paso de Mensajes: Los mensajes se computan en las coordenadas locales actualizadas y se procesan mediante una GRU.
5. Difusión: Se aplica la difusión de haz activa total al vecindario local para suavizar y refinar los estados antes de su compromiso en el almacén de estados.

3. Contribuciones Clave

1. GNN Temporal Estructurada por Haz: Un marco novedoso para la predicción de enlaces causal donde cada nodo posee un marco ortogonal variante en el tiempo. Los enlaces candidatos se califican estrictamente desde el historial previo al evento usando un decodificador de residuo geométrico.
2. Evolución de Memoria con Consistencia de Coordenadas: Un mecanismo que transporta los estados interactuantes a un marco común antes de la agregación y traslada exactamente los estados ocultos almacenados a través de las actualizaciones de marco, preservando el significado semántico a medida que las coordenadas locales evolucionan.
3. Garantías Espectrales y de Estabilidad:
   • El Laplaciano de haz inducido con normalización de grado es ortogonalmente similar al Laplaciano de grafo normalizado simétrico, con un espectro acotado en $[0, 2]$.
   • El operador de difusión de escala de características de haz activa total se demuestra como un paso de gradiente métrico sobre la energía de Dirichlet del haz combinatorio, garantizando un descenso monótono libre de grados y no expansividad.
   • La deriva del marco perturba las actualizaciones solo linealmente, con la estabilidad controlada por un regularizador de suavidad.
4. Rendimiento Empírico: TSNN logra resultados de vanguardia (state-of-the-art) en las suites de benchmarks TGB v2, heterogénea temporal y DGB, destacando particularmente en grafos con fuerte heterogeneidad de roles de nodos.

4. Resultados Experimentales

Los autores evaluaron TSNN en dos pistas:

• Pista A (TGB v2): Incluye conjuntos de datos de predicción de enlaces (tgbl-wiki, tgbl-review) y un grafo heterogéneo temporal (thgl-software). TSNN iguala o supera a 15 líneas base oficiales, logrando el MRR más alto en tgbl-wiki (82.82%) y thgl-software (71.13%), y mejoras significativas en tgbl-review.
• Pista B (DGB): Cubre 13 benchmarks estándar (ej. Wikipedia, Reddit, MOOC, Enron). TSNN alcanza el rango promedio más bajo en ambas métricas de Precisión Media (AP) y AUC. Ganancias notables incluyen +2.97 AP en MOOC y +6.50 AP en US Legis. comparado con la fuerte línea base TPNet.
• Configuración Inductiva: En la predicción de enlaces inductiva (nodos no vistos), TSNN también logra el rango promedio más bajo, demostrando una generalización robusta sin depender de trayectorias memorizadas.
• Estudios de Ablación: Los experimentos confir el hecho de que el puntuador de residuo, el transporte ortogonal explícito y los marcos locales variantes en el tiempo son los principales motores del rendimiento, siendo el transporte y los marcos dinámicos los que proporcionan mejoras consistentes en todos los conjuntos de datos.

5. Significado y Reivindicaciones

El artículo afirma que TSNN aborda una brecha crítica en el aprendizaje relacional dinámico: la falta de un mecanismo a nivel de operador para preservar el significado de la representación bajo cambios en la semántica local de los nodos. Al unificar marcos locales de nodos evolutivos, transporte explícito y actualizaciones de memoria causal en línea, TSNN proporciona un enfoque consistente con la base para el aprendizaje de grafos temporales.

Los autores enfatizan que las ganancias empíricas no provienen de un espectro de difusión más rico (ya que las propiedades espectrales son equivalentes a la difusión de grafo estándar cuando los marcos están fijos), sino de los marcos locales dinámicos, el traslado exacto a través de cambios de marco, la difusión de haz activa total por evento y las actualizaciones no lineales en coordenadas locales. El modelo se describe como "consistente con la base" en lugar de totalmente equivariante a la gauge, ya que la actualización del marco y los MLPs de paso de mensajes operan en coordenadas locales elegidas, mientras que el transporte y la decodificación respetan cambios ortogonales sincronizados. El trabajo establece que la alineación explícita de los estados interactuantes es necesaria para una predicción temporal precisa cuando los roles de los nodos derivan con el tiempo.