🤖 machine learning

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

Este artículo presenta SIGIL, un marco de trabajo totalmente inductivo que supera la heterogeneidad de entrada en los modelos fundacionales de grafos mediante el mapeo de grafos con atributos arbitrarios a un grafo de interacción estructural unificado, permitiendo la transferencia de representaciones de características aprendidas a través de diversos grafos y unificando los enfoques existentes de razonamiento en grafos de conocimiento.

Autores originales: Omer Yom Tov, Avigdor Gal

Publicado 2026-08-11

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Omer Yom Tov, Avigdor Gal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender el mundo. En el mundo del texto, tenemos un diccionario masivo de palabras con las que todos estamos de acuerdo; una vez que el robot aprende lo que significa "gato" o "correr", puede leer un nuevo libro sobre gatos o correr sin necesidad de una nueva lección. Pero en el mundo de los grafos —redes de cosas conectadas como amigos en redes sociales, moléculas químicas o redes de citas— no existe un diccionario universal. Cada grafo viene con su propio conjunto único de "características" (como los atributos específicos de una persona o una molécula) que pueden ser completamente diferentes de la anterior. Un modelo entrenado para entender una red de científicos podría quedar completamente confundido cuando se le entrega una red de compradores en línea porque las "palabras" (características) no coinciden. Esto hace que sea increíblemente difícil construir un "modelo fundacional" único que pueda saltar de un tipo de red a otro sin tener que ser reentrenado desde cero. La gran pregunta que se hacen los investigadores es: ¿Podemos construir un traductor universal para estas redes desordenadas y diferentes que funcione en cualquier cosa, en cualquier lugar, sin necesidad de un diccionario para cada trabajo nuevo?

Este artículo presenta un nuevo y astuto marco de trabajo llamado Sigil (que significa Grafos de Interacción Estructural para el Aprendizaje Inductivo) para resolver exactamente ese problema. Piensa en Sigil como un maestro chef al que no le importan los ingredientes específicos que le entregues (ya sean manzanas, zanahorias o fruta alienígena). En lugar de intentar memorizar cada posible ingrediente, Sigil observa cómo los ingredientes interactúan entre sí. Toma una red desordenada y compleja y la eleva a un nuevo nivel simplificado llamado "Grafo de Interacción Estructural" (SIG, por sus siglas en inglés). En esta nueva vista, los "nodos" ya no son las personas o las moléculas; son las características mismas (como "altura", "precio" o "color"). Las conexiones en este nuevo grafo muestran cómo estas características tienden a alinearse o chocar basándose en cómo está conectada la red original.

Al ejecutar un juego especial de paso de mensajes en este nuevo mapa de características, Sigil aprende un lenguaje universal para las características. Traduce cualquier grafo, sin importar cuán extraño o diferente sean sus características, a un formato estándar de tamaño fijo que una IA de nivel inferior pueda entender fácilmente. El artículo muestra que esto no es solo un truco nuevo; es una teoría unificadora. Cuando las características son códigos "one-hot" simples (como tipos de relaciones discretas en un grafo de conocimiento), Sigil recupera perfectamente modelos existentes y potentes. Pero cuando las características son números continuos (como datos de sensores de valores reales), Sigil va hacia donde esos modelos antiguos no pudieron. Los autores probaron esto en una amplia variedad de tareas, incluyendo la predicción de enlaces faltantes en redes y la clasificación de nodos. Descubrieron que un solo modelo Sigil, entrenado en un solo grafo (como la red de citas Cora), podía desempeñarse increíblemente bien en grafos completamente nuevos con características diferentes, superando a menudo a otros modelos "totalmente inductivos" que intentan generalizar. Es como enseñarle a un estudiante a leer un libro, y luego hacer que apruebe un examen sobre un libro escrito en un idioma completamente diferente, simplemente porque aprendió la gramática subyacente de cómo se conectan las ideas, en lugar de memorizar las palabras.

Resumen Técnico: Paso de Mensajes Neuronal en Grafos de Interacción Estructural para Redes Neuronales de Grafos Completamente Inductivas

1. Planteamiento del Problema

El desarrollo de los Modelos Fundacionales de Grafos (GFM, por sus siglas en inglés) enfrenta un obstáculo central: la heterogeneidad de la entrada. A diferencia del lenguaje natural, donde un vocabulario de tokens compartido permite a los modelos codificar cualquier texto, los grafos llegan con espacios de características de nodos únicos que difieren en dimensionalidad, semántica de coordenadas y conjuntos de etiquetas. En consecuencia, un modelo entrenado en un grafo generalmente no puede "leer" otro.

Los enfoques existentes abordan partes de este desafío pero no logran unificarlas:

GFM de Clasificación de Nodos: Métodos como GraphAny manejan espacios de características y etiquetas arbitrarios, pero están diseñados únicamente para la clasificación de nodos, careciendo de mecanismos para la predicción de enlaces o el razonamiento relacional.
Modelos Fundacionales de Grafos de Conocimiento (KGFM): Modelos como ULTRA logran la transferencia zero-shot en grafos de conocimiento mediante la construcción de un "grafo de relaciones" sobre tipos de relaciones discretas. Sin embargo, este enfoque es fundamentalmente discreto; presupone un vocabulario finito de relaciones y carece de mecanismos para características de nodos o bordes continuas.

El desafío central es diseñar un modelo de grafo completamente inductivo que generalice a través de tres ejes simultáneamente: estructuras de grafos no vistas, espacios de características no vistos (dimensionalidad y semántica arbitrarias) y espacios de etiquetas no vistos.

2. Metodología: El Marco Sigil

Los autores proponen Sigil (Grafos de Interacción Estructural para el Aprendizaje Inductivo), un marco que mapea cualquier grafo con atributos a un espacio de representación unificado de dimensión fija. La innovación central es el Grafo de Interacción Estructural (SIG).

2.1 Construcción del Grafo de Interacción Estructural (SIG)

Dado un grafo de entrada $G=(V, E)$ con características de nodo $X \in \mathbb{R}^{n \times d}$ , Sigil "eleva" el grafo del dominio de los nodos al dominio de la dimensión de características.

Propagación de Orden Múltiple: Las características se propagan a través de órdenes de vecindad crecientes $k$ (de $0 $a$ K$) utilizando propagación no parametrizada: $X^{(k)} = A^k X$ .
Operadores de Interacción: Para cada orden $k$ , se aplica un operador de interacción $g$ (por ejemplo, resta o multiplicación elemento a elemento) a las características de los nodos adyacentes para crear características de borde.
Agregación de Roles: Estas características de borde se agregan de nuevo a los nodos, separadas por rol (cabeza/cola para grafos dirigidos), creando matrices de resumen $\bar{X}^{(k)}_h$ y $\bar{X}^{(k)}_t$ . Estas matrices caracterizan cómo se instancian los valores de las características a través de los vecindarios locales.
Construcción de la Matriz de Gram: La alineación entre las dimensiones de las características se captura computando matrices de Gram (productos internos) de estos vectores de resumen: $\bar{A}^{(k)} = (\bar{X}^{(k)})^\top \bar{X}^{(k)}$ .
El SIG: Las matrices resultantes $\bar{A}^{(k)}$ $\overset{ˉ}{A}^{(k)}$ forman un Grafo de Interacción Estructural $G_{struct}$ $G_{s t r u c t}$ . En este grafo:
- Los Nodos son las dimensiones de características de entrada $[d]$ .
- Los Bordes están ponderados y tipificados, codificando cómo se alinean los pares de características a través de diferentes órdenes de conectividad.
- Para grafos dirigidos, la construcción produce cuatro secciones por orden (cabeza-cabeza, cola-cola, cabeza-cola, cola-cabeza), capturando interacciones direccionales.

2.2 Aprendizaje de Representaciones mediante Paso de Mensajes Relacional

Una vez construido el SIG, un Red de Paso de Mensajes Relacional (RMPNN) opera sobre él:

Embedding: El RMPNN incrusta cada dimensión de característica $f \in [d]$ en un espacio oculto de tamaño fijo $d_h$ .
Transformación: Las incrustaciones de características aprendidas $\Theta^{(T)} \in \mathbb{R}^{d \times d_h}$ se utilizan para transformar las características originales de los nodos de cualquier grafo en una representación unificada: $H = X \Theta^{(T)}$ .
Propiedad Inductiva: Debido a que los parámetros del RMPNN actúan solo sobre el ancho oculto fijo $d_h$ y nunca sobre la dimensión de entrada $d$ , un solo modelo Sigil entrenado puede procesar grafos con dimensionalidades de características arbitrarias.

2.3 Tareas de Destino (Downstream)

Predicción de Enlaces: Las representaciones de nodos unificadas se alimentan en GNNs expresivas de predicción de enlaces (por ejemplo, NBFNet) para realizar inferencia zero-shot.
Clasificación de Nodos: Las representaciones de nodos unificadas sirven como entradas para un decodificador de destino (por ejemplo, un MLP ligero o una solución analítica de forma cerrada) para predecir etiquetas.

3. Contribuciones Clave y Propiedades Teóricas

3.1 Generalización Estricta de los KGFM

El artículo demuestra que Sigil es una generalización estricta de los modelos fundacionales de grafos de conocimiento existentes (como ULTRA).

Teorema 1: Cuando las características de entrada son indicadores one-hot de relaciones discretas, la construcción del SIG recupera exactamente el grafo de relaciones utilizado por los KGFM.
Extensión: A diferencia de los KGFM, Sigil acepta características continuas. Las matrices de Gram se convierten en matrices de alineación de características continuas en lugar de recuentos de coocurrencia de enteros. Además, la propagación de orden múltiple de Sigil codifica interacciones de orden superior entre características que los KGFM (limitados a motivos de un solo salto) omiten.

3.2 Simetría y Equivarianza

Sigil satisface las simetrías requeridas para la generalización completamente inductiva:

Equivariancia de Permutación de Nodos: Las representaciones de los nodos de salida son equivariantes a las permutaciones de los nodos de entrada.
Invariancia de Permutación de Características: La representación unificada es invariante al orden o identidad de las dimensiones de características de entrada. Esto permite que el modelo lea grafos con espacios de características que nunca ha visto.
Equivariancia de Permutación de Etiquetas: Cuando se combina con un decodificador equivariante, el modelo respeta las permutaciones de las etiquetas.

4. Resultados Experimentales

Los autores evalúan Sigil en tres regímenes, utilizando un único modelo preentrenado en el conjunto de datos Cora (para predicción de enlaces y clasificación de nodos) o una mezcla de grafos de conocimiento (para razonamiento en KG).

4.1 Predicción de Enlaces (Características Continuas)

Evaluado en 11 benchmarks (7 con atributos, 4 sin atributos).

Grafos con Atributos: Sigil-lp es el método completamente inductivo más fuerte en cada conjunto de datos, superando a las líneas base como UniLP y TFMLinker. Notablemente, supera significativamente a UniLP en conjuntos de datos como CiteSeer y AmazonPhotos, demostando que aprovechar los espacios de características mediante SIG es superior a descartarlos.
Grafos sin Atributos: Sigil-lp sigue siendo competitivo, ocupando el segundo lugar entre los métodos completamente inductivos y mostrando una alta estabilidad.
Eficiencia: Sigil-lp completa la inferencia en minutos, mientras que las líneas base de contexto in-context como UniLP exceden los presupuestos de 24 horas.

4.2 Razonamiento en Grafos de Conocimiento

Evaluado en el benchmark ULTRA (entornos inductivos con entidades y relaciones no vistas).

Reproducción: Sigil(0) (SIG de orden 0) reproduce el rendimiento de ULTRA dentro de un pequeño margen (por ejemplo, igualando el MRR exactamente en los grafos de preentrenamiento).
Expresividad: Los SIGs de orden superior (Sigil(1), Sigil(2)) muestran un rendimiento variable dependiendo del conjunto de datos, lo que sugiere que, si bien las interacciones de orden superior añaden expresividad, no mejoran el rendimiento de manera uniforme en todas las tareas.

4.3 Clasificación de Nodos

Evaluado en 26 benchmarks con diversas dimensiones de características y conteos de clases.

Rendimiento: Sigil-nc es competitivo, ocupando el primer o segundo lugar en 10 de 26 conjuntos de datos. Se queda por detrás de modelos especializados como RGVT y TAG (que están optimizados para tareas específicas), pero supera a GraphAny y TS-MEAN.
Análisis: Los autores atribuyen la brecha de rendimiento al "costo de la unificación": comprimir espacios de características arbitrarios en una dimensión fija $d_h$ hace que las coordenadas originales sean inaccesibles para el decodificador, lo que requiere más supervisión. Sin embargo, los resultados confirman que aprender en SIGs es un enfoque válido para los modelos fundacionales de clasificación de nodos.

5. Significancia y Reivindicaciones

El artículo afirma que Sigil unifica varios regímenes previamente separados en el diseño de modelos fundacionales de grafos:

Unificación: Cierra la brecha entre los GFM de clasificación de nodos (que manejan características arbitrarias) y los KGFM (que manejan el razonamiento relacional), proporcionando un único mecanismo para ambos.
Transferibilidad: Demuestra que un solo modelo, entrenado en un grafo, puede ofrecer un fuerte rendimiento zero-shot en grafos con espacios de características y estructuras completamente diferentes.
Generalización: Al formalizar el grafo de relaciones como una instancia discreta de un Grafo de Interacción Estructural, el trabajo proporciona una base teórica para extender el razonamiento relacional a espacios de entrada continuos.

Los autores conclizan que la transferibilidad, el razonamiento relacional y las tareas a nivel de borde pueden surgir de un único mecanismo (la construcción de SIG y el paso de mensajes) en lugar de requerir diseños separados para diferentes tipos de grafos. Se sugiere como trabajo futuro el refinamiento de las arquitecturas para aprender en SIGs y el estudio de su poder de expresión.