Resumen Técnico: Generalización de Modelos Fundacionales de Grafos mediante Generación Aumentada por Recuperación Hiperbólica

1. Planteamiento del Problema

Los Modelos Fundacionales de Grafos (GFMs, por sus siglas en inglés) se han consolidado como un paradigma dominante para el aprendizaje de representaciones de grafos, logrando una fuerte generalización en diversas tareas mediante el preentrenamiento a gran escala. Sin embargo, su rendimiento está intrínsecamente limitado por la distribución de sus datos de preentrenamiento. Cuando se enfrentan a cambios de distribución durante la inferencia, el conocimiento parametrizado dentro de estos modelos a menudo no logra generalizar, lo que provoca un rendimiento degradado y poco fiable.

Para abordar esto, se ha introducido la Generación Aumentada por Recuperación (RAG) para permitir que los GFMs accedan a conocimiento externo de forma dinámica durante la inferencia sin necesidad de reentrenamiento. No obstante, los marcos de RAG existentes para grafos operan principalmente en el espacio euclidiano. Los autores identifican una limitación geométrica fundamental en este enfoque: el crecimiento polinómico del volumen del espacio euclidiano no coincide con el crecimiento exponencial de las bases de conocimiento externas con estructura de árbol. Este desajuste geomético conduce a dos problemas críticos:

1. Pérdida de Granularidad Semántica: Los espacios euclidianos tienen dificultades para distinguir entre conceptos de grano grueso (globales) y de grano fino (locales). Los conceptos en diferentes profundidades jerárquicas se comprimen en regiones próximas, lo que provoca que el modelo los trate como igualmente informativos y difumine los roles semánticos.
2. Emergencia de Hubness (Centralidad): Debido a la capacidad de representación limitada, muchas entidades son forzadas hacia una pequeña región del espacio de incrustación (embedding). Esto resulta en "hubness", donde ciertas entidades aparecen frecuentemente en los conjuntos de vecinos más cercanos de diversas consultas, reduciendo la diversidad de recuperación y la especificidad de la consulta.

2. Metodología: Marco HyRAG

Los autores proponen HyRAG (Generación Aumentada por Recuperación Hiperbólica), un marco diseñado para mejorar la generalización de los GFMs aprovechando las propiedades geométricas del espacio hiperbólico. HyRAG consta de tres módulos principales:

2.1 Indexación de Conocimiento Hiperbólico (HKI)

Este módulo construye un espacio de representación consciente de la jerarquía para la base de conocimiento externa.

• Proyección Hiperbólica: Las características semánticas de las entidades y relaciones se codifican primero en el espacio euclidiano (por ejemplo, mediante SBERT) y luego se mapean a un modelo de bola de Poincaré ($B^d$) utilizando una red de mapeo aprendible y el mapa exponencial.
• Optimización Consciente de la Jerarquía: El modelo se entrena utilizando un objetivo conjunto para preservar tanto la semántica relacional como la implicación jerárquica.
  • Pérdida de Distancia: Asegura que las representaciones condicionadas por la relación sean geométricamente consistentes con las entidades de cola (tail entities). Para las relaciones jerárquicas, emplea una estrategia de rotación bajo restricciones de cono de implicación hiperbólica.
  • Pérdida de Ángulo: Fuerza a que el cono de implicación de una entidad de cola esté contenido geométicamente dentro del de su entidad de cabeza (head entity), preservando el orden parcial.
  • Regularización: Se aplica una penalización a las incrustaciones cuyas normas radiales exceden un umbral para evitar el desplazamiento hacia el límite de la bola de Poincaré, asegurando una representación jerárquica estable.

2.2 Recuperación de Multigranularidad (MR)

Para abordar la pérdida de granularidad semántica, HyRAG recupera conocimiento en dos niveles distintos:

• Reformulación de la Consulta: Un Modelo de Lenguaje Grande (LLM) reformula el atributo textual del nodo de la consulta en una consulta de grano grueso (que resume el tema central) y una consulta de grano fino (que captura detalles específicos).
• Recuperación de Grano Grueso: Recupera las top-$k$ entidades basadas en la distancia hiperbólica. Para garantizar la diversidad y evitar la redundancia, se aplica el criterio de Relevancia Marginal Máxima (MMR) para seleccionar las entidades de vecindad, equilibrando la relevancia con la consulta frente a la disimilitud con los vecinos ya seleccionados.
• Recuperación de Grano Fino: Recupera las top-$k$ entidades basadas en la distancia hiperbólica. La expansión de la vecindad aquí se centra en la especificidad. Los candidatos se filtran mediante una puntuación de violación angular derivada de los conos de implicación hiperbólica, asegurando que los vecinos seleccionados sean hipónimos (subconceptos) válidos de la entidad recuperada.
• Construcción de Grafos: Ambos procesos de recuperación generan conjuntos de grafos (de grano grueso y de grano fino), que se resumen en representaciones compactas a nivel de grafo mediante la agregación de vecindad guiada por la consulta.

2.3 Fusión de Doble Vía (DF)

Este módulo integra el conocimiento recuperado en el GFM tanto a nivel de características como de estructura:

• Fusión a Nivel de Características: La representación inicial del nodo de la consulta se aumenta mediante la agregación de las representaciones de conocimiento de grano grueso y de grano fino. Los pesos se calculan basándose en la distancia hiperbólica entre la consulta y las entidades centrales de los grafos recuperados.
• Fusión a Nivel de Estructura: Para evitar la introducción directa de aristas heterogéneas en el ego-grafo de la consulta, se construyen dos grafos auxiliares (grafos de atributos de grano grueso y de grano fino). El codificador del GFM procesa de forma independiente el ego-grafo y estos grafos auxiliares para producir los logits de predicción.
• Inyección con Compuerta de Incertidumbre: Las predicciones de los grafos auxiliares se fusionan en una predicción de conocimiento unificada, ponderada por la inversa de la entropía (confianza) de cada fuente. Esta predicción unificada se inyecta en la predicción original del GFM, regulada por la entropía de la predicción original. Si la predicción original es incierta (alta entropía), el modelo depende más fuertemente del conocimiento recuperado; si es confiable, preserva la predicción original.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

1. Identificación de Limitaciones: Los autores identifican y analizan dos limitaciones inherentes de los paradigmas de RAG basados en Euclídeo para grafos: la pérdida de granularidad semántica y la emergencia de hubness debido al desajuste geométrico.
2. Marco HyRAG: Proponen HyRAG, el primer marco de RAG hiperbólico diseñado para modelos fundacionales de grafos. Proporciona un rediseño consciente de la geometría del flujo de trabajo de RAG, que abarca la indexación de conocimiento, la recuperación de multigranularidad y la fusión de doble vía.
3. Validación Empírica: Experimentos extensos en múltiples bancos de pruebas de grafos demuestran que HyRAG mejora consistentemente el rendimiento de la inferencia zero-shot de los GFMs sin requerir un ajuste fino específico de la tarea.

4. Resultados Experimentales

Los autores evaluaron HyRAG utilizando GraphCLIP como GFM de base a través de siete conjuntos de datos que abarcan dominios académicos, de comercio electrónico, Wikipedia y redes sociales (por ejemplo, Cora, CiteSeer, WikiCS, Instagram).

• Clasificación de Nodos: En el escenario zero-shot, HyRAG logró el mejor rendimiento en todos los conjuntos de datos, produciendo una mejora promedio del 2.02% sobre los métodos auto-supervisados y los modelos fundacionales de grafos de última generación. Comparado específicamente con el método de RAG basado en Euclídeo (RAGRAPH), HyRAG mostró una mejora promedio del 0.82%.
• Predicción de Enlaces: Los experimentos en la tarea de predicción de enlaces utilizando AnyGraph como base mostraron mejoras consistentes, con ganancias notables de 1.08% en Cora y 1.41% en CiteSeer.
• Estudios de Ablación:
  • Reemplazar la Indexación de Conocimiento Hiperbólico con un índice euclidiano estándar resultó en la mayor caída de rendimiento (descenso promedio de 1.99%), validando la necesidad de la geometría hiperbólica.
  • Eliminar cualquiera de los componentes de recuperación de grano grueso o de grano fino condujo a una degradación significativa del rendimiento, confirmando el valor sinérgico de la recuperación de multigranularidad.
  • La fusión a nivel de características fue identificada como el principal motor de la generalización, mientras que la fusión a nivel de estructura proporcionó beneficios complementarios.

5. Significación y Reivindicaciones

El artículo posiciona a HyRAG como una solución al cuello de botella de la generalización de los GFMs causado por los cambios de distribución. Al alinear las propiedades geométricas del espacio de recuperación (hiperbólico) con la naturaleza estructural del conocimiento externo (jerarquías de estructura de árbol), el marco mitiga eficazmente la pérdida de granularidad semántica y el hubness. Los autores afirman que HyRAG permite a los GFMs aprovechar eficazmente los anclajes semánticos globales y los matices semánticos locales, ofreciendo una dirección prometedora para construir modelos fundacionales de grafos robustos y generalizables que no dependan de un reentrenamiento extensivo para nuevos dominios.