Resumen Técnico: LG-Plug para la detección de OOD en Grafos Atribuidos a Texto

Definición del Problema

El artículo aborda el desafío de la detección de fuera de la distribución (OOD, Out-of-Distribution) en Grafos Atribuidos a Texto (TAGs). Los TAGs consisten en nodos asociados tanto con la estructura del grafo (aristas) como con descripciones textuales. Aunque las Redes Neuronales de Grafos (GNN) modelan eficazmente los datos dentro de la distribución (ID, In-Distribution) mediante el aprendizaje conjunto de información semántica y estructural, a menudo fallan ante nodos OOD —aquellos con patrones textuales o configuraciones estructurales no vistos—, produciendo predicciones excesivamente confiadas pero incorrectas.

Las soluciones existentes enfrentan dos limitaciones primarias:

1. Métodos impulsados por la topología: Dependen de los vecinos estructurales para detectar nodos OOD, pero típicamente tratan los textos de los nodos como características superficiales (por ejemplo, bolsa de palabras), fallando al no aprovechar el conocimiento semántico profundo.
2. Métodos basados en LLM: Enfoques recientes utilizan Modelos de Lenguaje de Gran Escala (LLMs) para sintetizar priors de OOD pseudo-generados. Sin embargo, sufren un desequilibrio entre fiabilidad e informatividad:
   • Los métodos orientados a la fiabilidad (mediante prompts con etiquetas ID) generan muestras OOD que están libres de solapamiento con los ID, pero suelen ser semánticamente irreales.
   • Los métodos orientados a la informatividad (muestreo de nodos no etiquetados) generan semánticas realistas, pero corren el riesgo de etiquetar erróneamente nodos ID verdaderos como OOD, introduciendo ruido.
   • Además, estos métodos suelen requerir arquitecturas especializadas de extremo a extremo, lo que limita su compatibilidad con los detectores de topología establecidos.

Los autores plantean dos preguntas de investigación: ¿Cómo generar priors de OOD que sean tanto fiables como informativos? ¿Cómo utilizar estos priors manteniendo la compatibilidad con los detectores de topología existentes?

Metodología: LG-Plug

Los autores proponen LG-Plug (LLM-Guided Plug-and-play), un marco diseñado para aumentar los detectores de OOD impulsados por la topología existentes con priors semánticos derivados de LLM sin modificar sus arquitecturas subyacentes. El marco consta de tres etapas principales:

1. Alineación de la Representación de Topología y Texto

Para obtener incrustaciones (embeddings) de nodos de grano fino que distingan entre nodos ID y OOD, LG-Plug alinea las representaciones del grafo y del texto:

• Codificadores: Un GCN de 2 capas codifica la estructura del grafo, mientras que un codificador basado en Transformer procesa los textos brutos de los nodos.
• Objetivos de Alineación:
  • Alineación a nivel de nodo: Utiliza una pérdida contrastiva simétrica para alinear la incrustación del grafo ($Z$) y la incrustación de texto ($H$) para cada nodo.
  • Alineación a nivel de arista: Minimiza la discrepancia entre la matriz de similitud topológica (derivada de $Z$) y la matriz de similitud textual (derivada de $H$) para nodos conectados.
• Objetivo: Este entrenamiento conjunto produce incrustaciones donde los nodos ID y OOD son inicialmente separables basándose tanto en claves semánticas como estructurales.

2. Exposición de OOD Impulsada por Consenso con LLM

En lugar de consultar al LLM para nodos individuales (lo cual es ruidoso y costoso), LG-Plug genera la exposición de OOD a nivel de clúster:

• Clustering: Los nodos no etiquetados se agrupan en el espacio de incrustación alineado.
• Selección de Representantes: Para cada clúster, se selecciona un pequeño conjunto de nodos más cercanos al centroide para asegurar la coherencia semántica.
• Prompting Iterativo y Libro de Códigos (Codebook):
  • Un libro de códigos de categorías ligero se inicializa con las clases ID conocidas.
  • El LLM se consulta secuencialmente sobre lotes de nodos representativos dentro de un clúster. El prompt pide al LLM que asigne un nodo a una categoría existente o cree una nueva categoría OOD.
  • El libro de códigos se actualiza dinámicamente según las asignaciones del LLM.
• Filtrado por Consenso: El proceso se repite hasta que un lote alcanza un consenso semántico (todos asignados a la misma categoría) o se alcanza un límite de intentos.
• Selección de Exposición de OOD: Se seleccionan las top-$K$ categorías del libro de códigos. Si estas categorías contienen ninguna clase ID, los nodos asignados a ellas se añaden al conjunto de exposición de OOD ($V_{exp}$). Esto asegura que los priors de OOD generados sean fiables (sin solapamiento con ID) e informativos (basados en el consenso del clúster).
• Eficiencia: Al utilizar el muestreo de clústeres y un libro de códigos, el método reduce significativamente los costes de consulta de LLM en comparación con el prompting exhaustivo a nivel de nodo.

3. Regularización de Puntuación

El conjunto de exposición de OOD generado ($V_{exp}$) se utiliza como un término de regularización para mejorar los detectores existentes:

• Se aplica una pérdida basada en margen ($L_{reg}$) a las puntuaciones de OOD del detector.
• Esta impone un margen de separación: los nodos ID deben tener puntuaciones de OOD bajas, mientras que los nodos en $V_{exp}$ deben tener puntuaciones de OOD altas.
• Esto permite que LG-Plug se integre perfectamente como un "plug-in" en cualquier detector impulsado por la topología (por ejemplo, GNNSafe, GRASP) sin cambios arquitectónicos.

Principales Contribuciones

1. Perspectivas: El artículo identifica el compromiso entre fiabilidad e informatividad en la generación actual de OOD basada en LLM y la incompatibilidad de estos métodos con los enfoques impulsados por la topología.
2. Método Novedoso (LG-Plug): Un marco plug-and-play que utiliza la alineación topología-texto y el prompting de LLM impulsado por consenso para generar priors de OOD de alta calidad.
3. Rendimiento: El método logra resultados de vanguardia mejorando los detectores existentes mientras mantiene la eficiencia.

Resultados Experimentales

Los autores evaluaron LG-Plug en seis benchmarks de TAG (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) utilizando FPR95 (Tasa de Falsos Positivos en una Tasa de Verdaderos Positivos del 95%) y AUROC.

• Mejora sobre Métodos Impulsados por la Topología: La integración de LG-Plug con bases de referencia impulsadas por la topología (GNNSafe, GRASP) redujo consistentemente el FPR95 en $\ge$ 7% en comparación con las bases de referencia por sí solas.
• Comparación con Métodos Basados en LLM: Los detectores integrados con LG-Plug superaron a los métodos de OOD independientes basados en LLM (LLMGuard, GLIP-OOD, GOE-LLM) por $\ge$ 5% en reducción de FPR95.
• Estudios de Ablación: Eliminar ya sea la alineación de representación o el mecanismo de filtrado intra-clúster resultó en caídas significativas de rendimiento, confirmando la necesidad de ambos componentes.
• Eficiencia: LG-Plug demostró una eficiencia superior, requiriendo significativamente menos tokens de LLM y menos tiempo (70s en Cora frente a 295s–5400s para las bases de referencia) debido a su estrategia de muestreo basada en clústeres.
• Análisis Cualitativo: Las visualizaciones de nubes de palabras de la exposición de OOD generada mostraron que LG-Plug capturó semánticas de OOD distintas y de alta frecuencia (por ejemplo, "evolutivo", "teórico") con un solapamiento mínimo con las categorías ID, mientras que las bases de referencia exhibieron cambios semánticos o ruido de ID.

Significado y Reivindicaciones

El artículo afirma que tanto la topología como el texto importan para una detección de OOD efectiva en los TAGs. Argumenta que, si bien la topología proporciona contexto estructural, la comprensión semántica profunda es crucial para distinguir los nodos OOD. LG-Plug cierra la brecha entre los enfoques impulsados por la topología y los basados en LLM al:

• Aprovechar los LLM para generar priors de OOD fiables e informativos mediante el clustering impulsado por consenso, evitando los problemas del etiquetado de nodos individuales.
• Mantener la compatibilidad con el ecosistema de detectores impulsados por la topología, permitiéndoles beneficiarse de la supervisión semántica sin reentrenar toda la arquitectura.
• Ofrecer una solución computacionalmente eficiente que desacopla los costes de consulta de LLM del tamaño del grafo.

Los autores concluyen que LG-Plug representa un paso sólido hacia la creación de GNN más seguras para el despliegue en el mundo real donde los cambios de distribución son comunes, particularmente en dominios de misión crítica como la inteligencia de amenazas y la investigación biomédica.