TERGAD: Structure-Aware Text-Enhanced Representations for Graph Anomaly Detection

Resumen Técnico: TERGAD

Enunciado del Problema
La Detección de Anomalías en Grafos (GAD) tiene como objetivo identificar nodos, aristas o subestructuras atípicas que se desvían de los patrones mayoritarios. Si bien los enfoques de aprendizaje profundo han avanzado en la GAD, muchos grafos del mundo real sufren de características "pobres en texto" o puramente estructurales, careciendo de atributos descriptivos ricos. Los enfoques existentes ricos en texto a menudo integran el contexto estructural utilizando características textuales crudas, pero descuidan el contexto estructural de los propios nodos. Esta limitación dificulta la detección de anomalías sofisticadas que surgen de inconsistencias entre el contenido inherente de un nodo y su rol topológico (por ejemplo, un nodo que actúa como un puente malicioso a pesar de tener atributos normales). Además, estudios preliminares indican que los Modelos de Lenguaje Grandes (LLM) estándar luchan por comprender las anomalías estructurales subyacentes en un escenario de cero disparos, quedando significativamente por detrás de los modelos basados en Redes de Convolución de Grafos (GCN). El desafío central radica en traducir eficazmente la topología abstracta del grafo a representaciones semánticamente ricas e integrarlas con modelos de aprendizaje de grafos sin incurrir en costos computacionales prohibitivos ni perder la fidelidad estructural.

Metodología: TERGAD
Los autores proponen TERGAD (Representaciones Mejoradas con Texto Conscientes de la Estructura para la Detección de Anomalías en Grafos), un marco que une la información estructural cruda y el razonamiento semántico basado en LLM mediante una pipeline de aumento de datos. La metodología consta de cuatro fases principales:

1. Conversión de Grafo a Texto (Riqueza Semántica):
   El marco transforma las entradas de grafos crudos en descripciones en lenguaje natural a nivel de nodo utilizando una plantilla de prompting estructurada. Este proceso codifica estadísticas globales (conteos de nodos/aristas), distribuciones de grado, características topológicas de alto orden (coeficientes de agrupamiento, números k-core, medidas de centralidad) y estructuras comunitarias en narrativas fluidas e interpretables por humanos. Por ejemplo, el grado de un nodo se contextualiza en relación con percentiles globales (por ejemplo, "el 1% superior de todos los nodos"), y su rol (nodo central, puente, periférico) se asigna explícitamente basándose en umbrales heurísticos. Crucialmente, los índices de los nodos sirven únicamente como identificadores persistentes para mantener la alineación entre modalidades sin filtrar información del conjunto de prueba.

2. Incrustación Semántica Basada en LLM:
   Las descripciones en lenguaje natural generadas son procesadas por un LLM preentrenado (específicamente BGE-large-en-v1.5) para derivar incrustaciones semánticas de alto nivel ($Z_{LLM}$). Los autores emplean la agrupación del último token para la representación de oraciones y aplican la estandarización Z-score a través de todos los nodos y dimensiones para alinear la distribución estadística de estas incrustaciones con las características típicas de grafos preprocesadas, asegurando estabilidad en el entrenamiento aguas abajo.

3. Autoencoder de Doble Rama con Puerta:
   La arquitectura central es un autoencoder de doble rama que procesa dos entradas complementarias: los atributos originales de los nodos ($X$) y las incrustaciones semánticas derivadas del LLM ($Z_{LLM}$).

   • Ramas: Dos ramas paralelas de Red de Convolución de Grafos (GCN) agregan independientemente la información de los vecinos para la rama de atributos y la rama semántica.
   • Fusión con Puerta: Un mecanismo de puerta aprendible fusiona adaptativamente las representaciones latentes de ambas ramas. La puerta ($G$) determina dinámicamente la contribución de cada rama para cada nodo y dimensión de característica, permitiendo que el modelo equilibre los datos estructurales crudos con los priores semánticos informados por el LLM basándose en el contexto específico de cada nodo.
   • Reconstrucción: Un decodificador compartido reconstruye tanto los atributos originales de los nodos como la matriz de adyacencia del grafo a partir de la representación latente fusionada.

4. Puntuación de Anomalías:
   La puntuación de anomalía para cada nodo se calcula basándose en el error de reconstrucción integrado. Combina el error en la reconstrucción de la matriz de adyacencia (desviación estructural) y el error en la reconstrucción de los atributos del nodo (desviación de atributos), ponderados por un hiperparámetro $\alpha$. Puntuaciones altas indican desviaciones significativas de los patrones normales aprendidos tanto en atributos observables como en expectativas semánticas informadas por el LLM.

Contribuciones Clave

• Construcción de Grafos Ricos en Texto: El artículo introduce una pipeline sistemática para transformar grafos puramente estructurales en representaciones ricas en texto traduciendo métricas topológicas a lenguaje natural, abordando la dispersión de atributos.
• Codificación Guiada Semánticamente y Fusión Adaptativa: Un enfoque basado en plantillas estructuradas codifica roles topológicos mediante LLM, acoplado con un autoencoder de doble rama con puerta. Esto permite la integración selectiva de priores semánticos de alto nivel con datos estructurales crudos, evitando una fusión prematura.
• Validación Empírica: Experimentos exhaustivos en seis conjuntos de datos del mundo real (Cora, Citeseer, DBLP, ACM, Pubmed, BlogCatalog) demuestran la efectividad del marco.

Resultados Experimentales
TERGAD fue evaluado frente a nueve líneas base de última generación, incluyendo métodos basados en reconstrucción (MLPAE, GCNAE, DOMINANT, AnomalyDAE), modelos generativos/contrastivos (GAAN, CoLA) y otros enfoques avanzados (GADNR, FIAD, AHFAN).

• Rendimiento: TERGAD superó consistentemente a todas las líneas base en los seis conjuntos de datos en términos de ROC-AUC y PR-AUC. Resultados notables incluyen un 98.03% de ROC-AUC en Pubmed, 97.72% en DBLP y 95.78% en Citeseer.
• Estudios de Ablación:
  • Eliminar la estrategia de prompting estructurada ("w/o Prompt") causó caídas significativas en el rendimiento (por ejemplo, ~17% en Cora), validando la necesidad de traducir la topología a lenguaje natural basado en roles.
  • Eliminar el mecanismo de fusión con puerta ("w/o Gate") llevó a un rendimiento subóptimo, destacando la necesidad de un equilibrio adaptativo entre modalidades.
  • La ablación detallada de componentes del prompt (grado, k-core, centralidad, etc.) mostró que todos los descriptores estructurales contribuyen positivamente, siendo la descomposición k-core y las medidas de centralidad particularmente críticas.
  • Se probaron diferentes LLM (Qwen3, nomic-embed), confirmando que, aunque varios modelos funcionan, BGE-large-en-v1.5 proporcionó la mejor alineación para esta tarea.
  • El análisis del orden del prompt reveló que el modelo es robusto al orden sintáctico de los hechos estructurales, aunque los prompts de estilo narrativo superaron a las plantillas de estilo de perfil estructurado.
• Eficiencia: Si bien la generación de incrustaciones con LLM incurre en un costo de preprocesamiento único, la fase de entrenamiento de TERGAD es competitiva, significativamente más rápida que líneas base complejas como GAAN y DOMINANT en conjuntos de datos más grandes, y mantiene un uso de memoria razonable.

Significado y Afirmaciones
El artículo afirma que TERGAD establece una conexión vital entre la información estructural cruda y el razonamiento semántico basado en LLM, potenciando eficazmente el aprendizaje estructural de grafos. La importancia del trabajo radica en su capacidad para detectar anomalías sofisticadas que surgen de inconsistencias entre el contenido de un nodo y su rol topológico; matices a menudo pasados por alto por la ingeniería de características numéricas. Al demostrar que los LLM por sí solos no pueden detectar fiablemente anomalías en grafos (como se muestra en el estudio preliminar de cero disparos) pero pueden servir como potentes módulos de aumento semántico cuando se integran mediante una arquitectura con puerta, el artículo propone una perspectiva novedosa para la GAD. Valida que transformar la topología abstracta en texto descriptivo permite a los modelos aprovechar las capacidades de razonamiento de los LLM para la comprensión estructural, lo que conduce a una detección robusta en redes pobres en atributos. El marco se presenta como una solución flexible, plug-and-play que no requiere ajuste fino de LLM.