From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

Resumen Técnico: De la Similitud a la Estructura

Título original: From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

1. El Problema: Limitaciones del Contexto Largo en LLMs

A pesar de que los Modelos de Lenguaje de Gran Escala (LLMs) han expandido sus ventanas de contexto (hasta cientos de miles de tokens), existen dos desafíos críticos:

• Costo Computacional: El mecanismo de atención de los Transformers escala de forma cuadrática con la longitud de la secuencia, lo que hace que procesar contextos extremadamente largos sea costoso y lento.
• Degradación del Rendimiento: Los LLMs sufren de problemas de recuperación de información (como el fenómeno "lost in the middle"), donde la capacidad de razonar sobre evidencia relevante disminuye si esta se encuentra en medio de un contexto muy extenso.
• Limitaciones de la Compresión Actual: Los métodos existentes suelen requerir entrenamiento adicional (costoso), dependen de la recuperación densa (que puede perder coherencia) o usan recortes heurísticos que rompen la estructura narrativa y la cohesión entre oraciones.

2. Metodología: Compresión Basada en Grafos Híbridos

Los autores proponen un marco de trabajo libre de entrenamiento (training-free) y agnóstico al modelo, que selecciona un subconjunto de oraciones optimizado para preservar la relevancia, la cobertura temática y la coherencia estructural. El proceso se divide en cuatro etapas principales:

A. Construcción de un Grafo de Oraciones Híbrido:
En lugar de usar solo similitud semántica, construyen un grafo que combina dos señales:

1. Bordes Semánticos ($E_{sem}$): Utilizan un grafo de $k$-vecinos más cercanos mutuos (mutual $k$-NN) basado en la similitud de coseno de los embeddings de las oraciones. Esto captura qué oraciones tratan sobre lo mismo.
2. Bordes Secuenciales ($E_{seq}$): Añaden conexiones entre oraciones físicamente adyacentes para preservar el flujo narrativo y la continuidad del discurso.
   La fusión de ambos crea un grafo disperso que refleja tanto el contenido temático como el orden lógico.

B. Extracción del Esqueleto Temático:
Mediante el uso de MiniBatch K-Means, el sistema agrupa las oraciones en clústeres. Esto permite identificar los temas principales del documento y calcular la representatividad de cada oración respecto a su tema, asegurando que la compresión no ignore secciones enteras del texto.

C. Puntuación Basada en Priores Estructurales:
Cada oración recibe una puntuación compuesta ($S$) que integra cuatro factores interpretables:

1. Relevancia de la Tarea ($S_{task}$): Similitud entre la oración y la consulta (query) o el centroide del documento.
2. Representatividad del Clúster ($S_{rep}$): Qué tan central es la oración dentro de su tema.
3. Centralidad de Puente ($S_{bridge}$): Utiliza la centralidad de intermediación (betweenness centrality) para identificar oraciones que conectan diferentes temas o secciones (cruciales para la coherencia).
4. Cobertura de Ciclos ($S_{cycle}$): Identifica oraciones que forman parte de ciclos locales en el grafo, lo que ayuda a preservar patrones de razonamiento cerrados (ej. premisa-evidencia-conclusión).

D. Selección Presupuestada con Supresión de Redundancia:
Se seleccionan las oraciones con mayor puntuación hasta alcanzar el límite de tokens permitido. Para evitar la redundancia, aplican una técnica de Supresión de No Máximos (NMS) basada en la similitud de coseno, descartando oraciones que sean casi paráfrasis de las ya seleccionadas.

3. Contribuciones Clave

1. Marco Estructural: Un método que no requiere entrenamiento y que utiliza la estructura del grafo para guiar la selección de información.
2. Puntuación Interpretable: Un sistema de puntuación que equilibra la relevancia de la tarea con la importancia estructural (puentes y ciclos).
3. Eficiencia y Coherencia: A diferencia de otros métodos, este preserva el orden original de las oraciones, garantizando que el contexto comprimido sea legible y coherente para el LLM.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos (CNN/DailyMail, GovReport, arXiv, PubMed) comparándolo con modelos de resumen extractivos y abstractivos (como BART, PEGASUS y BERTSum).

• Superioridad en Documentos Largos: El enfoque destaca especialmente en GovReport y arXiv, donde los modelos tradicionales fallan al no capturar la estructura global.
• Fidelidad y Coherencia: Logró mejores puntuaciones en métricas de consistencia factual (QAFactEval) y similitud semántica (BERTScore).
• Eficiencia de Presupuesto: Las curvas de rendimiento muestran que el método mantiene una alta calidad incluso con presupuestos de tokens muy estrictos, superando a los métodos basados en heurísticas simples.

5. Significado y Aplicación

Este trabajo demuestra que la estructura es tan importante como la similitud. Al entender el documento como un grafo de relaciones y no solo como una bolsa de palabras, es posible comprimir información de manera inteligente. Su naturaleza plug-and-play (sin entrenamiento) lo convierte en una herramienta ideal para ser implementada como un preprocesador en sistemas de RAG (Retrieval-Augmented Generation) y aplicaciones de LLMs de contexto largo, permitiendo reducir costos operativos sin sacrificar la capacidad de razonamiento del modelo.