Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective

Resumen Técnico: SeleCom

1. El Problema: Limitaciones de la Compresión Suave Actual

La Generación Aumentada por Recuperación (RAG) es fundamental para dotar a los Modelos de Lenguaje Grande (LLM) de conocimiento externo, pero enfrenta desafíos de escalabilidad debido a la longitud excesiva del contexto y las recuperaciones redundantes.

• Enfoque actual (Compresión Suave): Métodos recientes intentan codificar documentos largos en embeddings compactos utilizando un enfoque de compresión completa (full-compression) basado en autoencoders.
• Limitaciones identificadas: Estos métodos a menudo tienen un rendimiento inferior al de los sistemas RAG sin compresión debido a dos fallos fundamentales:
  1. Inviabilidad: La compresión completa obliga al codificador a comprimir toda la información del documento, lo que entra en conflicto con la capacidad del LLM para seguir instrucciones y generar respuestas basadas en consultas específicas.
  2. No necesidad: La compresión completa es innecesaria y diluye la densidad de información relevante para la tarea. La mayoría de la información en un documento recuperado es irrelevante para una consulta específica, pero los métodos actuales la incluyen, introduciendo ruido.

2. Metodología: El Marco SeleCom

Los autores proponen SeleCom, un marco de compresión suave que redefine el rol del codificador: de ser un "compresor completo" a ser un selector de información condicionado por la consulta.

• Arquitectura:

  • Selector: Un modelo decoder-only (solo decodificador) que toma tanto la consulta (query) como el documento como entrada. En lugar de reconstruir el texto, selecciona y comprime autoregresivamente solo la información necesaria para responder a la consulta en embeddings densos. Utiliza tokens especiales (<ENCODE>) con embeddings entrenables para aglutinar la información global.
  • Proyector: Una capa (MLP) que mapea los embeddings comprimidos del selector al espacio semántico del LLM generador.
  • Generador: El LLM estándar que utiliza los embeddings comprimidos (en lugar del texto completo) junto con la consulta para generar la respuesta final.

• Entrenamiento en Dos Etapas:

  1. Entrenamiento del Selector: Se utiliza un conjunto de datos sintético masivo, diverso y graduado por dificultad (curriculum learning), generado mediante un pipeline de síntesis de datos (filtrado de documentos, generación de preguntas y respuestas por LLM, y verificación). El objetivo es enseñar al selector a extraer información relevante condicionada a la pregunta, no a reconstruir el texto.
  2. Entrenamiento del Generador: Se utiliza el generador para aprender a utilizar eficazmente los embeddings comprimidos proporcionados por el selector, minimizando la pérdida de predicción de tokens siguientes.

3. Contribuciones Clave

• Análisis Teórico y Empírico: Demuestran que la compresión completa es incompatible con el comportamiento de generación de los LLMs (debido a la atención excesiva en los embeddings comprimidos que ignora las instrucciones) y que es innecesaria (la información relevante es escasa y condicionada a la consulta).
• Cambio de Paradigma: Introducen el concepto de Selector Condicionado por Consulta, que evita la dilución de la información al filtrar el ruido antes de la compresión.
• Pipeline de Datos Sintéticos: Desarrollan un pipeline robusto para crear un dataset de ~14 millones de pares (consulta, documento, respuesta) con niveles de dificultad variados, esencial para entrenar la capacidad de selección del modelo.
• Eficiencia y Rendimiento: Logran un equilibrio superior entre la reducción de costos computacionales y la precisión de la respuesta.

4. Resultados Experimentales

Los experimentos se realizaron en seis tareas intensivas en conocimiento (Preguntas de Respuesta Abierta, Multi-hop, Verificación de Hechos) utilizando modelos como Mistral-7B y Qwen2.5-7B.

• Rendimiento (Precisión):
  • SeleCom supera consistentemente a los métodos de compresión suave existentes (como ICAE, xRAG, COCOM) y a los métodos de compresión dura (LLMLingua-2).
  • Logra un rendimiento competitivo o superior a los baselines de RAG sin compresión (incluso con fine-tuning), manteniendo la precisión en tareas complejas como HotpotQA.
• Eficiencia:
  • Reduce la latencia de inferencia y el costo computacional (GFLOPs) entre un 33.8% y un 84.6% en comparación con los baselines sin compresión.
  • Mantiene una alta eficiencia incluso al aumentar el número de documentos recuperados (Top-k), a diferencia de los baselines cuyo tiempo de ejecución se dispara.
• Análisis de Atención:
  • A diferencia de los métodos de compresión completa, donde el LLM ignora las instrucciones y se fija obsesivamente en el documento comprimido, SeleCom mantiene la capacidad de seguir instrucciones. El modelo presta atención correctamente a los tokens de instrucción y a la consulta, utilizando los embeddings comprimidos solo como evidencia relevante.

5. Significado e Impacto

Este trabajo es significativo porque desafía la suposición dominante en la compresión de contexto de que "comprimir todo" es la mejor estrategia. Al demostrar que la selección condicional es más efectiva que la compresión total, SeleCom ofrece una solución práctica para:

1. Escalabilidad: Permitir que los RAG funcionen eficientemente con ventanas de contexto limitadas y costos reducidos.
2. Calidad: Evitar la degradación del rendimiento y la alucinación causada por el ruido en los contextos comprimidos.
3. Aplicabilidad Real: Ofrecer un sistema que es tanto rápido como preciso, listo para su implementación en aplicaciones web y de búsqueda donde la latencia y la precisión son críticas.

En resumen, SeleCom representa un avance fundamental al alinear la estrategia de compresión con la naturaleza selectiva de la atención humana y de los LLMs, priorizando la relevancia sobre la exhaustividad.