CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering

Resumen Técnico: CompactRAG

Planteamiento del Problema

La Generación Aumentada por Recuperación (RAG) se ha convertido en un paradigma estándar para la respuesta a preguntas con alta demanda de conocimiento. Sin embargo, los sistemas RAG multi-salto (multi-hop) existentes enfrentan ineficiencias significativas al manejar consultas complejas que requieren integrar evidencia de múltiples documentos. Los enfoques iterativos actuales (por ejemplo, Self-Ask, IRCoT, Iter-RetGen) alternan entre la recuperación y el razonamiento del LLM en cada paso. Este diseño conlleva tres problemas principales:

1. Escalabilidad y Costo: El consumo de tokens y la latencia crecen linealmente con el número de saltos de razonamiento debido a las repetidas invocaciones al LLM.
2. Redundancia: Los contextos recuperados suelen contener información redundante, lo que infla el uso de tokens.
3. Deriva de Entidades (Entity Drift): La descomposición automática de preguntas complejas en subpreguntas puede perder menciones explícitas de entidades (por ejemplo, reemplazar "¿Dónde nació él" después de identificar que "él" es un científico). Esta ambigüedad causa errores de recuperación e inconsistencias en los resultados a través de los saltos.

Metodología: CompactRAG

Los autores proponen CompactRAG, un marco que desacopla la reestructuración del corpus en modo offline del razonamiento en modo online para lograr una inferencia multi-salto eficiente. El sistema opera en dos etapas distintas:

1. Etapa Offline: Construcción de una Base de Conocimiento de QA Atómica

En lugar de recuperar pasajes del corpus en bruto durante la inferencia, CompactRG procesa el corpus una sola vez de forma offline.

• Proceso: Un LLM lee el corpus bruto y reformula el contenido del documento en un conjunto de pares de QA atómicos.
• Granularidad: Cada par representa una unidad fáctica mínima y de grano fino (por ejemplo, "¿Quién dirigió X?" $\to$ "Y").
• Anclaje de Entidades: Las entidades dentro del corpus son anotadas automáticamente (usando SpaCy) y se refuerzan explícitamente durante la generación para asegurar la completitud semántica y prevenir la pérdida de referencia.
• Indexación: Cada par de QA atómico se incrusta en un espacio semántico compartido mediante recuperación densa (Contriever). La pregunta y la respuesta se concatenan ($[q; a]$) para preservar el alcance fáctico completo, permitiendo que el recuperador coincida tanto con la intención como con el contenido.

2. Etapa Online: Inferencia de Dos Llamadas

Durante la inferencia, el sistema resuelve consultas complejas mediante un flujo de trabajo ligero y fijo que invoca al LLM principal solo dos veces, independientemente de la profundidad del razonamiento.

• Paso 1: Descomposición (Llamada LLM #1): La consulta compleja se descompone en un grafo de subpreguntas ordenado por dependencia.
• Paso 2: Resolución Iterativa (Módulos Ligeros):
  • Recuperación: Las subpreguntas se utilizan para recuperar los top-$k$ pares de QA atómicos de la base de conocimientos preconstruida.
  • Extracción de Respuestas: Un Extractor de Respuestas basado en RoBERTa, que es ligero, identifica el segmento de la respuesta correcta de los pares recuperados, evitando llamadas al LLM para la extracción.
  • Reescritura de Subpreguntas: Un Reescritor de Subpreguntas basado en Flan-T5 toma la entidad de la respuesta extraída y reescribe la siguiente subpregunta para fundamentar explícitamente las referencias ambiguas (por ejemplo, cambiando "¿Dónde nació él?" a "¿Dónde nació [Entidad]?" ). Esto evita la deriva de entidades.
• Paso 3: Síntesis (Llamada LLM #2): Una vez que todas las subpreguntas se han resuelto y la evidencia se ha agregado, el LLM principal realiza un único paso de síntesis para generar la respuesta final.

Contribuciones Clave

1. Análisis de Escalabilidad: El artículo analiza cómo el consumo de tokens y las llamadas al LLM en los procesos de RAG iterativos escalan linealmente con la profundidad del razonamiento, identificando esto como un cuello de botella para el despliegue a gran escala.
2. Marco de Trabajo CompactRAG: La introducción de una arquitectura RAG de dos llamadas que utiliza una base de conocimiento de QA atómica offline y módulos online ligeros (extractor y reescritor) para permitir un razonamiento multi-salto eficiente sin repetidas invocaciones al LLM.
3. Validación Empírica: Evaluación exhaustiva en HotpotQA, 2WikiMultiHopQA y MuSiQue, demostrando que CompactRAG logra una precisión competitiva mientras reduce drásticamente el consumo de tokens en comparación con bases de referencia iterativas sólidas.

Resultados Experimentales

Evaluado en tres benchmarks multi-salto utilizando LLaMA-3.1-8B como el LLM de base:

• Precisión: CompactRAG logra un rendimiento competitivo. En HotpotQA, alcanzó un Exact Match (EM) de 45.20% y una Precisión basada en LLM de 70.40%, comparable o superior a las bases de referencia iterativas como IRCoT (42.80% EM) e Iter-RetGen (46.80% EM).
• Eficiencia: El sistema reduce significativamente la sobrecarga de tokens.
  • CompactRAG: ~1.9K tokens por muestra.
  • Iter-RetGen: ~4.7K tokens.
  • IRCoT: ~10.2K tokens.
  • Self-Ask: ~6.9K tokens.
• Estudios de Ablación: Eliminar los módulos de Reescritor de Subpreguntas o Extractor de Respuestas resultó en caídas consistentes en la precisión (por ejemplo, eliminar el reescritor en HotpotQA redujo la precisión de 70.4% a 63.2%), confirmando su necesidad para mantener el anclaje de entidades y la precisión de la recuperación.
• Límite Superior: El uso de GPT-4 para la construcción de QA offline mejoró aún más la precisión (por ejemplo, 49.60% EM en HotpotQA), lo que sugiere que la calidad de la base de conocimiento offline influye directamente en el rendimiento de la inferencia.

Significado y Reivindicaciones

El artículo postula que CompactRAG ofrece una alternativa práctica y rentable a los sistemas RAG iterativos. Su principal importancia radica en:

• Inferencia de Costo Fijo: Al limitar las llamadas al LLM a dos por consulta (descomposición y síntesis), el sistema desacopla el costo de inferencia de la profundidad del razonamiento, lo que lo hace altamente escalable para tareas multi-salto profundas.
• Desacoplamiento de la Recuperación y el Razonamiento: El marco demuestra que el razonamiento multi-salto de alta calidad no requiere estrictamente interacciones repetidas con el LLM. En su lugar, estructurar el conocimiento externo en unidades atómicas y semánticamente alineadas, y aprovechar módulos locales ligeros, puede producir una precisión comparable con una sobrecarga computacional significativamente menor.
• Capacidad de Despliegue: A diferencia de los métodos que dependen de señales internas del modelo (por ejemplo, la entropía de atención) que no están disponibles en modelos de pesos cerrados, el enfoque arquitectónico de CompactRAG es compatible tanto con LLM abiertos como cerrados.

Los autores concluyen que este enfoque proporciona un plano para desarrollar sistemas RAG escalables y eficientes en términos de tokens, adecuados para aplicaciones de gran escala con alta demanda de conocimiento.