Disco-RAG: Discourse-Aware Retrieval-Augmented Generation

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) han mejorado el rendimiento de los Modelos de Lenguaje Grandes (LLM) en tareas que requieren conocimiento externo. Sin embargo, la mayoría de las estrategias existentes tratan los fragmentos de texto recuperados ("chunks") de manera plana y no estructurada.

Esto genera dos limitaciones críticas:

• Ceguera estructural intra-chunk: Los sistemas no capturan la jerarquía lógica interna dentro de un fragmento (por ejemplo, qué parte es la premisa principal y cuál es la evidencia).
• Brechas de coherencia inter-chunk: Al recuperar múltiples fragmentos, el sistema falla al identificar las conexiones retóricas entre ellos (causa, contraste, evidencia, etc.).

Como resultado, el LLM recibe una "bolsa de hechos" desconectados en lugar de un flujo de razonamiento coherente. Esto lleva a generalizaciones incorrectas, alucinaciones y una incapacidad para resolver afirmaciones conflictivas (ej. un fragmento dice "efectivo" y otro "no significativo", y el modelo no entiende que uno es condicional).

2. Metodología: Disco-RAG

Los autores proponen Disco-RAG, un marco de trabajo que inyecta explícitamente conocimiento discursivo en el proceso de generación. Basado en la Teoría de la Estructura Retórica (RST), el método opera en tres etapas principales antes de la generación final:

1. Árboles RST Intra-chunk:

   • Para cada fragmento recuperado, se construye un árbol de estructura retórica.
   • Se segmenta el texto en Unidades de Discurso Elementales (EDU) y se asignan roles de Núcleo (información central) y Satélite (información de apoyo).
   • Se identifican relaciones retóricas locales (ej. Causa, Contraste, Elaboración) para capturar la jerarquía local.

2. Grafos Retóricos Inter-chunk:

   • Se construye un grafo dirigido que modela las relaciones entre los diferentes fragmentos recuperados.
   • El modelo predice relaciones globales (ej. Apoya, Contradice, Generaliza) entre pares de fragmentos, creando un andamiaje discursivo global que conecta la evidencia dispersa.

3. Planificación Impulsada por Discurso:

   • Utilizando los árboles locales y el grafo global, un módulo de planificación genera un "blueprint" (plan) dinámico.
   • Este plan no solo resume el contenido, sino que define el flujo argumentativo: qué evidencia presentar primero, cómo manejar las contradicciones y cómo estructurar la narrativa para guiar al generador.

Generación Final:
El LLM genera la respuesta final condicionada por cuatro entradas: los fragmentos originales, los árboles RST, el grafo retórico y el plan discursivo. Esto permite al modelo sintetizar la información en lugar de simplemente concatenarla.

3. Contribuciones Clave

• Estrategia de Inferencia: Presentan una estrategia que inyecta conocimiento discursivo explícito en el pipeline de RAG sin necesidad de fine-tuning (entrenamiento supervisado) del modelo generador.
• Modelado Híbrido: Combinan árboles de discurso local (intra-chunk), grafos retóricos globales (inter-chunk) y planificación basada en discurso para capturar jerarquías, coherencia cruzada y flujo argumentativo.
• Validación Empírica: Demuestran que el modelado estructural mejora la corrección, la coherencia y la factualidad en tareas intensivas de conocimiento.

4. Resultados Experimentales

El método se evaluó en tres benchmarks principales: Loong (razonamiento en documentos largos), ASQA (respuestas a preguntas de formato largo) y SciNews (resumen de noticias científicas).

• Rendimiento General: Disco-RAG superó consistentemente a los sistemas RAG estándar y a los métodos de última generación (SOTA) en todas las métricas, sin requerir fine-tuning.
  • En Loong: Logró un aumento de 12.74 puntos en la puntuación LLM (usando Llama-3.3-70B) en comparación con el RAG estándar.
  • En ASQA: Superó a sistemas complejos como MAIN-RAG y Tree of Clarifications en métricas Exact Match (EM) y ROUGE-L.
  • En SciNews: Estableció nuevos récords SOTA en la mayoría de las métricas de resumen (ROUGE-L, BERTScore, SARI, SummaC).
• Robustez: El sistema mostró mayor resistencia al ruido en la recuperación (fragmentos irrelevantes) y a cambios en el tamaño de los fragmentos en comparación con el RAG estándar.
• Estudios de Ablación: La eliminación de cualquiera de los tres componentes (árboles, grafos o planificación) degradó el rendimiento, confirmando que la modelación estructural es crucial.
• Evaluación Humana: En tareas de resumen, los evaluadores humanos calificaron a Disco-RAG significativamente mejor que al RAG estándar en fidelidad y concisión, acercándose más a las referencias humanas.

5. Significado e Impacto

El trabajo de Disco-RAG subraya que la estructura del discurso es un componente fundamental que ha sido subestimado en los sistemas RAG actuales.

• Más allá de la recuperación semántica: Demuestra que recuperar información relevante no es suficiente; es necesario entender cómo se relacionan esas piezas de información lógicamente para sintetizar respuestas precisas.
• Eficiencia vs. Calidad: Aunque introduce una sobrecarga computacional moderada (debido a las llamadas adicionales para el análisis de discurso y planificación), el trade-off es aceptable dado el salto cualitativo en la precisión y la reducción de alucinaciones.
• Futuro de los RAG: Sugiere que los futuros sistemas de generación aumentada deben integrar mecanismos de razonamiento estructural y planificación explícita para manejar documentos largos y complejos de manera fiable.

En resumen, Disco-RAG transforma el RAG de un proceso de "recuperar y pegar" a un proceso de "recuperar, estructurar, planificar y sintetizar", logrando respuestas más fieles a la evidencia y lógicamente coherentes.