Resumen Técnico: DocTrace – Memoria de Hipergrafo Bajo Demanda con Conciencia de la Estructura para QA de Documentos Largos

1. Declaración del Problema

La Respuesta a Preguntas (QA) sobre documentos largos requiere que los Modelos de Lenguaje de Gran Escala (LLMs) razonen sobre evidencia dispersa en textos extensos, donde las respuestas suelen depender del orden de los eventos, el contexto a nivel de sección y las conexiones entre partes. Aunque la Generación Aumentada por Recuperación (RAG) mitiga los límites de contexto mediante la recuperación de evidencia relevante, los enfoques actuales enfrentan tres limitaciones críticas:

1. Organización Costosa e Independiente de la Consulta: Los métodos actuales de RAG estructurado (por ejemplo, resúmenes jerárquicos o grafos de conocimiento) suelen pre-indexar todo el documento antes de conocer la consulta. Esto incurre en una latencia sustancial inicial y en una sobrecarga de tokens, generando conocimiento que puede tener una utilidad limitada para consultas específicas.
2. Uso Insuficiente de la Estructura del Documento: Muchos métodos aplanan los documentos en fragmentos (chunks), perdiendo pistas estructurales como los límites de las secciones, el orden de los párrafos y las relaciones de vecindad local. Esto debilita la preservación del flujo narrativo y la progresión de eventos, esenciales para un razonamiento preciso.
3. Falta de Reutilización del Razonamiento Histórico: Los sistemas existentes suelen tratar cada pregunta como una instancia aislada. Una vez respondida una pregunta, las trayectorias de razonamiento resultantes se descartan, obligando al sistema a repetir patrones de exploración similares para futuras preguntas estructuralmente parecidas.

2. Metodología: El Marco de Trabajo DocTrace

DocTrace es un marco de trabajo RAG multi-agente diseñado para abordar estas limitaciones mediante la organización de conocimiento activada por la consulta, la recuperación consciente de la estructura del documento y el razonamiento guiado por la experiencia. Emplea una arquitectura de Orquestador-Investigador que opera sobre tres componentes principales:

A. Arquitectura Orquestador-Investigador

• Orquestador ($\omega$): Gestiona el proceso de razonamiento global. Descompone preguntas complejas en subpreguntas interdependientes, representadas como Grafos Acíclicos Dirigidos (DAGs). Coordina la planificación, despacha tareas a los investigadores y sintetiza las respuestas finales.
• Agentes Investigadores ($\alpha_i$): Ejecutan subpreguntas específicas. Recuperan evidencia, interactúan con la memoria de trabajo y generan respuestas intermedias.

B. Componentes Principales

1. Índice de Árbol Estructural del Documento ($T$)

En lugar de una lista plana de fragmentos, DocTrace representa el documento como un árbol jerárquico ($T$) con nodos en cuatro niveles: documento, capítulo, sección y párrafo.

• Construcción: Utiliza un LLM para inferir patrones de encabezados y analizar el documento, complementado con Reconocimiento de Entidades Nombradas (NER).
• Recuperación (TreePPR): Cuando surge una subpregunta, el sistema utiliza el PageRank Personalizado (TreePPR) sobre el árbol. Esto propaga las puntuaciones de relevancia desde los nodos semilla mientras respeta los límites estructurales del documento y las relaciones de hermanos, asegurando que la evidencia recuperada mantenga el flujo narrativo y el contexto estructural.

2. Memoria de Trabajo Estructurada como Hipergrafo ($M$)

Esta es una memoria activada por la consulta y compartida por los agentes, construida bajo demanda durante el razonamiento. Consiste en dos vistas complementarias:

• Vista de Abstracción ($M_A$): Organiza resúmenes jerárquicos multinivel sobre los nodos seleccionados del árbol. Permite a los agentes profundizar desde los resúmenes hacia el texto original, apoyando subpreguntas donde la evidencia es demasiado amplia para una lectura directa.
• Vista de Relación ($M_R$): Almacena relaciones $n$-arias y entidades extraídas únicamente de los nodos del árbol relevantes para la subpregunta actual. Esto soporta el razonamiento relacional de múltiples saltos (multi-hop) sin construir un grafo de conocimiento global.
• Mecanismo: $M$ se construye incrementalmente basado en las necesidades de evidencia específicas de cada subpregunta, evitando el costo de pre-indexar todo el documento.

3. Memoria de Experiencia Estructurada como Grafo ($D_M$)

Para permitir el aprendizaje de interacciones pasadas, los planes de razonamiento exitosos (DAGs) se almacenan en una memoria de grafo heterogénea.

• Esquema: Los nodos incluyen esqueletos de preguntas, DAGs de razonamiento, firmas (entidades temáticas, restricciones) y motivos de razonamiento.
• Recuperación y Reutilización: Cuando llega una nueva pregunta, el orquestador recupera DAGs de razonamiento estructuralmente similares de $D_M$. Estos planes recuperados sirven como ejemplos de pocos disparos (few-shot) para inicializar nuevos caminos de razonamiento, permitiendo al sistema reutilizar patrones de descomposición exitosos en lugar de empezar desde cero.

3. Contribuciones Clave

1. Organización de Conocimiento Activada por la Consulta: DocTrace elimina la necesidad de un costoso pre-indexado de todo el documento mediante la construcción incremental de una Memoria de Trabajo estructurada como hipergrafo ($M$), impulsada por las necesidades de evidencia de cada subpregunta.
2. Recuperación Consciente de la Estructura del Documento: Al utilizar un Índice de Árbol Estructural del Documento ($T$) y TreePPR, el marco aprovecha las pistas estructurales (jerarquía, orden) junto con la similitud semántica para recuperar evidencia que preserve el flujo narrativo del documento.
3. Experiencia de Razonamiento Reutilizable: El sistema modela y almacena explícitamente las trayectorias de razonamiento exitosas como DAGs en una Memoria de Experiencia estructurada como grafo ($D_M$), permitiendo la reutilización de patrones de razonamiento para futuras preguntas estructuralmente similares.
4. Eficiencia y Efectividad: El marco logra un rendimiento de vanguardia (state-of-the-art) mientras reduce significativamente los costos computacionales en comparación con las líneas base híbridas estructuradas.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos de QA de documentos largos: NarrativeQA, EN.QA, EN.MC y DetectiveQA.

• Desempeño: DocTrace logró el mejor desempeño en tres de los cuatro conjuntos de datos.
  • En NarrativeQA, superó a la línea base más fuerte (ComoRAG) por un 8.85% en F1 y un 4.40% en Exact Match (EM).
  • En EN.MC, ocupó el segundo lugar, superando a ComoRAG por un 1.82% en Precisión (ACC) en la variante sin aprendizaje en línea.
• Eficiencia: DocTrace redujo el costo computacional total en un 53.32% en comparación con ComoRAG. Esta ganancia de eficiencia se atribuye a evitar el pre-indexado de todo el documento y a la construcción de la memoria bajo demanda.
• Estudios de Ablación: Eliminar la capacidad de planificación del orquestador o la memoria de trabajo ($M$) resultó en caídas significativas de rendimiento (por ejemplo, una caída del 5.11% en F1 en EN.QA sin planificación), confirmando la necesidad de la descomposición estructurada y la memoria bajo demanda.
• Robustez del Backbone: DocTrace superó consistentemente al prompting directo de Aprendizaje en Contexto (In-Context Learning - IO) a través de varios backbones de LLM (GPT-4o-mini, Qwen3, DeepSeek), con ganancias promedio de 23.59% en F1 y 35.37% en ACC.

5. Significado y Reivindicaciones

El artículo afirma que DocTrace representa un cambio de las estructuras de conocimiento estáticas y pre-calculadas hacia sistemas de razonamiento dinámicos y bajo demanda. Su importancia radica en demostrar que:

• El QA de alta calidad para documentos largos no requiere un pre-indexado costoso e independiente de la consulta de todo el documento.
• Preservar la jerarquía original del documento es crítico para tareas de razonamiento que involucran el orden de los eventos y el flujo narrativo.
• Reutilizar las trayectorias de razonamiento históricas puede guiar eficazmente la exploración de preguntas complejas de múltiples pasos, mejorando tanto la precisión como la eficiencia.

Los autores señalan que el sistema se centra actualmente en documentos basados en texto y depende de llamadas a LLM para la planificación y generación. Se sugiere como trabajo futuro explorar el razonamiento multimodal y diseños de agentes más ligeros para mejorar aún más la eficiencia.