Resumo Técnico: DocTrace – Memória de Hipergrafo Sob Demanda e Consciente da Estrutura para QA de Longos Documentos

1. Declaração do Problema

O Questionamento (QA) de documentos longos exige que Grandes Modelos de Linguagem (LLMs) racocinem sobre evidências espalhadas por textos extensos, onde as respostas frequentemente dependem da ordem dos eventos, do contexto ao nível de seção e de conexões entre partes. Embora a Geração Aumentada por Recuperação (RAG) mitigue os limites de contexto ao recuperar evidências relevantes, as abordagens existentes enfrentam três limitações críticas:

1. Organização Ingnóstica à Consulta e Custeira: Os métodos atuais de RAG estruturado (ex: resumos hierárquicos ou grafos de conhecimento) frequentemente pré-indexam todo o documento antes que uma consulta seja conhecida. Isso acarreta uma latência inicial substancial e um overhead de tokens, gerando conhecimento que pode ter utilidade limitada para consultas específicas.
2. Uso Insuficiente da Estrutura do Documento: Muitos métodos achatam os documentos em fragmentos (chunks), perdendo pistas estruturais como limites de seção, ordem de parágrafos e relações de vizinhança local. Isso enfraquece a preservação do fluxo narrativo e da progressão de eventos, essenciais para o raciocínio preciso.
3. Não Reutilização do Raciocínio Histórico: Os sistemas existentes tipicamente tratam cada pergunta como uma instância isolada. Uma vez respondida uma pergunta, as trajetórias de raciocínio resultantes são descartadas, forçando o sistema a repetir padrões de exploração semelhantes para futuras perguntas estruturalmente similares.

2. Metodologia: O Framework DocTrace

O DocTrace é um framework de RAG multi-agente projetado para abordar essas limitações através de organização de conhecimento disparada por consulta, recuperação consciente da estrutura do documento e raciocínio guiado por experiência. Ele emprega uma arquitetura Orquestrador-Investigador operando sobre três componentes principais:

A. Arquitetura Orquestrador-Investigador

• Orquestrador ($\omega$): Gerencia o processo de raciocínio global. Ele decompõe perguntas complexas em subperguntas interdependentes, representadas como Grafos Acíclicos Dirigidos (DAGs). Ele coordena o planejamento, despacha tarefas para investigadores e sintetiza as respostas finais.
• Agentes Investigadores ($\alpha_i$): Executam subperguntas específicas. Eles recuperam evidências, interagem com a memória de trabalho e geram respostas intermediárias.

B. Componentes Principais

1. Índice de Árvore Estrutural do Documento ($T$)

Em vez de uma lista plana de fragmentos, o DocTrace representa o documento como uma árvore hierárquica ($T$) com nós em quatro níveis: documento, capítulo, seção e parágrafo.

• Construção: Utiliza um LLM para inferir padrões de cabeçalho e analisar o documento, suplementado por Reconhecimento de Entidades Nomeadas (NER).
• Recuperação (TreePPR): Quando surge uma subpergunta, o sistema utiliza o PageRank Personalizado (TreePPR) sobre a árvore. Isso propaga pontuações de relevância a partir de nós semente enquanto respeita as fronteiras estruturais do documento e as relações de irmandade, garantindo que a evidência recuperada mantenha o fluxo narrativo e o contexto estrutural.

2. Memória de Trabalho Estruturada em Hipergrafo ($M$)

Esta é uma memória disparada por consulta e compartilhada pelos agentes, construída sob demanda durante o raciocínio. Consiste em duas visões complementares:

• Visão de Abstração ($M_A$): Organiza resumos hierárquicos de múltiplos níveis sobre nós selecionados da árvore. Suporta a resposta de subperguntas onde a evidência é ampla demais para leitura direta, permitindo que os agentes façam o "drill down" de resumos para o texto original.
• Visão de Relação ($M_R$): Armazena relações $n$-árias e entidades extraídas apenas dos nós de árvore relevantes selecionados para a subpergunta atual. Isso suporta o raciocínio relacional de múltiplos saltos (multi-hop) sem construir um grafo de conhecimento global.
• Mecanismo: $M$ é construído incrementalmente com base nas necessidades de evidência específicas de cada subpergunta, evitando o custo de pré-indexar todo o documento.

3. Memória de Experiência Estruturada em Grafo ($D_M$)

Para permitir o aprendizado a partir de interações passadas, planos de raciocínio bem-sucedidos (DAGs) são armazenados em uma memória de grafo heterogênea.

• Esquema: Os nós incluem esqueletos de perguntas, DAGs de raciocínio, assinaturas (entidades de tópico, restrições) e motivos de raciocínio.
• Recuperação e Reuso: Quando uma nova pergunta chega, o orquestrador recupera DAGs de raciocínio estruturalmente similares de $D_M$. Esses planos recuperados servem como exemplos de poucos disparos (few-shot) para inicializar novos caminhos de raciocínio, permitindo que o sistema reutilize padrões de decomposição bem-sucedidos em vez de começar do zero.

3. Principais Contribuições

1. Organização de Conhecimento Disparada por Consulta: O DocTrace elimina a necessidade de indexação prévia cara ao construir uma Memória de Trabalho estruturada em Hipergrafo ($M$) incrementalmente, impulsionada pelas necessidades de evidência específicas de cada subpergunta.
2. Recuperação Consciente da Estrutura do Documento: Ao utilizar um Índice de Árvore Estrutural do Documento ($T$) e TreePPR, o framework aproveita pistas estruturais (hierarquia, ordem) junto com a similaridade semântica para recuperar evidências que preservam o fluxo narrativo do documento.
3. Experiência de Raciocínio Reutilizável: O sistema modela e armazena explicitamente trajetórias de raciocínio bem-sucedidas como DAGs em uma Memória de Experiência Estruturada em Grafo ($D_M$), permitendo o reuso de padrões de raciocínio para futuras perguntas estruturalmente similares.
4. Eficiência e Eficácia: O framework alcança desempenho de estado da arte ao mesmo tempo em que reduz significativamente os custos computacionais em comparação com bases híbridas estruturadas.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro conjuntos de dados de QA de documentos longos: NarrativeQA, EN.QA, EN.MC e DetectiveQA.

• Desempenho: O DocTrace alcançou o melhor desempenho em três dos quatro conjuntos de dados.
  • No NarrativeQA, superou a base mais forte (ComoRAG) em 8,85% em F1 e 4,40% em Exact Match (EM).
  • No EN.MC, ficou em segundo lugar, superando o ComoRAG em 1,82% em Acurácia (ACC) na variante sem aprendizado online.
• Eficiência: O DocTrace reduziu o custo computacional total em 53,32% em comparação com o ComoRAG. Este ganho de eficiência é atribuído ao evitar a pré-indexação de todo o documento e à construção de memória sob demanda.
• Estudos de Ablação: A remoção da capacidade de planejamento do orquestrador ou da memória de trabalho ($M$) resultou em quedas significativas de desempenho (ex: uma queda de 5,11% em F1 no EN.QA sem o planejamento), confirmando a necessidade de decomposição estruturada e memória sob demanda.
• Robustez do Backbone: O DocTrace superou consistentemente o prompting direto de In-Context Learning (IO) através de vários backbones de LLM (GPT-4o-mini, Qwen3, DeepSeek), com ganhos médios de 23,59% em F1 e 35,37% em ACC.

5. Significância e Alegações

O artigo afirma que o DocTrace representa uma mudança de estruturas de conhecimento estáticas e pré-computadas para sistemas de raciocínio dinâmicos e sob demanda. Sua significância reside em demonstrar que:

• O QA de alta qualidade para documentos longos não requer a indexação prévia cara e agnóstica à consulta de todo o documento.
• Preservar a hierarquia original do documento é crítico para tarefas de raciocínio que envolvem ordem de eventos e fluxo narrativo.
• Reutilizar trajetórias de raciocínio históricas pode guiar efetivamente a exploração de perguntas complexas de múltiplos passos, melhorando tanto a precisão quanto a eficiência.

Os autores observam que o sistema está atualmente focado em documentos baseados em texto e depende de chamadas de LLM para planejamento e geração. Sugere-se que trabalhos futuros explorem o raciocínio multimodal e designs de agentes mais leves para melhorar ainda mais a eficiência.