RELOOP: Recursive Retrieval with Multi-Hop Reasoner and Planners for Heterogeneous QA

1. Problema Identificado

O artigo aborda as limitações atuais dos sistemas de Geração Aumentada por Recuperação (RAG) ao lidar com perguntas complexas que exigem raciocínio multi-hop (múltiplos passos) e fontes de evidência heterogêneas (texto, tabelas e Grafos de Conhecimento - KGs). Os principais desafios identificados são:

• Fragilidade em Recuperação de Passo Único (C1): Pipelines tradicionais (recuperar-gerar) falham em rastrear cadeias completas de evidência. Recuperadores densos frequentemente carecem de cobertura de caminhos, e a fragmentação de documentos (chunking) quebra o discurso.
• Iteração Descontrolada e Latência (C2): Sistemas baseados em agentes multi-agente podem expandir excessivamente o espaço de busca, resultando em chamadas de ferramentas repetidas, custos de tokens imprevisíveis e latência alta, sem um critério claro de parada.
• Heterogeneidade de Formatos (C3): Texto, tabelas relacionais e KGs geralmente exigem índices, recuperadores e lógicas de controle distintos, impedindo a reutilização de políticas e complicando o treinamento. Além disso, a serialização de dados heterogêneos muitas vezes é irreversível, obscurecendo a proveniência dos dados.

2. Metodologia: O Framework RELOOP

O RELOOP é um framework estruturalmente consciente que transforma a recuperação de dados em um processo iterativo guiado e consciente de orçamento. A arquitetura baseia-se em três módulos principais:

A. HSEQ-Adapter (HSEQ-A): Unificação Estruturada Reversível

• Conceito: O núcleo do RELOOP é a Hierarchical Sequence (HSEQ).
• Funcionamento: Um adaptador específico para cada modalidade (texto, tabela, KG) converte os dados brutos em uma única sequência hierárquica linearizável.
• Estrutura: Cada segmento na sequência contém:
  • id: Identificador único.
  • ℓ (Level): Tag de nível (ex: parágrafo, linha de tabela, tripla).
  • p (Parent): Ponteiro para o elemento pai (garantindo localidade e hierarquia).
  • c (Content): Conteúdo compacto.
  • µ (Metadata): Metadados fixos (offsets, coordenadas, esquema).
• Vantagem: Isso permite que um único controlador navegue uniformemente por diferentes modalidades, mantendo a capacidade de reconstruir a origem dos dados (proveniência) de forma reversível.

B. RELOOP-Iterator (RELOOP-I): Iteração Guiada e Consciente de Orçamento

• Agente Iterador: Um agente (baseado em LLM) seleciona e expande segmentos da HSEQ passo a passo.
• Política de Ação: Em cada passo, o agente:
  1. Recebe uma janela de candidatos (limitada por um orçamento de tokens).
  2. Segue uma orientação (guidance) gerada pelo Head Agent ou templates heurísticos.
  3. Executa ações estruturadas (ex: pular para filhos/pais, vizinhos de linha/coluna em tabelas, relações em KGs).
  4. Predição de Suficiência: Decide se o conjunto de evidências acumulado é suficiente para responder à pergunta (sufficiency signal).
• Parada: O processo para quando a evidência é considerada suficiente ou o orçamento é esgotado, evitando loops infinitos.

C. RELOOP-Head (RELOOP-H): Planejamento e Síntese

• Geração de Orientação: Antes da iteração, o Head Agent analisa a pergunta e gera um plano curto (ex: "procure primeiro por entidades X, depois expanda para Y").
• Síntese da Resposta: Após a iteração, um canonizador (κ) empacota as evidências selecionadas em um formato compacto e preservador de proveniência. O Head Agent gera a resposta final baseada apenas nesse pacote.
• Refinamento Opcional: Um verificador pode detectar contradições e acionar um loop de refinamento breve com orçamento reduzido.

3. Principais Contribuições

1. Parsing Estruturado Reversível e Unificado: A representação HSEQ padroniza texto, tabelas e KGs em uma estrutura comum com metadados leves, permitindo que uma única política opere sobre todas as modalidades sem especialização por conjunto de dados.
2. Iteração Guiada e Consciente de Orçamento: Introduz um sinal explícito de suficiência que concentra o cálculo nas evidências realmente inspecionadas, reduzindo hops desnecessários e garantindo latência previsível.
3. Evidência Canonizada para QA Confiável: Cria um pacote de evidências compacto e auditável, melhorando a consistência das respostas e permitindo a detecção de contradições.

4. Resultados Experimentais

O RELOOP foi avaliado em benchmarks heterogêneos: HotpotQA (texto), HybridQA e TAT-QA (tabela + texto), e MetaQA (KG).

• Desempenho (Precisão):
  • O RELOOP superou consistentemente tanto modelos LLM puros quanto baselines RAG fortes (single-pass e multi-hop).
  • Em HotpotQA e MetaQA, as configurações "melhor" e "mediana" do RELOOP superaram todos os baselines em métricas de Exata Match (EM) e F1.
  • Em TAT-QA, alcançou a pontuação mais alta geral na configuração "melhor".
  • Em HybridQA, atingiu a melhor precisão e a segunda melhor pontuação F1.
• Eficiência:
  • O RELOOP opera em um "meio-termo" ideal entre a latência ultrabaixa (mas imprecisa) do LLM puro e a alta latência de sistemas baseados em grafos como Think on Graph (ToG).
  • Enquanto o ToG exigia em média 11-17 passos e latências de >22k ms, o RELOOP manteve loops curtos de 3-5 passos, reduzindo a latência em mais de 50% em relação aos métodos baseados em grafos, mantendo a capacidade de raciocínio multi-hop.
• Estudos de Ablação:
  • A remoção do Fine-Tuning (SFT) ou da Orientação (Guidance) causou quedas significativas no desempenho, confirmando que a estrutura unificada (HSEQ) é a base da robustez, mas o aprendizado da política e o planejamento são essenciais para a alta precisão.

5. Significado e Impacto

O RELOOP representa um avanço significativo na arquitetura de sistemas de QA baseados em RAG ao resolver o dilema entre complexidade de raciocínio e eficiência de recursos.

• Unificação: Elimina a necessidade de pipelines separados para diferentes tipos de dados, simplificando a implantação em ambientes heterogêneos.
• Controle e Auditabilidade: Ao substituir a busca cega ou a expansão de grafos infinita por uma iteração guiada com sinal de suficiência explícito, o sistema torna-se mais previsível em termos de custo e mais transparente em termos de origem das respostas.
• Escalabilidade: A abordagem permite o uso de modelos de linguagem menores (fine-tuned) para a iteração, mantendo alta performance, o que é crucial para aplicações em produção com restrições de orçamento de tokens e latência.

Em resumo, o RELOOP demonstra que a recuperação de informações pode ser transformada de um processo estático de "busca e geração" para um processo dinâmico, estruturado e eficiente, capaz de lidar com a complexidade do mundo real onde dados existem em múltiplos formatos interconectados.