Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

Resumo Técnico: Dissecando o RAG Agêntico via Ablação de Componentes

Definição do Problema
Sistemas de Geração Aumentada de Recuperação (RAG) agênticos emergiram como uma solução para Resposta a Perguntas (QA) de Múltiplos Saltos (Multi-Hop), utilizando loops de raciocínio iterativos, decomposição de consultas e recuperação adaptativa para encadear fatos através de múltiplos documentos. No entanto, a contribuição específica de cada componente permanece mal compreendida, particularmente em ambientes com restrição de recursos que dependem exclusivamente de Grandes Modelos de Linguagem (LLMs) locais. Muitos designs existentes assumem que a adição de complexidade — como roteamento de recuperação adaptativo e loops iterativos profundos — necessariamente melhora o desempenho. Este artigo investiga se essas suposições se sustentam ao utilizar um modelo local de 7 bilhões de parâmetros, visando isolar o valor de componentes individuais sem depender de APIs proprietárias ou computação de larga escala.

Metodologia
Os autores conduziram um estudo de ablação controlado por nível de componente em um pipeline de RAG agêntico completo usando o modelo Qwen2.5-7B-Instruct, servido localmente via Ollama em uma NVIDIA RTX A6000. A avaliação foi realizada em uma amostra aleatória fixa de 5.000 perguntas do conjunto de desenvolvimento de distratores do HotpotQA.

A arquitetura do sistema consiste em quatro estágios:

1. Decomposição de Consulta: Um LLM quebra a pergunta de entrada em uma sequência de sub-perguntas.
2. Loop de Recuperação Iterativo: Um design de "planejar-e-executar" onde o loop itera sobre as sub-perguntas. Em cada etapa, uma estratégia de recuperação é selecionada, passagens são recuperadas e um reclassificador (reranker) de codificador cruzado (cross-encoder) refina os candidatos principais.
3. Recuperação Adaptativa: Uma heurística baseada em regras direciona as consultas para estratégias Densas (BGE-small-en-v1.5), Esparsas (BM25) ou Híbridas (Fusão de Classificação Recíproca - RRF) com base na presença de entidades nomeadas, datas ou números.
4. Síntese: Uma chamada final de LLM gera a resposta a partir da evidência acumulada.

O estudo comparou o pipeline completo contra um baseline de recuperação densa de passagem única e oito condições de ablação específicas:

• Variações de Profundidade: Loops de recuperação limitados a 1, 2 ou 3 etapas (vs. o padrão de 5).
• Remoção de Componentes: Desativar a decomposição de consulta (no-decomp) ou a reclassificação por codificador cruzado (no-reranker).
• Fixação de Estratégia: Substituir o roteador adaptativo por estratégias de recuperação fixas: Densas, Esparsas ou Híbridas.

A significância estatística foi avaliada por meio de testes pareados (teste exato de McNemar para Exact Match e teste de postos sinalizados de Wilcoxon para F1) e intervalos de confiança de bootstrap de 95%.

Principais Resultados
O pipeline agêntico completo alcançou um Exact Match (EM) de 53,2% e F1 de 61,6%, superando significativamente o baseline de passagem única (EM 43,1%, F1 54,0%). No entanto, o estudo de ablação revelou descobertas contraintuitivas sobre a eficácia dos componentes:

1. Recuperação Híbrida Fixa > Roteamento Adaptativo: A variante "apenas híbrida" (usando RRF fixa para todas as consultas) superou o pipeline adaptativo completo em +1,8 EM e +1,9 F1 ($p < 0,001$). O roteador baseado em regras foi considerado falho; sua heurística (disparada por entidades nomeadas) fez com que ele direcionasse 79,2% das sub-consultas para o BM25. Como as sub-perguntas de múltiplos saltos contêm inerentemente entidades, o roteador dependeu excessivamente da recuperação esparsa, descartando o sinal denso complementar.
2. Retornos Decrescentes na Profundidade de Iteração: Reduzir o loop de recuperação de 5 etapas para 2 etapas capturou 95% dos ganhos de desempenho sobre o baseline. A diferença entre 2 e 5 etapas foi estatisticamente negligenciável ($\pm 0,0$ EM), enquanto a redução para 1 etapa causou uma queda significativa (-7,1 EM). Isso sugere que o valor primário vem de executar um loop, não um loop profundo.
3. Componentes Significativos, porém Custosos:
   • Decomposição de Consulta: A remoção da decomposição resultou em uma queda de -1,4 EM ($p=0,004$), mas também reduziu a latência pela metade (de ~5,6s para ~2,5s) porque colapsou o loop de múltiplas etapas em uma única recuperação.
   • Reclassificação por Codificador Cruzado: A remoção do reclassificador causou uma queda de -1,7 EM ($p < 0,001$) com impacto de latência negligenciável, tornando-o um componente de alto valor e baixo custo.
4. Equivalência de Estratégia: Dentro do loop iterativo, as estratégias fixas Densas, Esparsas e Híbridas performaram quase identicamente (EM ~53,0%), sugerindo que a recuperação repetida através das sub-perguntas compensa os pontos cegos de qualquer estratégia individual.

Significância e Alegações
O artigo afirma que, para modelos locais de 7B, a simplicidade e as escolhas fixas são frequentemente superiores à complexidade adaptativa. Os autores argumentam que os ganhos "agênticos" em QA de múltiplos saltos são impulsionados principalmente pela existência de um loop de recuperação iterativo, e não por heurísticas de roteamento sofisticadas ou profundidade de iteração excessiva.

Especificamente, o estudo conclui:

• O roteamento adaptativo é desnecessário e potencialmente prejudicial neste contexto devido ao viés de seleção nas heurísticas de roteamento.
• Duas iterações de recuperação são suficientes para capturar a grande maioria dos ganhos de desempenho, oferecendo um caminho de implantação mais eficiente.
• A recuperação híbrida fixa (combinando sinais densos e esparsos via RRF) é a estratégia de recuperação mais robusta para QA de múltiplos saltos sob estas restrições.

Os autores enfatizam que suas descobertas são empíricas, derivadas de uma ablação controlada em um modelo local, e não dependem de APIs proprietárias. Eles posicionam seu trabalho como um guia para profissionais que constroem sistemas de RAG agênticos sob restrições de recursos, defendendo a recuperação híbrida fixa e profundidades de iteração rasas em vez de arquiteturas adaptativas complexas.