Is Agentic RAG worth it? An experimental comparison of RAG approaches

Título: Agentic RAG vale a pena? Uma comparação experimental de abordagens RAG

1. O Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) tradicionais são definidos pela combinação de um componente de recuperação (que extrai contexto de uma base de conhecimento) e um gerador (LLM). No entanto, implementações básicas ("Naïve RAG") apresentam limitações significativas:

• Recuperação ruidosa ou subótima.
• Uso inadequado da recuperação para consultas fora do escopo.
• Correspondência fraca entre consulta e documento.
• Variabilidade e custos associados ao gerador.

Para mitigar isso, surgiram duas abordagens principais:

1. Enhanced RAG (RAG Aprimorado): Introduz módulos dedicados (como roteadores, reescritores de consulta e reclassificadores) em um pipeline fixo para melhorar etapas específicas.
2. Agentic RAG (RAG Agente): Utiliza a capacidade de autorreflexão dos Grandes Modelos de Linguagem (LLMs) para orquestrar todo o processo. O agente decide dinamicamente quais ações tomar (recuperar, reescrever, responder), quando fazê-lo e se deve iterar.

A Lacuna: Embora ambas as abordagens estejam sendo rapidamente adotadas, não há consenso empírico sobre qual é preferível sob quais condições, nem uma análise clara das compensações entre desempenho e custo.

2. Metodologia

Os autores realizaram uma avaliação empírica comparando Enhanced RAG e Agentic RAG em quatro dimensões críticas para ambientes de produção, utilizando quatro conjuntos de dados representativos (FIQA, NQ, FEVER, CQADupStack-English) que cobrem tarefas de Resposta a Perguntas (QA) e Recuperação/Extração de Informação (IR/E).

Dimensões de Avaliação:

1. Tratamento da Intenção do Usuário (User Intent Handling):
   • Objetivo: Determinar se uma consulta requer recuperação ou não.
   • Implementação Enhanced: Usa um roteador semântico baseado em exemplos (classificador).
   • Implementação Agente: O agente decide autonomamente se usa a ferramenta de RAG ou responde diretamente.
2. Reescrita de Consulta (Query Rewriting):
   • Objetivo: Alinhar a consulta do usuário à estrutura dos documentos da base de conhecimento.
   • Implementação Enhanced: Aplica reescrita forçada (técnica Hyde) via LLM antes da recuperação.
   • Implementação Agente: O agente decide dinamicamente se e como reescrever a consulta.
3. Refinamento da Lista de Documentos (Document List Refinement):
   • Objetivo: Filtrar documentos irrelevantes após a recuperação.
   • Implementação Enhanced: Usa um reclassificador (reranker) baseado em Encoder (ELECTRA).
   • Implementação Agente: O agente pode iterar e realizar novas recuperações se achar o contexto insuficiente.
4. LLM Subjacente (Underlying LLM):
   • Objetivo: Avaliar o impacto da capacidade do modelo gerador no desempenho geral.
   • Teste: Comparação de modelos Qwen3 de diferentes tamanhos (0.6B a 32B) em ambas as arquiteturas.

Métricas e Custos:

• Desempenho: F1-score, Recall, NDCG@10 (para qualidade de recuperação) e métricas de julgamento por LLM (LLM-as-a-Judge) para a qualidade da resposta final.
• Custo e Tempo: Análise de tokens de entrada/saída, latência de ponta a ponta e custos computacionais (inferência e hardware).

3. Principais Contribuições

1. Comparação Experimental Direta: Primeiro estudo abrangente que compara sistematicamente pipelines "Enhanced" fixos contra arquiteturas "Agentic" dinâmicas em múltiplas dimensões.
2. Análise de Custos Detalhada: Quantificação precisa do overhead de tokens e tempo de execução das abordagens agênticas.
3. Diretrizes Práticas: Fornecimento de insights acionáveis para engenheiros e pesquisadores sobre quando escolher cada arquitetura, equilibrando desempenho e eficiência econômica.

4. Resultados Chave

• Intenção do Usuário:
  • Em domínios bem definidos (ex: Finanças, Gramática), o Agente superou ligeiramente o sistema Enhanced, demonstrando melhor compreensão da consulta.
  • Em domínios mais amplos ou ruidosos (ex: FEVER - verificação de fatos), o sistema Enhanced (com roteador semântico) foi muito mais confiável. O Agente frequentemente falhou em identificar consultas fora de escopo, resultando em baixa recall (49,3% vs 84,4% no FEVER).
• Reescrita de Consulta:
  • O Agente superou o sistema Enhanced em qualidade de recuperação (NDCG@10), com ganho médio de +2,8 pontos.
  • A flexibilidade do agente em decidir quando e como reescrever a consulta provou ser superior à reescrita forçada e estática do Enhanced.
• Refinamento de Documentos:
  • O sistema Enhanced com reclassificador (reranker) foi superior.
  • O Agente não se beneficiou significativamente de iterar a recuperação. Em 53% dos casos de re-recuperação, os documentos retornados eram os mesmos, indicando que o agente tende a não reconsiderar decisões tomadas e que a iteração manual raramente melhora o contexto.
• Impacto do LLM Subjacente:
  • Ambos os sistemas mostraram padrões de melhoria de desempenho semelhantes à medida que o tamanho do modelo aumentava. Não houve diferença estrutural significativa na forma como a escala do modelo afetava os dois paradigmas.
• Custos e Tempo:
  • O Agentic RAG é sistematicamente mais caro e lento.
  • Requer, em média, 3,3x mais tokens de entrada, 1,9x mais tokens de saída e 1,5x mais tempo de execução do que o Enhanced RAG.
  • O custo pode chegar a ser 3,6 vezes maior devido aos passos de raciocínio adicionais e chamadas repetidas de ferramentas.

5. Significado e Conclusões

O estudo conclui que nenhuma abordagem é universalmente superior. A escolha depende do caso de uso específico:

• Quando usar Agentic RAG: É ideal para roteamento de intenção (especialmente em domínios definidos) e reescrita de consulta adaptativa, onde a flexibilidade do agente supera a rigidez do pipeline. Além disso, não requer exemplos manuais para configuração de roteamento.
• Quando usar Enhanced RAG: É superior para refinamento de documentos (reclassificação) e em cenários onde o custo e a latência são críticos. Um pipeline Enhanced bem otimizado pode igualar ou superar o desempenho do Agente com uma fração do custo.

Recomendação Final: Os autores sugerem uma abordagem híbrida. Desenvolvedores devem considerar combinar as duas abordagens: utilizar a capacidade de orquestração e reescrita dinâmica do Agente para as etapas iniciais (intenção e reformulação), mas integrar um passo explícito de reclassificação (reranking) do tipo Enhanced para a seleção final de documentos, garantindo o melhor equilíbrio entre desempenho e eficiência de custos.