Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval

Resumo Técnico: RAG Adaptativo Orquestrado por Agentes

Problema
A Geração Aumentada de Recuperação (RAG) aprimora os Grandes Modelos de Linguagem (LLMs) ao fundamentar as respostas em conhecimento externo, porém os pipelines convencionais de "RAG Ingênuo" dependem de uma recuperação estática e de etapa única. Essa abordagem tem dificuldades com consultas complexas que exigem raciocínio entre múltiplos documentos ou o encadeamento de resultados intermediários. Embora os sistemas de RAG Agênticos proponham soluções dinâmicas — como decomposição de consulta, recuperação iterativa e autorreflexão — a literatura existente frequentemente avalia esses mecanismos em domínios ou benchmarks únicos. Consequentemente, permanece incerto como os aprimoramentos agênticos performam em domínios com diferentes características estruturais e demandas de raciocínio, particularmente em relação aos compromissos (trade-offs) entre precisão de recuperação, cobertura e latência.

Metodologia
Os autores propõem e avaliam um framework de RAG Adaptativo Orquestrado por Agentes construído sobre uma pilha de inferência totalmente local e focada em privacidade usando Llama-3.1-8B-Instruct. A arquitetura do sistema afasta-se de pipelines fixos ao introduzir um Orquestrador central que roteia consultas dinamicamente com base em uma lógica de controle baseada em regras. O sistema compreende quatro agentes especializados:

1. Classificador de Consulta: Categoriza solicitações para permitir filtragem consciente de metadados (ex: restringindo a recuperação a tipos específicos de documentos, como runbooks) antes da classificação por similaridade.
2. Decompositor de Consulta: Divide consultas complexas de múltiplos saltos (multi-hop) em subconsultas ordenadas, recupera evidências para cada uma e agrega os resultados.
3. Avaliador de Resposta: Critica as respostas geradas quanto à relevância, precisão de citação, fundamentação e alucinação.
4. Orquestrador: Gerencia o fluxo de controle, acionando a decomposição para consultas complexas e iniciando um loop de autorreflexão limitado (máximo de duas iterações) se o avaliador sinalizar problemas.

A avaliação utiliza dois conjuntos de dados contrastantes:

• Base de Conhecimento de DevOps: Um corpus estruturado e específico de domínio com 80 documentos (aprox. 10.000 palavras) cobrindo padrões, arquitetura, runbooks e relatórios de incidentes. Os documentos são pré-processados usando IBM Docling para preservar a hierarquia estrutural e enriquecidos com frontmatter YAML para filtragem baseada em atributos.
• MuSique: Um benchmark de raciocínio composicional de múltiplos saltos projetado para exigir a integração de evidências entre documentos independentes.

O desempenho é medido usando Pontuação Geral, Recall de Fonte Crítica, MRR (Mean Reciprocal Rank), Success@5, Precisão de Citação, Cobertura de Tópico e Latência de Ponta a Ponta.

Principais Contribuições

1. Implementação do Sistema: Um sistema de RAG Adaptativo Orquestrado por Agentes completo, hospedado localmente, apresentando roteamento dinâmico, decomposição e autocorreção limitada.
2. Avaliação de Dual-Dataset: Um estudo comparativo contrastando um ambiente estruturado e específico de domínio (DevOps) contra um benchmark de múltiplos saltos de domínio aberto (MuSique) para isolar o comportamento agêntico sob diferentes cargas de raciocínio.
3. Caracterização Empírica de Trade-offs: Uma análise demonstrando que os aprimoramentos agênticos não são universalmente benéficos; especificamente, que a decomposição de consulta gera ganhos em domínios estruturados, mas degrada a precisão de classificação em configurações de múltiplos saltos, e que os mecanismos de reflexão incorrem em custos substanciais de latência para melhorias inconsistentes de qualidade.

Resultados
O estudo revela resultados divergentes com base no conjunto de dados e no mecanismo agêntico específico empregado:

• Decomposição de Consulta:

  • DevOps (Estruturado): A decomposição gerou ganhos consistentes. A pontuação geral aumentou de 0,814 para 0,855, o MRR melhorou de 0,556 para 0,722 e o Success@5 atingiu 1,0. No entanto, a latência mais que dobrou (21s para 47,66s).
  • MuSique (Multi-hop): A decomposição degradou a precisão de classificação. Embora a precisão de citação tenha atingido 1,0 e a cobertura de tópico tenha aumentado, o MRR colapsou de 0,469 para 0,102, e o Success@5 caiu de 1,0 para 0,063. Os autores atribuem isso à fragmentação dos sinais contextuais necessários para a classificação em configurações de múltiplos saltos.

• Mecanismo de Reflexão:

  • Em ambos os conjuntos de dados, o loop de reflexão resultou em ganhos de qualidade mistos ou negativos em relação ao seu custo. No MuSique, a latência aumentou aproximadamente seis vezes (17s para 104s) enquanto a pontuação geral diminuiu de 0,721 para 0,666. No DevOps, a pontuação geral também diminuiu (0,870 para 0,781) sem melhoria no recall ou na classificação.

• Distribuição de Estratégia:

  • O Orquestrador roteou a maioria das consultas de DevOps (69,2%) através de recuperação padrão, utilizando decomposição para apenas ~5%. No MuSique, a decomposição foi usada para ~16% das consultas, indicando que o sistema invoca estratégias complexas de forma seletiva em vez de aplicá-las reflexivamente.

Significância e Alegações
O artigo argumenta que os aprimoramentos agênticos não são universalmente benéficos e devem ser aplicados seletivamente de acordo com o tipo de consulta e as características do domínio. A principal significância do trabalho reside em demonstrar que "pipelines de raciocínio uniformemente agressivos" são subótimos. Em vez disso, os autores defendem uma orquestração adaptativa e consciente de custos que aplica estratégias caras (decomposição, reflexão) apenas quando justificadas pelo tipo de consulta.

Os achados sugerem que, embora a decomposição seja eficaz para domínios estruturados onde as cadeias de raciocínio mapeiam para relações bem definidas, ela pode prejudicar o desempenho em ambientes complexos de múltiplos saltos ao diluir os sinais de classificação. Além disso, as penalidades substanciais de latência associadas aos mecanismos de reflexão atualmente superam seus ganhos marginais de qualidade. Os autores concluem que sistemas futuros devem priorizar a otimização consciente de custos e a seleção de estratégias baseada em aprendizado em vez de fluxos de trabalho agênticos baseados em heurísticas estáticas.

Limitações
Os autores observam várias restrições: o corpus de DevOps possui escala modesta e foi gerado com assistência de LLM; os conjuntos de consultas de avaliação são pequenos, levando a intervalos de confiança amplos; o estudo depende de um único gerador e modelo de embedding; e o orquestrador utiliza heurísticas baseadas em regras em vez de políticas aprendidas. As figuras de latência também são dependentes do ambiente, medidas sob inferência quantizada local.