Resumo Técnico: Habilidade Experience-RAG para Orquestração de Estratégia de Recuperação Orientada por Experiência

Declaração do Problema

Os sistemas atuais de Geração Aumentada por Recuperação (RAG) frequentemente operam sob a premissa de que um único pipeline de recuperação fixo é suficiente para todas as tarefas. No entanto, essa premissa falha em configurações de agentes realistas onde os requisitos das tarefas variam significativamente. Por exemplo, a resposta a perguntas factoides, o raciocínio multi-hop e a verificação de afirmações científicas exibem preferências de recuperação distintas; um recuperador denso pode ser suficiente para fatos diretos, enquanto a recuperação híbrida frequentemente se mostra mais estável para correspondência de evidências científicas ou multi-hop complexas. O desafio central identificado não é meramente recuperar conhecimento, mas determinar como a recuperação deve ser organizada e orquestrada para a tarefa atual específica.

Metodologia

O artigo propõe a Habilidade Experience-RAG, uma camada de orquestração de recuperação orientada a agentes e plugável, posicionada entre o agente e um conjunto de recuperadores. Em vez de tratar a recuperação como uma etapa monolítica, essa habilidade encapsula o processo de seleção como uma capacidade reutilizável do agente.

Arquitetura do Framework

O framework opera através de um pipeline estruturado envolvendo seis módulos:

1. Interface da Habilidade: O ponto de entrada unificado para o agente.
2. Analisador de Cena: Constrói uma representação estruturada de cena ($s$) com base na consulta ($q$), histórico de diálogo ($h$) e metadados da tarefa ($m$).
3. Memória de Experiência ($M$): Armazena registros históricos de características da cena, vetores de pontuação, a estratégia de melhor desempenho e a margem de desempenho. As características incluem tipo de tarefa, domínio, comprimento do contexto, complexidade da pergunta, estilo da consulta e estrutura do documento.
4. Roteador de Estratégia: Seleciona o recuperador ótimo ($r^*$) consultando a memória de experiência com base na cena atual.
5. Conjunto de Recuperadores ($R$): Um conjunto de candidatos de recuperadores (por exemplo, BM25, Denso, Híbrido RRF).
6. Empacotador de Resultados: Retorna evidências padronizadas e estruturadas ao agente.

O fluxo operacional é definido como:
$$s = \text{Analyze}(q, h, m)$$
$$r^* = \text{Route}(s, M)$$
$$o = \text{RetrieveAndPackage}(q, r^*)$$

Mecanismo de Roteamento

A implementação atual utiliza roteamento baseado em regras como sua configuração mais forte, mapeando tarefas diretas para recuperadores densos e tarefas multi-hop/científicas para RRF Híbrido (Fusão de Classificação Recíproca). Embora variantes de roteamento aprendido tenham sido exploradas, elas não superaram a linha de base baseada em regras sob a escala atual de dados de experiência. O sistema prioriza a reutilização explícita de experiência e o empacotamento estruturado de evidências em vez de uma seleção puramente impulsionada pela complexidade.

Contribuições Principais

Os autores delineiam três contribuições primárias:

1. Formulação: Eles reestruturam a seleção de estratégia de recuperação como um problema de orquestração de habilidade de agente, distinto de incorporar a lógica de seleção de embeddings diretamente no fluxo de trabalho superior.
2. Construção da Memória de Experiência: Eles desenvolveram um sistema de memória que registra características abrangentes da cena, pontuações de desempenho de múltiplos recuperadores e margens de estratégia, em vez de apenas armazenar o rótulo "melhor".
3. Avaliação Empírica: Eles avaliaram a habilidade em tarefas de recuperação heterogêneas, comparando-a tanto com linhas de base fixas tradicionais quanto com abordagens modernas de roteamento adaptativo.

Resultados Experimentais

O sistema foi avaliado em três benchmarks públicos: BeIR/nq, BeIR/hotpotqa e BeIR/scifact, utilizando 120 consultas por conjunto de dados com corpora candidatos amostrados.

Desempenho Contra Linhas de Base Fixas

A Habilidade Experience-RAG alcançou o melhor desempenho geral, superando todas as linhas de base fixas de método único:

• nDCG@10: 0,8924 (vs. 0,8802 para a linha de base fixa mais forte, RRF Híbrido).
• Recall@10: 0,9428.
• MRR@10: 0,9006.
  Os resultados indicam que a principal vantagem da habilidade reside na orquestração heterogênea, gerenciando efetivamente cargas de trabalho mistas em vez de dominar cada subtarefa individualmente.

Comparação com Linhas de Base Modernas

Ao comparar com abordagens modernas, incluindo HyDE, estilo LongRAG, estilo RAPTOR e estilo Adaptive-RAG:

• Estilo Adaptive-RAG mostrou uma vantagem marginal (0,8934 nDCG@10 vs. 0,8924 para a Habilidade Experience-RAG).
• HyDE, estilo LongRAG e estilo RAPTOR performaram significativamente mais fracos no cenário de apenas recuperação com corpus amostrado.
  O artigo observa que a Habilidade Experience-RAG permanece competitiva com as linhas de base modernas de roteamento mais fortes, enquanto oferece uma fronteira de sistema mais clara para interação voltada ao agente.

Significado e Alegações

O artigo conclui que a seleção de estratégia de recuperação pode ser produtivamente encapsulada como uma habilidade de agente reutilizável em vez de ser codificada rigidamente no fluxo de trabalho. O estudo demonstra que a orquestração orientada por experiência é eficaz para cargas de trabalho de recuperação heterogêneas e permanece competitiva mesmo quando linhas de base modernas são introduzidas em um conjunto de candidatos fixo.

Os autores mantêm uma postura modesta em relação ao escopo do trabalho atual:

• Os experimentos dependem de corpora amostrados em vez de conjuntos de dados em escala total.
• O roteamento aprendido ainda não superou as linhas de base baseadas em regras.
• A implementação assume um conjunto de candidatos fixo, excluindo a integração dinâmica.
• A análise do fluxo de trabalho é qualitativa e ainda não constitui um benchmark completo de agente interativo ponta a ponta.

Consequentemente, os autores posicionam este trabalho como um artigo curto ou pré-impressão estabelecendo a viabilidade da camada de habilidade, com trabalhos futuros planejados para abordar a integração dinâmica de candidatos, roteamento em nível de capacidade e avaliação abrangente de agente ponta a ponta.