Resumo Técnico: Critic-R

Declaração do Problema

Sistemas de busca agênticos, que intercalam o raciocínio interno com ações de recuperação iterativas, emergiram como um padrão para resolver consultas complexas de múltiplos saltos (multi-hop). No entanto, um gargalo crítico persiste: enquanto os agentes de raciocínio são frequentemente otimizados via aprendizado por reforço, os modelos de recuperação nos quais eles se apoiam são frequentemente tratados como caixas-pretas congeladas. As abordagens existentes que tentam otimizar conjuntamente recuperadores e agentes geralmente exigem um co-treinamento pesado, anotações de passagens de padrão ouro ou a capacidade de retreinar o próprio modelo de raciocínio. Esses requisitos limitam a aplicabilidade no mundo real, particularmente quando o modelo de raciocínio é fixo, o recuperador é fornecido externamente ou quando não há disponibilidade de rótulos de relevância de alta qualidade. Os autores argumentam que uma recuperação subótima não pode ser totalmente compensada apenas pela reformulação da consulta, necessitando de um framework que feche explicitamente o ciclo de feedback entre o agente e o recuperador sem depender de supervisão manual.

Metodologia

Os autores propõem o Critic-R, um framework que introduz um modelo crítico dedicado para avaliar o traço de raciocínio introspectivo do agente após este consumir evidências recuperadas. O framework opera através de dois mecanismos complementares:

1. Critic-R-Zero (Refinamento em Tempo de Inferência)

Este componente opera inteiramente em tempo de inferência, sem exigir atualizações de gradiente ou retreinamento dos modelos subjacentes.

• Mecanismo: Quando um agente realiza uma busca, os documentos recuperados são alimentados especulativamente ao raciocinador para gerar um traço de raciocínio introspectivo. Um modelo crítico separado ($M_C$) analisa este traço para determinar se o contexto recuperado resolve suficientemente a necessidade de informação do agente.
• Ciclo de Feedback: Se o crítico considerar a evidência insuficiente (feedback negativo), ele utiliza a insatisfação explícita do agente em seu traço de raciocínio para reescrever a consulta de busca e a instrução de recuperação. Esta consulta refinada dispara uma nova tentativa de recuperação.
• Terminação: Este loop se repete até um orçamento predefinido ($K$) ou até que o crítico confirme que a evidência é satisfatória. Os documentos finais selecionados são comprometidos ao histórico de raciocínio.
• Coleta de Dados: Este processo gera naturalmente documentos "positivos" (aqueles que satisfazem o agente) e documentos "negativos difíceis" (aqueles rejeitados durante tentativas de refinamento malsucedidas), que são coletados para fins de treinamento.

2. Critic-Embed (Ajuste Fino do Recuperador)

Para amortizar o custo computacional do refinamento iterativo e melhorar permanentemente a qualidade da recuperação, os autores utilizam as trajetórias geradas pelo Critic-R-Zero como uma fonte de supervisão automática.

• Sinal de Treinamento: Documentos verificados como úteis pelo crítico são tratados como exemplos positivos ($D^+$), enquanto documentos rejeitados durante o refinamento são tratados como negativos difíceis intra-trajetória ($D^-$).
• Aprendizado Contrastivo: O recuperador é ajustado finamente usando um objetivo InfoNCE com esses pares contrastivos construídos automaticamente. Crucialmente, este processo não requer anotações manuais de relevância (passagens de ouro).
• Restrição: Para garantir a qualidade dos rótulos, apenas trajetórias onde a previsão final é correta de acordo com a métrica da tarefa downstream são retidas para treinamento.

3. Sistema Unificado

O sistema completo Critic-R combina ambos os mecanismos: o recuperador Critic-Embed fornece uma recuperação inicial alinhada ao domínio e de alta qualidade, enquanto o loop Critic-R-Zero fornece uma rede de segurança em tempo de inferência para recuperar de falhas complexas de casos de borda.

Principais Contribuições

1. Fechamento do Ciclo de Feedback: O artigo introduz um framework que fecha explicitamente o ciclo de feedback entre agentes de raciocínio e recuperadores durante a inferência e o treinamento, desafiando a suposição de que agentes de raciocínio podem compensar isoladamente falhas de recuperação.
2. Escalabilidade de Tempo de Inferência para Recuperação: O Critic-R-Zero demonstra que alocar computação adicional em tempo de inferência para refinar iterativamente consultas e instruções pode mitigar significamente falhas de recuperação sem modificar o agente de raciocínio ou o recuperador.
3. Supervisão Automática para Recuperadores: O Critic-Embed apresenta um método inovador para ajustar finamente recuperadores densos usando aprendizado contrastivo intra-trajetória derivado das interações agente-crítico, eliminando a necessidade de caras anotações de passagens de ouro.
4. Design Modular: O framework é projetado para ser ortogonal ao objetivo de treinamento do agente de raciocínio, permitindo que seja aplicado a quaisquer agentes (ex: Search-R1) e recuperadores.

Resultados Experimentais

O framework foi avaliado em quatro benchmarks desafiadores de QA multi-hop: HotpotQA, 2WikiMultihopQA, MuSiQue e Bamboogle.

• Refinamento em Tempo de Inferência (RQ1): Usando um recuperador congelado, o Critic-R-Zero melhorou significativamente a precisão de resposta entre agentes de várias escalas (3B a 14B). O método rendeu uma melhoria relativa total de 12,4% nos scores de Exact Match (EM) e F1. Os autores observam que escalar o tamanho do modelo crítico (14B para 72B) não garante estritamente um melhor desempenho, sendo que um crítico de 32B frequentemente se mostra ideal para conjuntos de dados mais difíceis.
• Ajuste Fino do Recuperador (RQ2): O recuperador Critic-Embed, treinado exclusivamente com trajetórias do Critic-R-Zero, superou tanto recuperadores densos prontos para uso (Stella-400M) quanto recuperadores co-treinados end-to-end com agentes de busca (Agentic-R). Ele alcançou uma melhoria relativa de até 7,5% no desempenho geral, demonstrando que as trajetórias coletadas contêm sinais de supervisão transferíveis.
• Sistema Combinado (RQ $\text{RQ3}$): Integrar o recuperador treinado Critic-Embed com o loop de inferência Critic-R-Zero resultou nos resultados mais fortes, alcançando uma melhoria relativa de 10,9% no total. Os autores observam que os dois componentes são complementares em vez de redundantes, abordando diferentes fatias de falhas de recuperação.
• Papel do Feedback Introspectivo (RQ4): Um estudo de ablação removendo o feedback introspectivo do agente ($T_{i+1}$) da entrada do crítico resultou em uma queda significativa de desempenho no recuperador treinado. Isso confirma que o traço de raciocínio interno do agente é uma fonte primária do sinal de supervisão, e não meramente um input marginal.

Significância e Alegações

O artigo alega que modelar e otimizar explicitamente a qualidade da recuperação de dentro do loop agêntico é um caminho poderoso para uma busca agêntica mais robusta. A significância do Critic-R reside em sua capacidade de:

• Melhorar a qualidade da recuperação e a precisão da resposta downstream sem exigir anotações manuais de relevância.
• Funcionar efetivamente em configurações onde o modelo de raciocínio não pode ser retreinado ou o recuperador é um componente externo fixo.
• Fornecer uma abordagem escalável e modular onde o refinamento em tempo de inferência e o ajuste fino offline do recuperador se reforçam mutuamente.

Os autores concluem que, embora o framework mostre um potencial substancial, seu sucesso depende da capacidade do agente de raciocínio em fornecer feedback introspectivo preciso, e sua eficácia em ambientes altamente dinâmicos (ex: busca web em tempo real) ainda precisa ser avaliada.