Resumo Técnico: EviBack

Declaração do Problema

O aprendizado por reforço (RL) permitiu que sistemas de Geração Aumentada de Recuperação (RAG) Agênticos aprendam estratégias de busca de múltiplos turnos a partir de recompensas de resultados verificáveis. No entanto, uma limitação crítica existe nos paradigmas de treinamento atuais: quando um grupo de trajetórias amostradas (rollouts) não produz nenhuma resposta correta (um grupo "all-zero"), o sinal de RL padrão não fornece informação comparativa. Nestes cenários, a vantagem normalizada é zero, tornando o progresso parcial ou comportamentos de busca intermediários corretos indistinguíveis de uma falha total. Além disso, os métodos existentes que dependem de design de prompt manual para avaliação de processo frequentemente falham em caracterizar de forma estável dimensões como racionalidade da consulta e suficiência de evidência, ou correm o risco de permitir que respostas de referência sobreponham julgamentos sobre insuficiência de evidência.

Metodologia

O artigo propõe o EviBack, um framework projetado para fornecer supervisão auxiliar a grupos de rollouts "all-zero", preservando a integridade das recompensas do Ator (Actor) verificáveis. A metodologia consiste em três componentes principais:

1. Recuo de Professor com Restrição de Evidência (Evidence-Constrained Teacher Backoff)

O EviBack introduz um modelo "Professor" (Teacher) que atua como um mecanismo de fallback. Ele é ativado apenas quando um grupo de rollouts do Ator contém nenhuma trajetória com uma correspondência exata verificável (grupos all-zero).

• Arquitetura de Dois Estágios: O Professor separa a avaliação de evidência do refinamento de resposta para evitar que as respostas de referência mascarem a insuficiência de evidência.
  • Estágio A (Cego ao Ouro/Gold-Blind): Avalia se a evidência acumulada visível para o Ator é suficiente para responder à pergunta. Ele produz um status: Suficiente (S), Insuficiente (I) ou Ambíguo (A). Este estágio opera sem acesso à resposta de referência (ground-truth).
  • Estágio B (Ciente do Ouro/Gold-Aware): Executa apenas se o Estágio A determinar que a evidência não é insuficiente ($s_A \neq I$). Ele refina a resposta para alinhamento com a referência, mas preserva estritamente o limite de "Insuficiente" estabelecido pelo Estágio A.
• Sinal de Recompensa: Para grupos all-zero, o Professor fornece uma recompensa híbrida baseada no status e em um escore F1 alinhado à referência. Esta recompensa é reduzida (por um fator $\lambda = 0.1$) para garantir que não sobreponha o sinal de aprendizado de grupos contendo acertos verificados.

2. E2E-APE (Engenharia de Prompt Automática de Ponta a Ponta)

Para construir a política do Professor, os autores propõem o E2E-APE, um método de engenharia de prompt guiado por restrições para gerar prompts de julgamento.

• Processo: Diferente da otimização de prompt tradicional que maximiza os escores finais da tarefa, o E2E-APE parte de restrições explícitas necessárias para a avaliação de processo intermediária (ex: racionalidade da consulta, eficácia da evidência).
• Automação: Utilizando um controlador GPT-5.5, o pipeline particiona automaticamente os dados de rollout, gera prompts/fluxos de trabalho candidatos, avalia-os contra métricas específicas (conformidade de limite de evidência, estabilidade, custo) e seleciona uma política de dois estágios com portão (gated).
• Resultado: Este processo transforma um prompt único do Professor, escrito manualmente, em uma política de dois estágios congelada e versionada sem intervenção manual após o lançamento inicial.

3. Protocolo de Treinamento

O sistema utiliza GRPO (Group Relative Policy Optimization).

• Precedência do Ator: Se qualquer trajetória em um grupo alcançar uma correspondência exata verificável, o Professor é ignorado e as recompensas padrão do Ator são usadas.
• Fallback Seletivo: O Professor é invocado apenas para grupos onde todas as trajetórias falham. As recompensas resultantes são normalizadas dentro do grupo, e a vantagem de fallback é escalonada para manter uma contribuição de gradiente de política menor do que os grupos com acertos verificados.

Principais Contribuições

1. E2E-APE: Um método de engenharia de prompt automática de ponta a ponta baseado em restrições para gerar prompts de julgamento. Ele desloca o foco da maximização do desempenho final da tarefa para a satisfação de restrições para avaliação de processo intermediário, reduzindo custos de design manual e melhorando a estabilidade da pontuação.
2. Framework EviBack: Um sistema de recompensa híbrido para agentes de busca RAG que combina recompensas de resposta final verificáveis com recompensas de processo derivadas do Professor. Ele estende a supervisão de RL dos resultados finais para a qualidade das trajetórias de busca, abordando especificamente o problema do grupo "all-zero".
3. Preservação do Limite de Evidência: Um design de Professor de dois estágios que desacopla o julgamento de suficiência de evidência do refinamento da resposta, garantindo que as respostas de referência não possam sobrepor julgamentos de insuficiência de evidência.

Resultados Experimentais

Os autores avaliaram o EviBack em sete benchmarks de QA de domínio aberto (incluindo NQ, HotpotQA, MuSiQue, 2WikiMultiHopQA, etc.) e em três escalas de modelos Qwen3 (0.6B, 1.7B e 4B).

• Ganhos de Desempenho: O EviBack melhorou consistentemente os escores F1 sobre a forte linha de base Search-R1.
  • Na escala de 1.7B, o EviBack alcançou um ganho relativo de 16% sobre a linha de base.
  • Melhorias foram observadas tanto no macro F1 de salto único (single-hop) quanto no de múltiplos saltos (multi-hop) em todas as escalas.
• Eficiência de Busca: O método reduziu a média de buscas, as taxas de consultas duplicadas e as taxas de terminação forçada (max-turn). Por exemplo, na escala de 1.7B, a taxa de resposta válida aumentou de 0.7317 para 0.8611, enquanto a média de buscas diminuiu de 1.73 para 1.59.
• Construção do Professor: O Professor construído via E2E-APE superou um Professor de tarefa dupla com prompt único desenhado manualmente, melhorando o F1 em 0.0260 e a taxa de resposta válida em 0.2197, enquanto reduzia significativamente o overhead de busca.
• Estudos de Ablação: Experimentos confirmaram que o limite de evidência de dois estágios e o fator de escala de fallback específico ($\lambda=0.1$) foram críticos para equilibrar os ganhos de desempenho com a eficiência de busca.

Significância e Alegações

O artigo afirma que o EviBack aborda uma lacuna fundamental no treinamento de agentes de busca: a falta de sinais comparativos em casos de falha. Ao introduzir um mecanismo de recuo (backoff) seletivo e restrito por evidência, o sistema fornece feedback detalhado sobre o raciocínio intermediário sem comprometer a verificabilidade da recompensa final.

Os autores enfatizam que sua abordagem:

• Restaura a supervisão auxiliar para grupos que, de outra forma, não forneceriam nenhum sinal de aprendizado.
• Previne o vazamento de referência (reference leakage) de distorcer julgamentos de suficiência de evidência, um problema comum em modelos de recompensa de processo.
• Demonstra a viabilidade da engenharia de prompt automática (E2E-APE) para criar políticas de avaliação complexas que satisfaçam restrições e superem designs manuais.

O trabalho conclui que, embora sinais mais ricos derivados do Professor (ex: qualidade da consulta, redundância) permaneçam como uma direção para pesquisas futuras, o atual design restrito por evidência oferece um método robusto e eficaz para melhorar o desempenho de RAG Agêntico. O código promete ser disponibilizado publicamente em uma etapa posterior.