Evaluate-as-Action: Self-Evaluated Process Rewards for Retrieval-Augmented Agents

O artigo apresenta o \textsc{EvalAct}, um método que transforma a avaliação de qualidade da recuperação em uma ação explícita e utiliza o algoritmo PCAR para otimizar agentes de raciocínio multi-etapa, resultando em ganhos significativos de precisão em tarefas de perguntas e respostas de domínio aberto.

O essencial

Imagine que você tem um detetive de inteligência artificial chamado "Agente". A missão desse detetive é resolver quebra-cabeças complexos (perguntas difíceis) que exigem várias etapas de investigação. Para isso, ele precisa pesquisar em uma vasta biblioteca (a internet) para encontrar as pistas certas.

O problema é que, até agora, esses detetives tinham dois grandes defeitos:

1. Eles não sabiam quando estavam lendo uma pista falsa: Se encontravam um documento confuso ou errado, eles continuavam a investigação como se fosse verdade, levando a uma conclusão errada.
2. O chefe só dava feedback no final: O chefe (o sistema de treinamento) só dizia "Você acertou a resposta final" ou "Você errou". Ele não dizia onde o detetive errou no meio do caminho. Se o detetive gastou 10 horas pesquisando coisas inúteis e só acertou no final, ele aprendia que "pesquisar muito" é bom, mesmo que 90% do trabalho fosse inútil.

Os autores deste paper, EVALACT, criaram uma nova regra para treinar esses detetives. Vamos entender como funciona com uma analogia simples:

1. A Ideia Principal: "Pesquisar e Avaliar" (O Novo Protocolo)

Antes, o detetive apenas pesquisava: "Vou procurar 'quem matou o Sr. Body'..." e lia o que aparecia.

Com o EVALACT, o detetive agora é obrigado a seguir uma regra estrita: Para cada pesquisa, ele deve imediatamente fazer uma pausa e dar uma nota para si mesmo.

• Ação: O agente pesquisa.
• Ação Imediata: O agente diz: "Ok, li esses 3 documentos. Achei que o documento 1 é muito confiável (nota 9), o 2 é duvidoso (nota 4) e o 3 é lixo (nota 1)."

Isso transforma a "avaliação" (que antes era apenas um pensamento interno e confuso) em uma ação real e obrigatória. É como se o detetive tivesse que carimbar cada documento com um "Visto" ou "Rejeitado" antes de continuar.

2. O Treinamento Inteligente: "PCAR" (O Chefe Justo)

Agora, como o chefe treina esse detetive? Aqui entra a segunda parte do sistema, chamada PCAR.

Imagine que o detetive fez uma investigação longa com 10 passos.

• Nos passos 1 a 3, ele foi brilhante e encontrou ótimas pistas.
• No passo 4, ele leu um jornal falso e se confundiu.
• Nos passos 5 a 10, ele se recuperou e chegou à resposta certa.

O problema antigo: O chefe dava a mesma recompensa (ou punição) para todos os 10 passos. Se a resposta final estava certa, todos os passos eram elogiados, mesmo o passo 4 que foi um erro.

A solução do PCAR: O chefe olha as notas de autoavaliação que o detetive deu.

• Ele diz: "Olha, nos passos 1 a 3 você se avaliou com nota alta e estava certo. Vamos te dar uma recompensa extra e reforçar esse comportamento!"
• Ele diz: "No passo 4, você se avaliou com nota baixa e estava errado. Vamos punir apenas esse passo e não os outros."
• Ele diz: "Nos passos 5 a 10, você estava inseguro. Vamos ser mais cautelosos e não mudar tanto sua estratégia."

Isso é chamado de Redimensionamento de Vantagem Calibrado por Processo. Em português simples: Dar crédito (ou culpa) apenas onde ele realmente importa, baseando-se na confiança que o próprio agente teve na hora.

Por que isso é genial?

1. Para tarefas simples: Ajuda um pouco, mas não muda o mundo.
2. Para tarefas complexas (Multi-hop): É uma revolução. Em quebra-cabeças que exigem conectar 5 ou 6 pistas diferentes, um erro no meio destrói tudo. O EVALACT impede que o erro se espalhe, porque o agente aprende a "cortar" os caminhos ruins assim que percebe que a nota de confiança está baixa.

Resumo da Ópera

O paper apresenta um sistema onde a IA não apenas "pensa", mas é obrigada a falar em voz alta sobre a qualidade das informações que está usando.

• Antes: O agente lia, pensava, errava, e só aprendia no final se acertou ou não.
• Agora (EVALACT): O agente pesquisa, avalia a qualidade da pesquisa, e o sistema de treinamento usa essa avaliação para ensinar o agente a ser mais preciso em cada pequeno passo, não apenas no resultado final.

É como transformar um aluno que só estuda para a prova final em um aluno que, a cada página lida, faz um resumo e pergunta: "Será que isso faz sentido?". Se a resposta for não, ele para e muda de livro imediatamente, economizando tempo e evitando erros futuros.

Resultado: O sistema ficou muito melhor em resolver problemas complexos que exigem várias etapas de raciocínio, superando todos os outros métodos testados em testes de perguntas e respostas.

Resumo técnico

1. O Problema

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) com recuperação aumentada (RAG) enfrentam desafios críticos ao realizar raciocínio de múltiplos passos (multi-hop):

• Propagação de Erro: Em tarefas complexas que exigem múltiplas consultas, a recuperação de um documento irrelevante ou ruidoso pode desviar o raciocínio subsequente de forma irreversível, pois não há um mecanismo explícito e imediato para verificar a qualidade da evidência antes de prosseguir.
• Atribuição de Crédito Grossa (Coarse Credit Assignment): Métodos de Aprendizado por Reforço (RL) tradicionais, como PPO ou GRPO, geralmente utilizam recompensas baseadas apenas no resultado final (corretude da resposta). Isso falha em distinguir entre etapas de recuperação informativas e ações redundantes ou enganosas dentro de uma trajetória longa. Como consequência, o otimizador pode reforçar ou penalizar toda a trajetória uniformemente, reduzindo a eficiência da amostragem e causando saturação de desempenho.

2. Metodologia

Os autores propõem o EVALACT (Evaluate-as-Action), um framework de RL que transforma a autoavaliação implícita da qualidade da recuperação em uma ação explícita e selecionável pela política, combinada com uma nova estratégia de otimização chamada PCAR.

A. Protocolo EVALACT (Avaliar-como-Ação)

O núcleo da metodologia é a imposição de um protocolo acoplado estritamente: Buscar $\rightarrow$ Avaliar.

• Ação Dupla: Após cada ação de busca (Search), o agente é forçado a executar imediatamente uma ação de avaliação (Evaluate).
• Saída Estruturada: Na ação Evaluate, o agente gera uma avaliação textual da utilidade da evidência recuperada e um escore de confiança escalar ($z \in [0, 10]$).
• Controle Sem Oráculo: O ambiente não interpreta o texto da avaliação nem verifica a verdade dos documentos. Em vez disso, o escore $z$ é mapeado deterministicamente em um sinal de controle discreto (Baixo, Médio, Alto) que modula as ações subsequentes do agente. Isso permite a poda precoce de ramos improdutivos durante a inferência sem supervisão externa.

B. Otimização PCAR (Redimensionamento de Vantagem Calibrado por Processo)

Para aproveitar os sinais de processo gerados pelo EVALACT, os autores introduzem o PCAR, baseado no algoritmo GRPO (Group Relative Policy Optimization).

• Redimensionamento Segmentado: Em vez de aplicar a mesma vantagem de trajetória a todos os tokens, o PCAR utiliza os escores de autoavaliação ($z$) para redimensionar os gradientes no nível de segmentos.
• Mecanismo:
  1. Calcula-se um sinal de confiabilidade padronizado dentro da trajetória.
  2. Aplica-se um ganho escalado pelo escore ($\lambda$) para amplificar os gradientes em segmentos confiáveis e progressivos.
  3. Aplica-se atualizações conservadoras em segmentos incertos.
• Objetivo: Isso fornece orientação em nível de processo sem a necessidade de modelos de recompensa de processo anotados por humanos (que são caros), permitindo uma atribuição de crédito mais fina e estável.

3. Contribuições Principais

1. EVALACT: Um framework de RL que converte a avaliação de qualidade de recuperação implícita em uma ação explícita (Evaluate), gerando sinais de recompensa de processo densos e alinhados à trajetória.
2. PCAR: Uma estratégia de otimização que utiliza escores de autoavaliação passo a passo para refinar a atribuição de crédito e estabilizar o aprendizado em trajetórias de recuperação de longo horizonte.
3. Desempenho Superior: O método alcança o melhor desempenho médio em sete benchmarks de QA de domínio aberto, com ganhos particularmente significativos em tarefas de múltiplos passos (multi-hop).

4. Resultados Experimentais

Os experimentos foram conduzidos em dois modelos base (Qwen2.5-3B e Qwen2.5-7B) em sete benchmarks (incluindo HotpotQA, 2WikiMultihopQA, Bamboogle, etc.).

• Desempenho Geral: O EVALACT obteve a maior precisão média (EM - Exact Match) em todos os benchmarks, superando o segundo melhor baseline (AutoRefine) em 3,5 pontos (modelo 3B) e 1,6 pontos (modelo 7B).
• Tarefas Multi-Hop: Os maiores ganhos ocorreram em tarefas de raciocínio multi-hop. Por exemplo, no 2WikiMultihopQA, o EVALACT-3B superou o AutoRefine em 10,6 pontos, e o EVALACT-7B em 10,7 pontos. Isso valida a hipótese de que a avaliação intermediária explícita controla melhor a propagação de erros.
• Tarefas Single-Hop: O desempenho foi competitivo, embora em alguns casos (como NQ e PopQA) o AutoRefine tenha sido ligeiramente superior, o que é esperado dado que o AutoRefine é otimizado para polimento de respostas em cenários mais simples.
• Estudos de Ablação:
  • Loop de Avaliação: Remover o loop explícito de avaliação causou a maior queda de desempenho (queda de 7,5 pontos na média multi-hop), confirmando que a verificação intermediária é o componente mais crítico.
  • PCAR: A remoção do PCAR (mantendo o loop de avaliação mas usando GRPO padrão) resultou em uma queda menor (1,2 pontos), indicando que o PCAR oferece benefícios adicionais consistentes ao calibrar os gradientes.
  • SFT (Supervised Fine-Tuning): O ajuste supervisionado inicial foi crucial para alinhar o modelo ao protocolo estrito de formato, reduzindo falhas de parseamento de ferramentas.

5. Significado e Conclusão

O trabalho EVALACT representa um avanço significativo na arquitetura de agentes autônomos ao:

• Formalizar a Introspecção: Transformar a autoavaliação, tradicionalmente um processo interno e implícito, em uma ação executável e treinável.
• Resolver o Problema de Atribuição de Crédito: Oferecer uma solução prática para o problema de crédito em RL de longo horizonte, permitindo que o modelo aprenda a distinguir entre bons e maus passos de recuperação sem necessidade de anotação humana cara.
• Estabilidade e Generalização: Demonstrar que a combinação de protocolos estruturados (Search-Evaluate) com otimização calibrada (PCAR) leva a uma maior estabilidade de treinamento e generalização superior em tarefas complexas de raciocínio.

Limitações Notadas:

• O acoplamento estrito 1:1 (Buscar-Avaliar) pode limitar a autonomia total do agente, pois força uma avaliação mesmo quando talvez não seja necessária.
• A validação atual restringe-se a QA de domínio aberto; a aplicação em cenários mais complexos (navegação web, geração de código) ainda precisa ser explorada.
• Os experimentos foram limitados a modelos de até 7B parâmetros devido a restrições computacionais.

Em suma, o paper propõe que a ação de avaliar é tão fundamental quanto a ação de buscar para agentes de raciocínio robustos, e que alinhar os sinais de recompensa a essa avaliação melhora drasticamente a capacidade de raciocínio multi-hop.