💻 ciência da computação

STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models

O STEP-VERIFIER é um modelo de recompensa de processo que aprende a verificar ações individuais de agentes por meio de comparações pareadas sintetizadas automaticamente, fornecendo feedback intermediário denso durante o treinamento para melhorar significativamente o desempenho do agente em tarefas complexas de uso de ferramentas sem exigir a dependência do verificador na implantação.

Autores originais: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

Publicado 2026-10-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, há uma classe crescente de programas conhecidos como agentes. Diferente de um chatbot padrão que simplesmente responde a uma pergunta, um agente é projetamente para tomar ações. Ele pode navegar na web, chamar ferramentas externas ou manipular arquivos para resolver problemas complexos. Para aprender a fazer isso, esses agentes são frequentemente treinados através de um processo semelhante a tentativa e erro. Eles tentam uma tarefa e, se tiverem sucesso ao final, são recompensados. Se falharem, não são. Isso funciona bem para tarefas simples, mas para missões longas e complicadas envolvendo dezenas de etapas, cria um ponto cego significativo. O agente só conhece o resultado final, não qual etapa específica causou a falha. Um único movimento errado no início do processo pode arruinar toda a tentativa, mas o sistema de aprendizado trata essa falha da mesma forma que uma tentativa que deu errado em cada uma das etapas. Essa falta de detalhe torna difícil para o agente aprender com seus erros de forma eficiente.

Pesquisadores da Universidade de Hong Kong e da Xiaomi desenvolveram um novo método para resolver este problema, chamado STEP-VERIFIER. Em vez de esperar até o fim de uma tarefa para julgar o desempenho de um agente, este sistema aprende a avaliar a qualidade de cada ação individual conforme ela acontece. A inovação reside em como ele aprende a fazer isso sem a necessidade de professores humanos para avaliar cada etapa individualmente. A equipe percebeu que poderiam usar as próprias tentativas passadas do agente para gerar o feedback necessário. Quando um agente tenta resolver o mesmo problema muitas vezes, ele frequentemente segue o mesmo caminho pelas primeiras etapas antes de divergir em direções diferentes. Ao comparar os resultados finais dessas diferentes ramificações, o sistema consegue inferir qual escolha inicial foi melhor. Se um caminho leva ao sucesso e outro à falha, o sistema aprende que o ponto de decisão onde eles se separaram foi crucial.

Os pesquisadores construíram um modelo de "verificador" separado que atua como um juiz para essas etapas individuais. Eles treinaram este verificador usando uma vasta coleção de interações registradas, onde cada tentativa era marcada como sucesso ou falha. O sistema procura momentos em que duas tentativas diferentes compartilharam o mesmo histórico até certo ponto, mas depois tomaram ações diferentes. Ele calcula a diferença em suas taxas de sucesso finais para criar uma comparação. Por exemplo, se uma ação levou a um resultado bem-sucedido 80% das vezes e outra levou ao sucesso apenas 20% das vezes, o verificador aprende a dar uma pontuação mais alta para a primeira ação. Esse processo cria um fluxo denso de feedback, dizendo ao agente exatamente quais movimentos foram bons e quais foram ruins, muito antes de a tarefa ser concluída.

Crucialmente, este verificador é usado apenas durante a fase de treinamento. Os pesquisadores desenharam um cronograma onde a influência do verificador é mais forte no início, quando o agente está fazendo muitos palpites aleatórios e os resultados finais são ruidosos. À medida que o agente melhora e seus próprios resultados finais tornam-se mais confiáveis, o feedback do verificador é gradualmente reduzido até desaparecer completamente. Isso garante que o agente final, implantado, não precise do verificador para funcionar; ele internalizou as lições e pode operar de forma independente. Ao ser testado em três benchmarks diferentes envolvendo navegação na web, uso de ferramentas e planejamento de múltiplas etapas, esta abordagem superou significativamente métodos que dependiam apenas de pontuações finais. O agente aprendeu mais rápido e cometeu menos erros.

O estudo também comparou este novo método contra outras formas de julgar etapas intermediárias. Algumas abordagens anteriores usavam rótulos simples de sim ou não para cada etapa, enquanto outras tentavam pontuar a tentativa inteira como uma única unidade. A abordagem STEP-VERIFIER, que utiliza um sistema de classificação mais matizado para comparar pares de ações, provou ser a mais eficaz. Suas pontuações alinharam-se muito mais proximamente com julgamentos humanos sobre o que constitui uma boa etapa. De fato, quando humanos revisaram as ações do agente, eles concordaram com a avaliação do verificador cerca de 81,5% das vezes, uma taxa muito superior a outros métodos automatizados. Isso sugere que o sistema capturou com sucesso a lógica sutil necessária para navegar em tarefas complexas.

Uma das descobertas mais importantes é que o sistema funciona sem qualquer esforço humano extra ou nova coleta de dados. Ele depende inteiramente dos dados já gerados durante o treinamento padrão. Os pesquisadores descobriram que o sistema naturalmente foca nas etapas em que o agente passa a maior parte do tempo, porque essas são as etapas onde ele possui mais dados para comparar. No entanto, eles também notaram uma limitação: para etapas muito difíceis que o agente raramente tenta, não há dados suficientes para fazer um julgamento confiável. Nesses casos raros, o sistema é menos informado. Apesar desse limite, o método representa um avanço significativo no ensino de agentes para pensar criticamente sobre suas próprias ações. Ao transformar o próprio histórico do agente em um professor, os pesquisadores criaram uma maneira de esses sistemas aprenderem com seus erros em tempo real, levando a uma inteligência artificial mais capaz e confiável.

Resumo Técnico: STEP-VERIFIER

Declaração do Problema

Agentes de grandes modelos de linguagem (LLMs) normalmente completam tarefas complexas através de sequências longas de chamadas de ferramentas e interações com o ambiente. Os paradigmas de treinamento atuais, como o Group Relative Policy Optimization (GRPO), baseiam-se no treinamento recompensado por resultado (outcome-rewarded training), onde o agente recebe um único sinal binário (sucesso/falha) apenas ao final de um episódio. Esta abordagem sofre de um ponto cego estrutural: ela não consegue distinguir entre um episódio que falha devido a um erro precoce único e um que falha devido a um colapso total do raciocínio. Consequentemente, comportamentos intermediários que são críticos para o sucesso ou falha permanecem sem julgamento, e o sinal de aprendizado é esparso, dependendo inteiramente do resultado da trajetória final.

Embora os Modelos de Recompensa de Processo (PRMs) tenham demonstrado sucesso no raciocínio matemático ao pontuar passos individuais, aplicar modelos semelhantes a configurações de agentes é desafiador. Métodos existentes frequentemente exigem anotações de nível de passo feitas por humanos (que são dispendiosas e limitam a qualidade) ou dependem de críticos aprendidos de baixa eficiência de amostragem para interações de longo horizonte. A questão central abordada por este trabalho é se um verificador de nível de ação pode ser treinado sem rótulos de passo humanos e sem interações adicionais com o ambiente, utilizando apenas os dados já descartados pelo treinamento padrão baseado em resultado.

Metodologia: STEP-VERIFIER

O sistema proposto, STEP-VERIFIER, introduz um framework para aprender um verificador de processo a partir de um corpus de interações registradas que são rotuladas apenas com resultados finais de sucesso/falha.

1. Síntese de Supervisão Pareada

O método aproveita o fato de que, no treinamento recompensado por resultado, a mesma tarefa é frequentemente tentada múltiplas vezes, criando um corpus com múltiplas continuações a partir de prefixos de interação semanticamente idênticos.

Pares de Divisão de Prefixo (Prefix-Split Pairs): Para um histórico de interação $h$ dado, o sistema identifica duas ações distintas, $a$ e $a'$ , tomadas a partir do mesmo estado.
Estimativa de Monte Carlo: Ele calcula o retorno final médio de todas as continuações registradas após $h \cdot a$ e $h \cdot a'$ . A diferença entre essas médias serve como uma estimativa de Monte Carlo do hiato de valor (value gap) entre as duas ações.
Rótulos Não Enviesados: Esta diferença fornece um rótulo de comparação pareada (qual ação levou a um melhor resultado) sem exigir novos rollouts ou anotação humana. Os autores provam que esses rótulos sintetizados são estimadores não enviesados e consistentes do hiato de valor subjacente.

2. A Arquitetura do Verificador

O verificador é um modelo de linguagem ( $s_\theta$ ) treinado para pontuar pares de observação-ação individuais dentro de um contexto.

Cabeça Bradley-Terry: Em vez de prever pontuações absolutas, o verificador produz uma pontuação escalar relativa a um contexto. Ele é treinado usando uma cabeça de ranking Bradley-Terry para minimizar a log-verossimilhança negativa das preferências pareadas sintetizadas.
Calibração: Os autores provam que, sob o modelo de resposta Bradley-Terry, minimizar o objetivo de treinamento garante que a diferença nas pontuações do verificador ( $\Delta_\theta$ ) recupere exatamente o hiato de valor subjacente ( $\Delta Q$ ). Isso fornece pontuações calibradas, não apenas rankings ordinais, permitindo que sejam usadas como feedback quantitativo.

3. Treinamento com Verificador no Ciclo (Verifier-in-the-Loop)

O verificador é integrado ao loop de treinamento da política (especificamente ao GRPO), mas é projetado para sair antes da implantação. Ele desempenha dois papéis durante o treinamento:

Filtragem de Logs: Antes de cada atualização da política, o verificador pontua todos os logs de interação no lote. A fração de menor pontuação (ex: os 20% inferiores) é removida para evitar que "palpites de sorte" ou trajetórias ruidosas corrompam a atualização do gradiente.
Feedback Intermediário Denso: Para os logs restantes, o verificador fornece pontuações de nível de passo que são padronizadas e injetadas no cálculo de vantagem de nível de sequência.
Cronograma de Recozimento (Annealing Schedule): Crucialmente, o peso deste feedback denso ( $\lambda_k$ ) segue um cronograma de recozimento linear, decaindo para zero conforme o treinamento progride (ex: aos 75% do orçamento). Isso garante que a fase final de treinamento seja indistinguível da otimização padrão baseada apenas em resultados, o que significa que a política implantada nunca depende do verificador.

Principais Contribuições

Verificador de Nível de Ação a partir de Rótulos de Resultado: Um método para treinar um verificador de processo inteiramente a partir de um corpus de logs rotulados com sucesso/falha. Ele sintetiza supervisão pareada via diferenças de retorno de Monte Carlo entre estados que compartilham um prefixo comum, eliminando a necessidade de rótulos de passo humanos, modelos de recompensa pré-treinados ou interações extras com o ambiente.
Garantias Teóricas: Provas estabelecendo que os rótulos sintetizados são estimativas de hiato de valor não enviesadas e que a cabeça Bradley-Terry gera pontuações por ação calibradas, permitindo seu uso como feedback quantitativo em vez de meros rankings.
Esquema de Treinamento com Recozimento: Uma estratégia de "verificador no ciclo" que combina filtragem de logs e feedback denso com um cronograma de recozimento linear. Isso permite que o verificador guie o início do treinamento enquanto garante que a política final seja independente do verificador, não incorrendo em overhead de inferência.
Validação Empírica: Avaliações abrangentes demonstrando que o STEP-VERIFIER supera os baselines de apenas resultado e outros abordagens guiadas por verificadores em múltiplos benchmarks.

Resultados Experimentais

O sistema foi avaliado utilizando backbones Llama-3.1-8B-Instruct e Mistral-7B-Instruct em três benchmarks: GAIA (assistência geral), ToolBench (composição de API) e AgentBoard (planejamento de múltiplos turnos).

Ganhos de Desempenho: O STEP-VERIFIER superou o GRPO padrão, PPO e baselines guiados por verificador (GRPO + ORM, GRPO + PRM) em cada métrica agregada.
- No GAIA com Llama-3.1-8B, alcançou 30,1% de acurácia média, superando o GRPO (21,5%) em 8,6 pontos e o melhor baseline (GRPO + PRM) em 4,4 pontos.
- No ToolBench, alcançou uma taxa de vitória de 38,9%, superando o GRPO (30,4%).
Qualidade da Pontuação: Quando comparado com julgamentos humanos em dados não vistos (held-out), o STEP-VERIFIER alcançou 81,5% de concordância pareada, significativamente superior aos modelos de recompensa de trajetória (62,4%) e modelos de recompensa de processo binários (73,2%). Suas pontuações também mostraram calibração superior (Erro de Calibração Esperada de 0,06) em comparação aos baselines.
Estudos de Ablação:
- Remover a cabeça Bradley-Terry (usando rótulos binários) causou uma queda significativa no desempenho, confirmando que a calibração é essencial.
- Remover o cronograma de recozimento (mantendo o peso do feedback constante) resultou no pior desempenho, indicando que um sinal de verificador que persiste por muito tempo prejudica ativamente o estágio final do treinamento.
- O método depende do "suprimento" de continuações registradas; o desempenho degrada em tarefas onde estados raros não recorrem o suficiente para formar pares de comparação robustos.

Significância e Alegações

O artigo afirma que o STEP-VERIFIER consegue preencher a lacuna entre recompensas de resultado esparsas e a necessidade de feedback intermediário denso no treinamento de agentes. Ao sintetizar supervisão a partir de logs de interação existentes, ele evita o custo de anotação humana enquanto fornece um verificador que é calibrado e teoricamente fundamentado.

A alegação mais significativa é a independência de implantação: o verificador atua como um guia temporário para moldar a política e filtrar ruídos durante o treinamento, mas é completamente removido antes da implantação. Isso garante que o agente final não sofra com o overhead de inferência ou riscos de mudança de distribuição associados à dependência de um modelo crítico separado no tempo de teste. O trabalho sugere que o "material descartado" do treinamento baseado em resultado contém sinal suficiente para aprender uma verificação de processo de alta qualidade, desde que a dinâmica de treinamento (filtragem e recozimento) seja corretamente gerenciada.