🤖 machine learning

HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning

O HindSearch introduz um procedimento de autodestilação de retrospectiva para o aprendizado por reforço com busca aumentada que aproveita as críticas de um juiz congelado sobre trajetórias falhas para fornecer sinais auxiliares on-policy, melhorando significamente o desempenho em relação aos baselines anteriores ao utilizar a resposta correta para diagnosticar falhas de busca.

Autores originais: Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um mistério. Você lhe dá uma pergunta, e ele começa a perguntar à internet em busca de pistas. Às vezes ele encontra a resposta, e às vezes se perde em um labirinto de caminhos errados. No mundo da inteligência artificial, isso é chamado de "Aprendizado com Busca Aumentada". O robô é um Grande Modelo de Linguagem (LLM), um céreão de computador superinteligente que lê e escreve texto. Para resolver problemas difíceis, ele não apenas adivinha; ele usa um mecanismo de busca para procurar fatos, peça por peça, como um detetive reunindo evidências.

Por muito tempo, a maneira como treinávamos esses robôs detetives era um pouco como jogar um jogo de "quente ou frio" com um árbitro muito rigoroso. O robô passava por toda a sua investigação e, ao final de tudo, o árbitro simplesmente dizia: "Você acertou!" ou "Você errou". Se o robô errasse, o único feedback que recebia era um grande e plano "0". Ele sabia que falhou, mas não tinha ideia do porquê. Ele fez a pergunta errada? Leu o artigo errado? Confundiu-se com um nome complicado? Sem saber o "porquê", o robô tinha que adivinhar como se corrigir, o que é como tentar aprender a dirigir um carro apenas sendo informado de "bateu" ou "não bateu" após cada viagem. É frustrante, lento e frequentemente leva o robô a cair em maus hábitos.

É aqui que entra uma nova ideia chamada HindSearch, proposta pelos pesquisadores Liu, Wang, Wu, Tao e Fang. Eles perceberam que, quando um robô falha, na verdade temos uma referência: a resposta correta. Em vez de apenas dizer "falha", eles decidiram usar essa resposta correta para escrever uma nota curta e útil explicando exatamente o que o robô deveria ter feito de diferente. Eles chamam isso de "crítica de retrospectiva" (hindsight critique).

Veja como isso funciona na prática: Imagine que o robô tenta descobrir quem dirigiu o filme Brazil (o filme de ficção científica de 1985, não o país). Ele se confunde e pesquisa por "diretor de Brazil", encontrando páginas sobre o governo do país em vez do filme. Ele falha. No método antigo, o treinamento para ali com um "0". Mas com o HindSearch, um "Juiz" congelado (uma IA superinteligente pré-treinada que não aprende nada por si mesma) olha para o histórico de busca bagunçado do robô e para a resposta correta (Terry Gilliam). O Juiz então escreve uma pequena nota de uma frase: "Você confundiu o país com o filme! Você deveria ter perguntado 'diretor do filme Brazil 1985' em vez disso".

Essa nota é então usada como uma "dica" especial para ensinar o robô. O robô recebe a nota e é solicitado a imaginar: "Se eu soubesse esta dica, o que eu teria pesquisado?". Ele aprende a ajustar seus hábitos de busca para corresponder ao conselho do Juiz. Isso acontece após cada tentativa fracassada, transformando cada erro em uma lição detalhada, em vez de um beco sem saída.

Os pesquisadores testaram este método em um conjunto padrão de sete desafios difíceis de perguntas e respostas, usando um modelo chamado Qwen2.5-3B-Instruct. Eles descobriram que este truque simples de adicionar uma "crítica de retrospectiva" fez uma enorme diferença. O novo método, HindSearch, alcançou uma taxa de sucesso média de 39,4% nesses testes. Isso é significativamente melhor do que os métodos anteriores mais avançados, que giravam em torno de 33,6%. A melhoria foi consistente em todos os tipos de perguntas, desde fatos simples até enigmas complexos que exigem a conexão de múltiplas peças de informação.

Crucialmente, a equipe queria garantir que a melhoria vinha realmente da parte da "retrospectiva" — o fato de o Juiz conhecer a resposta. Para provar isso, eles realizaram um teste onde removeram o acesso do Juiz à resposta correta. Quando o Juiz teve que adivinhar o que deu errado sem conhecer a solução, a melhoria quase desapareceu, caindo de volta para 34,7%. Isso sugere que a magia não está apenas em ter uma segunda IA olhando o trabalho; é especificamente em ter essa segunda IA usando a resposta correta para dar uma lição corretiva precisa.

O artigo também explorou como esse treinamento se comporta ao longo do tempo. O desempenho do robô subiu constantemente ao longo de 300 etapas de treinamento, atingindo um pico de pontuação de treinamento de quase 50% e uma pontuação de validação de 39,4% ao final. O treinamento foi estável, o que significa que o robô não ficou confuso nem começou a agir de forma errática, algo comum ao ensinar IA com recompensas complexas.

Um detalhe interessante é que este método funciona ensinando o robô especificamente como pesquisar, não como dar a resposta final. A "crítica" influencia apenas as palavras que o robô usa quando está fazendo a pergunta ao mecanismo de busca. Isso mantém o robo focado em seu trabalho: reunir as pistas certas. Os pesquisadores também descobriram que usar um modelo "Professor" muito maior (7 bilhões de parâmetros) para dar as dicas na verdade piorou as coisas, causando o colapso do treinamento. Acontece que um professor que é muito diferente do aluno pode ser confuso; um professor que é semelhante, porém congelado, funciona melhor.

Em suma, o HindSearch sugere que a melhor maneira de ensinar um robô de busca não é apenas dizer quando ele está errado, mas mostrar a resposta e perguntar: "Dado que você sabe a resposta, qual foi a única coisa que você deveria ter feito de diferente?". Ao transformar cada falha em uma lição específica e acionável, o robô aprende a ser um detetive muito melhor, encontrando as pistas certas com muito mais frequência do que antes. O código para este método está disponível para que outros possam testar, e os resultados sugerem que esta abordagem de "retrospectiva" pode ser uma nova ferramenta poderosa para treinar agentes de IA que precisam explorar o mundo para encontrar respostas.

Resumo Técnico: HindSearch

Definição do Problema

Agentes de modelos de linguagem (LM) com busca aumentada são tipicamente treinados usando aprendizagem por reforço (RL) com uma recompensa de correspondência exata (EM) binária. Embora simples, esse objetivo baseado apenas no resultado descarta informações críticas contidas em trajetórias falhas. Uma trajetória falha inclui as consultas específicas emitidas, os trechos recuperados e, no momento do treinamento, a resposta padrão (gold answer). Métodos atuais frequentemente tratam essas falhas como um "sinal de bandit", forçando o agente a recuperar a política de busca subjacente sem orientação explícita sobre o porquê da trajetória ter falhado. Isso leva a atrasos de atribuição de crédito e instabilidade no treinamento.

Tentativas existentes de fornecer sinais mais densos geralmente se dividem em duas categorias:

Modelos de Recompensa de Processo (PRMs): Estes atribuem pontuações de qualidade escalares a passos individuais, mas permanecem avaliativos (graduando um passo) em vez de diretivos (instruindo uma correção).
Destilação Condicionada por Dicas (ex: OpenClaw-RL): Estas utilizam dicas em linguagem natural para condicionar um modelo professor. No entanto, trabalhos anteriores geram essas dicas online a partir do próximo estado sem acesso à resposta padrão, ou as aplicam a domínios como controle de GUI onde o sucesso local é claro.

Nenhuma dessas abordagens explora totalmente o sinal mais limpo disponível durante o treinamento: a própria resposta padrão.

Metodologia: HindSearch

Os autores propõem o HindSearch, um procedimento de crítica de retrospectiva ao nível da trajetória projetado para aumentar a Otimização de Política Relativa de Grupo (GRPO). A inovação central é um mecanismo de autodestilação post-hoc que converte falhas de correspondência exata ao nível da trajetória em supervisão por token.

1. Crítica de Retrospectiva ao Nível da Trajetória (TLHC)

Após cada rollout de GRPO, o sistema particiona as trajetórias em conjuntos de sucesso ( $T^+$ ) e falha ( $T^-$ ). Para cada trajetória falha $\tau$ :

Um juiz congelado ( $\pi_J$ ) é consultado com a trajetória renderizada completa e a resposta padrão ( $a^\star$ ).
O juiz gera uma crítica curta e diretiva ( $h(\tau)$ ) explicando o que o agente deveria ter feito de diferente (ex: "Consulte o diretor diretamente em vez do elenco").

2. Perda de Destilação On-Policy (OPD)

A crítica $h(\tau)$ é usada para condicionar um modelo professor congelado ( $\pi_{ref}$ ), que é inicializado a partir dos pesos do estudante.

Condicionamento: Para cada passo de busca $t$ em uma trajetória falha, a crítica é transmitida como um prefixo ao contexto: $c^T_t = \langle \text{HINT} \rangle h(\tau) \langle / \text{HINT} \rangle \oplus c_t$ .
Cálculo da Perda: O estudante ( $\pi_\theta$ ) é treinado para alinhar as probabilidades de seus tokens de ação de busca com a distribuição condicionada pela dica do professor. A perda é aplicada apenas aos tokens dentro do intervalo <SEARCH>...</SEARCH> de trajetórias falhas.
Clamping (Limitação): A perda utiliza um coeficiente de clamp para garantir que as atualizações ocorram apenas quando o professor estiver mais confiante que o estudante, evitando que outliers dominem o lote.

O objetivo total combina o gradiente de política clipado padrão de GRPO ( $L_{PPO}$ ) com esta perda de destilação auxiliar ( $L_{OPD}$ ):
$L_{total} = L_{PPO} + \lambda_{OPD} \cdot L_{OPD}$
onde $\lambda_{OPD} = 0.01$ .

Principais Contribuições

Crítica de Retrospectiva ao Nível da Trajetória (TLHC): Um procedimento inovador que transforma falhas de correspondência exata binárias em sinais de supervisão ricos por token, aproveitando a resposta padrão para gerar críticas diretivas.
Desempenho Empírico: O método alcança uma correspondência exata (EM) média de 39,4% em um conjunto de sete benchmarks de busca-QA usando uma espinha dorsal Qwen2.5-3B-Instruct, superando baselines anteriores de busca-RL (ex: Search-R1 GRPO com 33,6%).
Estabilidade: A abordagem demonstra dinâmica de treinamento estável ao longo de um orçamento de 300 passos, com o EM de validação subindo monotonicamente sem estagnar.

Resultados Experimentais

Os autores avaliaram o HindSearch em sete benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle) usando uma espinha dorsal Qwen2.5-3B-Instruct e um recuperador E5-base-v2 sobre Wikipedia-18.

Resultados Principais: O HindSearch atingiu 39,4% de EM médio, superando o baseline anterior mais forte (Search-R1 GRPO) em +5,8 pontos.
Generalização: As melhorias foram consistentes tanto em benchmarks in-domain (NQ, HototaQA) quanto zero-shot, sugerindo que o método induz comportamentos de busca gerais em vez de memorizar padrões de treinamento.
Estudos de Ablação:
- Necessidade da Retrospectiva: Remover o acesso do juiz à resposta padrão (tornando-o um juiz "sem resposta") reduziu o desempenho para 34,7%, confirmando que a retrospectiva (acesso à resposta) é o principal motor de melhoria, não apenas o ato de julgar.
- Forma da Perda: Substituir a perda OPD com clamp simples pela perda de surrrogado top-K clipada por PPO do OpenClaw-RL causou uma queda de desempenho para 32,7%, abaixo do baseline, indicando que a formulação específica da perda é crítica.
- Tamanho do Professor: Usar um professor maior da mesma família (7B) causou colapso no treinamento, sugerindo que as lacunas de capacidade entre professor e estudante devem ser mediadas cuidadosamente pelo contexto da dica.

Significância e Alegações

O artigo afirma que o HindSearch aborda a escassez fundamental de sinal na aprendizagem por reforço com busca aumentada. Ao utilizar a resposta padrão para gerar críticas diretivas (em vez de apenas avaliativas) post-hoc, o método fornece um sinal de destilação denso e on-policy que guia as ações de busca do agente sem exigir modelos de recompensa de processo online ou modelagem complexa de múltiplas recompensas.

Os autores enfatem que esta abordagem recupera "sinais corretivos ricos de rollouts que, de outra forma, produziriam nenhum gradiente de recompensa". O método é apresentado como uma alternativa estável e eficaz ao RL de resultado único padrão, demonstrando que a autodestilação de retrospectiva pode melhorar significativamente as políticas de busca em modelos de linguagem de grande escala. O trabalho tem escopo modesto, focando na variante instruída do modelo e observando que aplicar o método a modelos puramente base exigiria um estágio inicial de aquisição de formato.