Resumo Técnico: Search-E1

Declaração do Problema

Embora os modelos de linguagem de grande escala (LLMs) tenham alcançado capacidades robustas de raciocínio, eles permanecem limitados pelo conhecimento pré-treinado e não podem incorporar informações que surgem após o treinamento. Agentes de raciocínio aumentados por busca abordam isso intercalando raciocínio interno com chamadas de recuperação externa. No entanto, os pipelines de pós-treinamento atuais para esses agentes dependem de aprendizado por reforço (RL) em nível de resultado, tipicamente usando Otimização de Política Relativa em Grupo (GRPO) com uma recompensa baseada exclusivamente na correção da resposta final.

Essa supervisão em nível de trajetória cria uma limitação crítica: cada token em uma geração recebe o mesmo sinal de gradiente, independentemente de uma consulta de busca específica ter sido bem-formada ou redundante. Para superar isso, trabalhos recentes introduziram maquinário elaborado, incluindo:

• Supervisão Externa: Destilação de subperguntas a partir de professores mais fortes (por exemplo, modelos de 72B) ou derivação de recompensas passo a passo a partir de anotações por modelos como GPT-4o.
• Módulos Auxiliares: Acoplamento de modelos de recompensa de processo, críticos retrospectivos ou estimadores intrínsecos que exigem fases de treinamento separadas ou pressupostos restritivos.
• Mudanças Estruturais: Reestruturação de gerações via busca em árvore ou currículos multiestágio.
• Recompensas Manualmente Projetadas: Ajuste de bônus e penalidades para etapas específicas de recuperação.

Embora esses métodos gerem ganhos, eles inflacionam o pipeline de treinamento e vinculam a receita a recursos ou designs que podem não estar universalmente disponíveis. O artigo questiona se tal maquinário é necessário e propõe um método para alcançar supervisão por passo usando apenas os dados da própria política.

Metodologia: Search-E1

Search-E1 é um pipeline de autoevolução que alterna entre GRPO padrão e Destilação Automática Offline (OFSD). Não requer professor externo, nenhum módulo auxiliar e nenhuma anotação além de pares padrão de pergunta-resposta.

1. A Rodada GRPO (Exploração)

O pipeline começa com uma rodada GRPO padrão usando uma recompensa de resultado de correspondência exata.

• Para cada pergunta $q$, um grupo de $G$ trajetórias é amostrado da política atual $\pi_{\theta}$.
• Recompensas são atribuídas com base na correção da resposta final.
• A política é atualizada usando a perda GRPO padrão, onde a vantagem é compartilhada entre todos os tokens em uma trajetória. Esta etapa explora o espaço de trajetórias, mas carece de sinais densos por passo.

2. A Rodada OFSD (Consolidação)

Após uma rodada GRPO convergir, a política executa um passo de destilação automática offline para extrair sinais densos em nível de token de suas próprias gerações.

• Mineração de Pares: Do pool de gerações da política convergida, pares de trajetórias $(\tau_{ref}, \tau_{stu})$ são construídos para cada pergunta.
  • Referência ($\tau_{ref}$): A trajetória correta ($R=1$) com o menor número de chamadas de recuperação.
  • Estudante ($\tau_{stu}$): Uma trajetória incorreta ($R=0$) que difere maximamente da referência, ou a trajetória correta mais distinta se nenhum irmão incorreto existir.
• Condicionamento Assimétrico: Os mesmos parâmetros da política $\theta$ atuam como professor e estudante, mas operam sob prompts diferentes:
  • Estudante: Condicionado ao prompt de inferência padrão $P_S(q) = [\text{instrução}] \parallel q$.
  • Professor: Condicionado a um prompt privilegiado $P_T(q, \tau_{ref}) = [\text{instrução}] \parallel q \parallel \tau_{ref}$, que expõe a trajetória de referência eficiente como um guia especialista.
• Objetivo KL Direto em Nível de Token: O estudante é treinado para alinhar sua distribuição no tempo de inferência com a distribuição do professor sob o contexto privilegiado.
  • A perda é computada sobre posições geradas pela política (excluindo texto recuperado).
  • Um mecanismo de recorte pontual ($\tau_{clip}$) limita a contribuição de tokens de alta divergência para evitar a dominação do gradiente por outliers raros.
  • O objetivo é: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$.
• Implementação: OFSD é realizado via um adaptador LoRA acoplado ao checkpoint GRPO. A passagem do professor usa os pesos base congelados, enquanto a passagem do estudante usa os pesos LoRA ativos.

3. O Loop Alternado

O pipeline itera:

1. Rodada GRPO: Atualiza a política via RL em nível de resultado.
2. Rodada OFSD: Mina pares das gerações da política atualizada e treina um adaptador LoRA para minimizar a divergência KL, mesclando o adaptador de volta aos pesos base.
   Este ciclo se repete, com cada iteração fornecendo ganhos positivos até que o modelo se aproxime do limite de capacidade do backbone.

Contribuições Principais

1. Pipeline Search-E1: Um framework de autoevolução que alterna GRPO vanilla com destilação automática offline, eliminando a necessidade de professores externos, módulos auxiliares ou anotações não padrão.
2. Objetivo OFSD: Um mecanismo de destilação automática offline pareada onde a política serve como professor e estudante sob contextos de condicionamento diferentes. Utiliza um KL direto em nível de token com recorte pontual para fornecer supervisão densa por passo derivada inteiramente das gerações GRPO da própria política.
3. Desempenho Empírico: Demonstrado em sete benchmarks de QA (tanto de salto único quanto multi-salto), Search-E1 alcança resultados state-of-the-art entre métodos de código aberto sem supervisão externa.

Resultados Experimentais

O método foi avaliado em sete benchmarks de QA usando Qwen2.5-3B-Instruct e Qwen2.5-7B-Instruct.

• Desempenho Geral: Search-E1 alcançou uma Correspondência Exata (EM) média de 0,440 com o modelo 3B, superando todas as linhas de base de código aberto nessa escala.
• Comparação com Linhas de Base de Recompensa de Resultado: Superou a linha de base mais forte de recompensa de resultado (AutoRefine-Base) em 3,5 pontos em média. Os ganhos foram particularmente pronunciados em conjuntos de dados multi-salto (por exemplo, +12,0 em Bamboogle, +6,6 em 2Wiki), sugerindo que o alinhamento por passo é mais benéfico quando as trajetórias envolvem cadeias de busca complexas e multi-etapa.
• Comparação com Linhas de Base de Supervisão de Processo: Search-E1 superou métodos que dependem de anotações externas (StepSearch) e agrupamento baseado em estado (GiGPO) em seis dos sete benchmarks.
  • Superou o StepSearch em todos os quatro benchmarks multi-salto sem usar anotações do GPT-4o.
  • Superou o GiGPO em 2Wiki, MuSiQue e HotpotQA. A única exceção foi Bamboogle, que os autores atribuem ao pequeno tamanho da divisão de teste e à natureza específica de consultas de entidade-ponte que favorecem o agrupamento de estado-âncora do GiGPO.
• Ablação: Os resultados confirmam que o loop alternado de GRPO e OFSD produz ganhos positivos consistentes, com o sinal sendo suficiente para fechar e reverter a lacuna de desempenho tipicamente observada entre as variantes de modelo "Base" e "Instruct" em configurações de RL.

Significado e Alegações

O artigo alega que Search-E1 demonstra que maquinário externo elaborado não é estritamente necessário para melhorar o raciocínio aumentado por busca. Ao aproveitar o contraste entre trajetórias irmãos geradas durante o treinamento GRPO padrão, o método fornece naturalmente supervisão densa por passo.

• Simplicidade: A abordagem depende de GRPO "vanilla" e um objetivo de destilação automática, evitando a complexidade de treinar modelos de recompensa separados, críticos ou destilar a partir de professores maiores.
• Eficiência de Recursos: Remove a dependência de sistemas externos (como GPT-4o) ou estruturas específicas de geração (como busca em árvore), tornando a receita mais acessível e robusta.
• Generalizabilidade: Os ganhos são consistentes em tarefas de salto único e multi-salto, com as melhorias mais significativas ocorrendo em cenários onde a qualidade da decisão por passo é crítica (raciocínio multi-salto).

Os autores concluem que a receita alternada de exploração (GRPO) e consolidação (OFSD) é um caminho viável para autoevolução em agentes aumentados por busca, oferecendo uma alternativa mais simples aos pipelines cada vez mais complexos no campo. Trabalhos futuros são sugeridos para explorar contextos privilegiados mais ricos (por exemplo, múltiplos irmãos corretos) e cronogramas de autoevolução mais longos.