Resumo Técnico: Treinamento de Agente de Busca de Múltiplos Turnos via Amostragem de Ramificação Contrastiva Dinâmica

1. Definição do Problema

O aprendizado por reforço (RL) agêntico permitiu que Grandes Modelos de Linguagem (LLMs) realizem planejamento complexo de múltiplos turnos e uso de ferramentas. No entanto, treinar esses agentes em cenários de longo horizonte permanece desafiador devido às recompensas de resultado esparsas ao nível da trajetória. Em configurações padrão de RL, um único sinal de recompensa indicando a correção final é atribuído a toda a trajetória. Isso leva à ambiguidade de atribuição de crédito, onde decisões corretas iniciais são penalizadas devido a erros em estágios tardios, além de gerar alta variância nos sinais de aprendizado.

Tentativas anteriores de mitigar isso, como rollouts baseados em árvores (ex: Tree-GRPO), frequentemente sofrem de alta variância e ineficiência computacional. Elas dependem de estimativas profundas de Monte Carlo a partir de estados intermediários, que podem ser ruidosas e computacionalmente caras. Além disso, análises empíricas revelam um padrão de falha específico em agentes de busca: enquanto as interações iniciais entre os rollouts são frequentemente similares, o desempenho diverge principalmente devido a decisões próximas à cauda da trajetória (ex: exploração insuficiente ou raciocínio alucinado nos passos finais de síntese). A supervisão uniforme de todo o rollout falha em aproveitar essa observação.

2. Metodologia: BranPO

Os autores propõem o Branching Relative Policy Optimization (BranPO), um método livre de valor (value-free) projetado para fornecer supervisão contrastiva ao nível do passo sem recompensas densas. O insight central é que os sinais de aprendizado mais informativos surgem do contraste entre decisões alternativas próximas à cauda da trajetória, em vez de reamostrar a partir do início.

Mecanismo Central

O BranPO opera truncando recursivamente trajetórias próximas à cauda e reamostrando continuações alternativas para construir sufixos contrastivos sobre prefixos compartilhados.

1. Rollout Inicial e Truncamento: Dado um grupo de trajetórias, o método trunca a trajetória em um turno selecionado $k$ para obter um prefixo compartilhado $B$ (histórico de busca).
2. Ramificação (Branching): A partir do estado definido pelo prefixo, múltiplas continuações de ramificação (sufixos) $C$ são amostradas.
3. Filtragem Contrastiva: Apenas ramos com resultados diferentes da trajetória original são retidos (ex: se a original estava incorreta, busca-se uma continuação correta; se correta, busca-se uma incorreta). Isso garante sinais contrastivos significativos.
4. Decomposição de Vantagem (Advantage Decomposition):
   • Vantagem do Prefixo: A recompensa para o prefixo compartilhado é calculada como o retorno médio de suas continuações ramificadas. Isso estabiliza o gradiente para os passos iniciais ao neutralizar a estocasticidade da cauda, atuando efetivamente como uma variante de baixa variância do Group Relative Policy Optimization (GRPO).
   • Vantagem do Sufixo: Para os sufixos ramificados, as vantagens são computadas em relação ao grupo de todas as ramificações. Isso induz uma atualização contrastiva semelhante ao Direct Preference Optimization (DPO), maximizando a lacuna de verossimilhança entre continuações bem-sucedidas e falhas condicionadas ao mesmo prefixo.

Componentes Principais

• Amostragem de Ramificação Sensível à Dificuldade (DBS): Para melhorar a eficiência, o orçamento de ramificação é alocado de forma adaptativa com base na dificuldade da tarefa (inferida a partir da precisão do nível do grupo).
  • Tarefas fáceis/Trajetórias corretas: Ramificação simples (truncando o passo final).
  • Tarefas difíceis/Trajetórias incorretas: Ramificação recursiva (truncando múltiplos passos para trás) para explorar diversos sufixos contrastivos.
• Mascaramento de Passos Redundantes (RSM): Agentes de busca frequentemente exibem comportamentos redundantes (ex: pesquisar após encontrar evidências suficientes). O RSM identifica trajetórias onde o comprimento da interação excede a média do grupo para respostas corretas. Ele ramifica a partir do penúltimo passo; se uma continuação correta mais curta for encontrada, as vantagens dos passos redundantes na trajetória original são mascaradas (definidas como zero) durante o cálculo do gradiente. Isso evita o reforço de uso desnecessário de ferramentas.

3. Principais Contribuições

1. Identificação de Padrões de Falha: O artigo identifica empiricamente que, na busca agêntica de longo horizonte, os erros surgem predominantemente de decisões divergentes nos estágios tardios das trajetórias, enquanto os passos iniciais permanecem amplamente válidos.
2. Framework BranPO: Um novo método de RL livre de valor que combina os gradientes estáveis do GRPO para o prefixo com o aprendizado contrastivo eficiente, semelhante ao DPO, para o sufixo. Ele unifica teoricamente o RL de nível de trajetória com a otimização baseada em preferência.
3. Mecanismos de Eficiência: A introdução da Amostragem de Ramificação Sensível à Dificuldade e do Mascaramento de Passos Redundantes para alocar recursos computacionais de forma adaptativa e suprimir comportamentos desinformativos/redundantes.
4. Validação Empírica: Experimentos extensos demonstrando que o BranPO supera bases fortes (GRPO, Tree-GRPO, GiGPO) em tarefas de QA de múltiplos saltos (multi-hop).

4. Resultados Experimentais

Os autores avaliaram o BranPO em sete benchmarks de perguntas e respostas, incluindo single-hop (Natural Questions, TriviaQA, PopQA) e datasets multi-hop (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), bem como tarefas de busca web do mundo real (GAIA).

• Desempenho: O BranPO superou consistentemente os baselines em datasets multi-hop, alcançando ganhos significativos tanto em pontuações F1 quanto em métricas de LLM-as-a-Judge. Por exemplo, no modelo Qwen2.5-7B-Instruct, o BranPO alcançou um F1 médio de 55.7 em tarefas multi-hop comparado a 54.0 para o GRPO.
• Escalabilidade: O método demonstrou robustez ao escalar o horizonte de interação de 4 para 8 turnos durante o treinamento e 16 durante a avaliação. O BranPO aprendeu a aumentar o uso de busca mais rapidamente que o GRPO para garantir precisão enquanto suprime passos redundantes.
• Generalização: No benchmark GAIA (busca web real), o BranPO superou o GRPO, mostrando fortes capacidades de generalização.
• Eficiência: Apesar do overhead adicional de rollout para a ramificação, o tempo de treinamento (wall-clock time) permaneceu comparável ao do GRPO porque o BranPO exigiu menos amostras de treinamento efetivas para otimização devido à redução de variância e supervisão direcionada.
• Ablação: Remover o DBS ou o RSM levou a uma degradação consistente do desempenho, confirmando a necessidade de ambos os componentes.

5. Significância e Alegações

O artigo afirma que o BranPO oferece um paradigma de treinamento significativamente mais eficiente para RL agêntico do que depender apenas de recompensas de nível de trajetória. Ao construir supervisão contrastiva de nível de passo visando especificamente a cauda da trajetória, o BranPO mitiga efetivamente a ambiguidade de atribuição de crédito.

Os autores enfatizam que sua abordagem:

• Estabiliza o treinamento ao reduzir a variância das atualizações de gradiente para os passos iniciais através da média do prefixo.
• Melhora a eficiência de amostra ao focar recursos computacionais em decisões de alta incerteza próximas à cauda, onde erros são mais prováveis de ocorrer.
• Previne o viés para continuações desnecessárias através do Mascaramento de Passos Redundantes.

O artigo conclui que, embora o BranPO melhore a eficiência do treinamento e a qualidade da otimização, ele não elimina limitações fundamentais do raciocínio baseado em busca, como alucinações ou informações factuais incorretas, sendo necessárias salvaguardas de avaliação apropriadas. O trabalho destaca que, para tarefas de longo horizonte, os sinais de aprendizado mais eficazes são frequentemente encontrados ao contrastar resultados alternativos próximos ao ponto de decisão de falha, em vez de uma supervisão uniforme de toda a trajetória.