Resumo Técnico: Agentic-DPO

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) são frequentemente treinados via Ajuste Fino Supervisionado (SFT) em trajetórias de especialistas. Embora o SFT seja simples e de baixo custo, ele trata o comportamento de agentes multi-turno como imitação de texto comum. Essa abordagem herda as limitações da clonagem de comportamento: o modelo aprende a imitar a sequência de tokens do especialista, mas falha em aprender como escolher a ação correta ao enfrentar erros plausíveis em um estado específico.

Métodos existentes para abordar isso, como aprendizado de preferência ou Aprendizado por Reforço (RL), geralmente exigem rollouts de ambiente de alto custo, modelos de recompensa ou exploração de estudante de trajetória completa. Além disso, aplicar ingenuamente o aprendizado de preferência às ações do agente é problemático porque as strings de ação misturam a decisão latente da política com a renderização específica do esquema (ex: JSON vs. formato ReAct). Se não for controlado, o modelo pode otimizar o estilo de renderização em vez da decisão subjacente.

O desafio central é converter trajetórias de especialistas em preferências de ação condicionadas ao estado que ensinem o agente a evitar seus próprios erros prováveis, sem o overhead computacional de RL online ou a necessidade de modelos de recompensa externos.

2. Metodologia: Agentic-DPO

Os autores propõem o Agentic-DPO, um método de otimização de política de agente offline e leve. Ele transforma trajetórias de especialistas em supervisão de preferência ao contrastar a ação do especialista com uma "ação errada plausível" amostrada da política atual do estudante no mesmo estado.

Mecanismo Central

1. Construção de Preferência Condicionada ao Estado:

   • Para cada passo do especialista $(s_t, u^+_t)$ em uma trajetória, o método trata a ação do especialista como a escolha "preferida".
   • Ele amostra uma ação de um passo da política atual do estudante ($\pi_{\theta_{student}}$) no mesmo estado $s_t$.
   • A ação amostrada do estudante é analisada para uma decisão latente. Se ela for equivalente à ação do especialista (mesma ferramenta/argumentos), ela é descartada. Se for uma decisão válida diferente, ela serve como a amostra "rejeitada" (negativa) ($u^-_t$).
   • Isso cria uma tríade de preferência $(s_t, u^+_t, u^-_t)$ onde o modelo é treinado para preferir a ação do especialista sobre o erro específico que o estudante provavelmente cometeria.

2. Função de Perda:

   • O método utiliza uma função de perda do tipo Direct Preference Optimization (DPO), otimizada apenas sobre os tokens de ação gerados.
   • Para lidar com comprimentos de ação variáveis entre diferentes ferramentas ou interações de GUI, um coeficiente de preferência escalonado pelo comprimento $\beta_{eff}$ é usado para evitar que ações longas dominem o gradiente simplesmente devido à contagem de tokens.

Estratégias de Estabilização

Para garantir a estabilidade e evitar que o modelo otimize a formatação superficial em vez da lógica de decisão, o Agentic-DPO introduz dois componentes principais:

• Âncora SFT:

  • O treinamento começa com um aquecimento de SFT para garantir que o estudante entenda os formatos de ação válidos.
  • Durante o treinamento de DPO, uma política de referência congelada ($\pi_{ref}$) da etapa de SFT é utilizada.
  • A perda total combina o termo contrastivo de DPO com um termo de SFT ($L_{train} = L_{ADPO} + \lambda L_{SFT}$). Esta âncora evita que a perda de preferência suprima a probabilidade da ação do especialista de forma muito agressiva e mantém a política próxima de uma sintaxe válida.

• Aumentação de Preservação de Política (PPA):

  • A PPA renderiza a mesma trajetória latente sob múltiplas visões de esquema (ex: mudando nomes de ferramentas, alternando entre ReAct e JSON, ou injetando contextos de recuperação).
  • Ao amostrar diferentes visões $\phi$ para o mesmo par de preferência latente durante o treinamento, o método faz a média dos gradientes relacionados a formas específicas de esquema ($H_\theta$), garantindo que o modelo otimize a margem de decisão latente ($G_\theta$).

Procedimento de Treinamento

O treinamento ocorre em "rodadas de atualização". Em cada rodada, a política atual do estudante é usada para amostrar novas ações negativas para um subconjunto dos dados de especialistas. Isso permite que as amostras negativas evoluam conforme o estudante melhora, fornecendo um sinal de "negativo difícil" dinâmico sem exigir interação com o ambiente.

3. Principais Contribuições

1. Agentic-DPO: Um método de otimização de política offline e leve que constrói preferências de ação condicionadas ao estado ao contrastar ações de especialistas com negativos de um passo do estudante, eliminando a necessidade de rollouts de ambiente online ou modelos de recompensa.
2. Aumentação de Preservação de Política (PPA): Uma técnica que renderiza trajetórias latentes sob múltiplos esquemas para reduzir gradientes de preferência dominados por esquemas, estabilizando o DPO ao nível de ação.
3. Validação Empírica: Demonstração de que o Agentic-DPO melhora o desempenho do agente em diversos benchmarks (uso de ferramentas, interação intercalada com usuário de longo horizonte e grounding de web-GUI) e escalas de modelos, superando o SFT padrão e igualando métodos de RL online por uma fração do custo.

4. Resultados Experimentais

Os autores avaliaram o Agentic-DPO em três benchmarks: StableToolBench (uso de ferramentas), $\tau$-bench retail (interação de longo horizonte intercalada com usuário) e Mind2Web (grounding de web-GUI), utilizando modelos Qwen3.5 (2B, 4B, 9B) e Gemma3-4B.

• Ganhos de Desempenho: O Agentic-DPO superou consistentemente o SFT e outros baselines (PPA+SFT, DFT, ETO, GRPO) em todas as escalas de modelos.
  • No $\tau$-bench retail, o Agentic-DPO elevou a precisão de um modelo 9B de 21.7% (SFT) para 41.4%, igualando o desempenho do GRPO online (40.0%), mas sem rollouts de RL online.
  • No StableToolBench, melhorou um modelo 2B de 57.1% (SFT) para 90.9%, superando baselines fortes.
  • No Mind2Web, alcançou uma taxa de sucesso de passo média de 64.4% em divisões de teste (held-out splits).
• Eficiência: O Agentic-DPO é significativamente mais barato que o RL online. No $\tau$-bench, custa 1.6x o tempo de parede por passo em comparação ao SFT, enquanto o GRPO custa 13.6x devido aos rollouts de múltiplos turnos.
• Estudos de Ablação:
  • Remover o aquecimento SFT causou o colapso do desempenho para 0.0% (rejeição pelo parser).
  • Remover a âncora SFT durante o treinamento levou a uma maior variância e menor precisão.
  • Remover a PPA manteve uma alta precisão canônica, mas ampliou significativamente a lacuna entre o desempenho canônico e o perturbado (fora de distribuição), indicando que a PPA é crucial para a robustez.
• Escalabilidade: O método mostra retornos decrescentes no número de negativos amostrados ($K$) além de 2–4, sugerindo que o principal benefício vem de encontrar um erro local plausível em vez de aproximar uma distribuição completa de rollout. É também altamente eficiente em dados, performando bem com apenas 25% dos dados de especialistas.

5. Significância e Alegações

O artigo afirma que trajetórias de especialistas podem suportar a otimização de política de agente de baixo custo quando sua estrutura estado-ação é utilizada diretamente. Ao converter demonstrações em preferências de ação ao nível de estado, o Agentic-DPO preenche a lacuna entre a imitação simples (SFT) e o aprendizado por reforço online caro.

Os autores enfatizam que o Agentic-DPO fornece um sinal de treinamento "consciente do estudante" — ensinando o modelo a evitar seus próprios erros prováveis — sem os custos dominantes do RL (rollouts repetidos de trajetória completa no ambiente e treinamento de modelo de recompensa). Embora seja um método offline limitado aos estados presentes nos dados de especialistas (ao contrário do RL online, que pode explorar novos estados), os resultados sugerem que é uma abordagem altamente eficaz e prática para melhorar a tomada de decisão de agentes em vários paradigmas de interação.