🤖 machine learning

Revisiting DAgger in the Era of LLM-Agents

Este artigo revisita a Agregação de Conjuntos de Dados (DAgger) para agentes LLM de longo horizonte, a fim de mitigar eficazmente a mudança de covariância combinando interação on-policy com supervisão densa de um professor, demonstrando ganhos significativos de desempenho em tarefas de engenharia de software, onde modelos menores treinados com esse método superam sistemas de base maiores.

Autores originais: Changhao Li, Rushi Qiang, Jiawei Huang, Chenxiao Gao, Chao Zhang, Niao He, Bo Dai

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Changhao Li, Rushi Qiang, Jiawei Huang, Chenxiao Gao, Chao Zhang, Niao He, Bo Dai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aprendiz brilhante, mas inexperiente (o Aluno) a corrigir bugs complexos de software em uma base de código massiva e bagunçada. Você, o Mestre (o Professor), é um especialista que sabe exatamente como resolver esses problemas.

O objetivo é fazer com que o aprendiz resolva esses problemas sozinho, eventualmente sem sua ajuda. O artigo argumenta que as duas formas mais comuns pelas quais tentamos ensinar aprendizes atualmente são falhas e propõe um novo método mais inteligente chamado DAgger (revisitado para a era dos Grandes Modelos de Linguagem).

Aqui está a decomposição do problema e da solução usando analogias simples.

O Problema: Dois Estilos de Ensino Defeituosos

O artigo identifica duas maneiras existentes de treinar esses agentes de IA, ambas com uma grande fraqueza:

1. O Método "Acompanhamento" (Ajuste Fino Supervisionado / SFT)

Como funciona: O aprendiz observa o Mestre resolver um problema do início ao fim e tenta copiar cada movimento perfeitamente.
A Falha (Deslocamento de Covariância): É como ensinar um motorista mostrando apenas vídeos de direção perfeita em rodovias vazias. Mas, no mundo real, o aprendiz pode cometer um pequeno erro cedo (como virar o volante um pouco cedo demais). Como foram treinados apenas em cenários "perfeitos", eles não sabem como se recuperar desse erro. Entram em pânico, o carro sai da estrada e toda a viagem falha.
Em termos de IA: O modelo aprende a imitar o professor, mas, se cometer um pequeno erro, entra em um "estado" (uma situação) que nunca viu antes, fazendo-o espiralar em direção ao fracasso.

2. O Método "Tentativa e Erro" (Aprendizado por Reforço / RL)

Como funciona: O aprendiz é jogado sozinho na base de código. Tenta resolver o problema e, se tiver sucesso no final, ganha uma estrela dourada. Se falhar, não recebe nada.
A Falha (Feedback Esparsos): É como ensinar alguém a cozinhar dizendo apenas "Bom trabalho" ou "Trabalho ruim" após terem terminado toda a refeição. Se queimaram o primeiro ingrediente, não sabem qual etapa causou o desastre. Têm que adivinhar, e isso leva uma quantidade massiva de tempo e comida desperdiçada (poder de computação) para aprender.
Em termos de IA: O modelo recebe feedback apenas no final de uma tarefa longa, tornando difícil aprender com erros específicos ao longo do caminho.

A Solução: O Método "Rede de Segurança" (DAgger)

O artigo propõe um novo método de treinamento que combina o melhor dos dois mundos. Imagine um instrutor de direção sentado no banco do passageiro, mas com uma rede de segurança.

Como o Novo Método Funciona:

A Mistura: O aprendiz dirige o carro (resolve o problema) por alguns passos.
A Intervenção: Se o aprendiz começar a desviar ou cometer um erro, o Mestre (Professor) pega levemente o volante por um momento para corrigir o caminho e colocar o carro de volta na estrada certa.
A Lição: Crucialmente, o aprendiz não apenas observa o Mestre corrigir; ele é ensinado o que o Mestre teria feito naquele exato momento de confusão.
Suporte Desvanecendo: Com o tempo, o Mestre intervém cada vez menos. O aprendiz dirige por mais do caminho, mas sempre que encontram um obstáculo, o Mestre está lá para mostrar a jogada correta para aquele obstáculo específico.

Por que isso é melhor:

Realismo: O aprendiz aprende a lidar com situações bagunçadas e do mundo real onde realmente cometem erros (diferentemente do método "Acompanhamento").
Feedback Rico: O aprendiz recebe uma lição específica para cada passo individual, não apenas uma nota no final (diferentemente do método "Tentativa e Erro").
Eficiência: Como o Mestre ajuda a se recuperar de erros iniciais, o aprendiz não perde tempo espiralando em becos sem saída.

Os Resultados: Modelos Pequenos, Grandes Vitórias

Os pesquisadores testaram este método em Agentes de Engenharia de Software (IA que corrige código). Eles usaram dois tamanhos de modelos de alunos: um menor (4 bilhões de parâmetros) e um médio (8 bilhões de parâmetros).

O Modelo 4B: Usando este novo método, o pequeno modelo de 4B performou melhor do que muitos modelos de 8B publicados. Foi como um carro pequeno com uma rede de segurança perfeita superando um carro maior com uma rede quebrada.
O Modelo 8B: O modelo médio ficou ainda melhor, quase alcançando modelos massivos de 32B (que são muito maiores e mais caros).

O que mudou no comportamento da IA?

Menos Pânico: Os modelos pararam de ficar presos em loops ou desistir quando cometiam um erro.
Melhor Recuperação: Quando cometiam um erro, sabiam como corrigi-lo e voltar ao trilho.
Estabilidade: O processo de treinamento foi muito mais suave e não travou com tanta frequência quanto os outros métodos.

Resumo

O artigo argumenta que, para ensinar agentes de IA a lidar com tarefas longas e complexas (como corrigir bugs de software), não devemos apenas mostrar exemplos perfeitos ou deixá-los falhar cegamente. Em vez disso, devemos deixá-los tentar, deixá-los cometer erros, mas imediatamente mostrar a maneira correta de lidar com esses erros específicos. Essa abordagem de "rede de segurança" (DAgger) permite que modelos de IA menores e mais baratos performem tão bem quanto modelos muito maiores e mais caros.

Resumo Técnico: Revisitando DAgger na Era de Agentes LLM

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) de longo horizonte operam em ambientes interativos de múltiplas voltas (por exemplo, engenharia de software, navegação na web) onde um único erro inicial pode alterar a distribuição de estados, fazendo com que o agente se desvie da trajetória de demonstrações bem-sucedidas de especialistas. Esse fenômeno, conhecido como deslocamento de covariância, representa um desafio significativo para algoritmos de pós-treinamento. Os métodos existentes sofrem de limitações estruturais nesse cenário:

Ajuste Fino Supervisionado (SFT): Treina em estados induzidos por especialistas, mas falha durante a implantação porque o aluno gera seus próprios estados, levando a uma incompatibilidade entre as distribuições de treinamento e teste.
Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Aprende a partir de execuções on-policy para evitar incompatibilidade de distribuição, mas depende de recompensas esparsas ao nível de resultado, levando a uma atribuição de crédito difícil e altos custos computacionais.
Distilação On-Policy (OPD): Tenta combinar a cobertura de estados on-policy com supervisão do professor, mas enfrenta um gargalo de "início frio" onde alunos fracos geram trajetórias improdutivas no início do treinamento, forçando o professor a supervisionar prefixos falhos. Além disso, a OPD frequentemente requer acesso aos logits do professor, limitando seu uso com modelos de caixa preta.

A questão central abordada é: Existe um método que possa simultaneamente explorar feedback denso, manter a cobertura de estados on-policy e fornecer acesso antecipado a trajetórias bem-sucedidas?

Metodologia

Os autores revisitam a Agregação de Conjuntos de Dados (DAgger), um algoritmo clássico de aprendizado por imitação, e o adaptam para agentes LM de múltiplas voltas. O princípio central é treinar o aluno em estados que ele é realmente provável de visitar, em vez de apenas em estados induzidos por especialistas.

Execução Intercalada com Professor

O método proposto emprega uma mistura estocástica de políticas de aluno e professor durante a coleta de trajetórias. Duas estratégias específicas de execução são introduzidas:

Estilo DAgger (Mistura por Volta): Em cada volta $t$ , uma ação é executada pela política do professor $\pi_e$ com probabilidade $\beta_i$ ou pela política do aluno $\pi_\theta$ com probabilidade $1-\beta_i$ . O parâmetro de mistura $\beta_i$ é annealed de 1,0 para um limite inferior (por exemplo, 0,6) ao longo das iterações de treinamento.
Estilo AggreVaTe (Mistura por Trajetória): O aluno gera um prefixo inicial de comprimento $\kappa$ , após o qual o professor assume para completar a trajetória. A distribuição do comprimento do prefixo é agendada para crescer ao longo do tempo.

Mecanismo Chave: Independentemente de quem executa a ação em um determinado estado, seja o aluno ou o professor, o professor é consultado para a ação correta em cada estado visitado. O aluno é então treinado via aprendizado supervisionado (perda de entropia cruzada) para imitar essas ações do professor nos estados que ele realmente encontrou.

Framework Unificado

O artigo situa essa abordagem dentro de um framework unificado de pós-treinamento definido por três componentes:

Distribuição de Contexto ( $p_s$ ): A distribuição de estados visitados (mistura de aluno e professor no DAgger versus professor puro no SFT ou aluno puro no RL).
Distribuição de Rótulos ( $p_a$ ): A fonte dos rótulos de ação (Professor no DAgger versus Aluno no RL/OPD).
Função de Pontuação ( $w(s,a)$ ): O peso atribuído às amostras (Uniforme no DAgger versus baseado em vantagem no RL).

Ao usar uma distribuição de contexto de mistura com rótulos de professor e pesos uniformes, o método preenche a lacuna entre SFT (supervisão densa, deslocamento de covariância) e RL/OPD (cobertura on-policy, problemas de recompensa esparsa/início frio).

Contribuições Principais

Adaptação Algorítmica: Adapta com sucesso o DAgger para agentes LLM de longo horizonte, permitindo que o modelo aprenda a partir de estados realistas de implantação enquanto recebe supervisão densa ao nível de token de um professor.
Mitigação de Início Frio: Diferentemente da OPD, a abordagem intercalada com professor garante que as trajetórias iniciais sejam guiadas pelo professor, impedindo que o aluno fique preso em estados improdutivos durante a fase inicial de treinamento.
Compatibilidade com Caixa Preta: O método exige apenas que o professor forneça rótulos de ação (tokens), não logits, tornando-o compatível com LLMs de caixa preta (por exemplo, GPT, Gemini).
Validação Empírica: Demonstra melhorias consistentes sobre SFT, RL (GRPO) e Distilação On-Policy em tarefas de engenharia de software.

Resultados Experimentais

O método foi avaliado no SWE-Gym (treinamento) e no SWE-Bench Verified (avaliação fora de domínio) usando modelos alunos Qwen3-4B e Qwen3-8B com um professor Qwen3-30B.

Ganhos de Desempenho:
- Modelo 4B: Alcançou 27,3% no SWE-Bench Verified, superando a melhor linha de base de pós-treinamento (OPD) em +3,9 pontos e superando sistemas de agente SWE publicados representativos de 8B.
- Modelo 8B: Alcançou 29,8% no SWE-Bench Verified, excedendo a OPD em +3,6 pontos e superando o sistema SWE-Gym-32B de escala 32B em +9,2 pontos.
Estabilidade de Treinamento: O método exibiu trajetórias de escalonamento mais estáveis em comparação com SFT e OPD, particularmente nas etapas iniciais (início frio).
Redução de Deslocamento de Covariância: A análise da divergência KL reversa mostrou que o treinamento estilo DAgger reduziu significativamente a divergência entre a distribuição de implantação do aluno e a distribuição do professor em comparação com o SFT, que sofreu um rebote na divergência à medida que o treinamento progredia.
Melhorias Comportamentais: A análise qualitativa indicou que agentes treinados com DAgger cometeram menos erros de sintaxe/runtime e exibiram melhores comportamentos de recuperação, deslocando modos de falha de erros "passivos" (por exemplo, nenhuma submissão) para limitações mais difíceis, como estouro de contexto.

Significado e Afirmações

O artigo afirma que a correção explícita da distribuição de estados via DAgger intercalado com professor é um ingrediente poderoso para o pós-treinamento de agentes LM de longo horizonte. Os resultados sugerem que:

Modelos menores (4B/8B) treinados com este método podem aproximar-se ou exceder o desempenho de sistemas significativamente maiores (32B).
A abordagem mitiga efetivamente a incompatibilidade de distribuição entre treinamento e teste inerente ao SFT, evitando ao mesmo tempo os problemas de recompensa esparsa e início frio do RL e da OPD.
Esta metodologia oferece uma receita prática e eficiente em termos de amostras para implantar agentes robustos de uso de ferramentas em ambientes complexos de múltiplas voltas.

Os autores enfatizam que, embora o método melhore a confiabilidade e a eficiência de amostras, os gargalos remanescentes para esses agentes estão cada vez mais relacionados à capacidade de contexto longo (por exemplo, estouro de contexto) e não ao próprio algoritmo de treinamento.