🤖 machine learning

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

Este artigo propõe uma estratégia de aumento de dados on-policy de baixo custo para o pós-treinamento de agentes de LLM que aloca orçamentos de supervisão para continuações de professores curtas e não filtradas em contextos induzidos pelo aprendiz, demonstrando que esta abordagem supera o clonagem comportamental pura e iguala ou excede métodos de filtragem mais complexos em múltiplos benchmarks.

Autores originais: Junze Ye, Jiayi Cheng, Miao Lu, Michal Mankowski, Jose Blanchet, Mohsen Bayati

Publicado 2026-09-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junze Ye, Jiayi Cheng, Miao Lu, Michal Mankowski, Jose Blanchet, Mohsen Bayati

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um estudante aprendendo uma habilidade complexa, como resolver um mistério ou consertar uma máquina quebrada, ao observar um mestre especialista realizar a tarefa do início ao fim. O estudante copia cada movimento que o especialista faz, esperando que, ao imitar o caminho perfeito, ele eventualmente aprenda a resolver o problema por conta própria. Essa abordagem funciona bem no início, mas possui uma falha oculta. No mundo real, os estudantes cometem erros. Quando um estudante tropeça, a situação muda. O caminho em que ele se encontra agora é diferente do caminho perfeito que o especialista percorreu. Se o estudante apenas praticar o caminho perfeito do especialista, ele permanecerá despreparado para as situações bagunçadas e imperfeitas que realmente enfrentará. Ele sabe como seguir o mestre, mas não sabe como se recuperar quando sai do trilho.

Este é o desafio central que pesquisadores da Universidade de Stanford e da Universidade de Nova York buscaram resolver para agentes de inteligência artificial. Esses agentes são modelos de linguagem de grande escala projetados para agir no mundo, seja pesquisando na web em busca de respostas, planejando tarefas domésticas em uma simulação baseada em texto ou escrevendo código para corrigir bugs de software. Para ensinar esses agentes, desenvolvedores costem usar um método chamado ajuste fino supervisionado (supervised fine-tuning), onde um modelo "professor" poderoso gera exemplos perfeitos, e um modelo "estudante" menor aprende a copiá-los. A abordagem padrão é alimentar o estudante com milhares desses exemplos perfeitos de ponta a ponta. No entanto, os pesquisadores perceberam que esse método deixa o estudante desequipado para lidar com seus próprios erros. Quando o estudante eventualmente comete um erro durante uma tarefa real, ele se encontra em um contexto que nunca viu antes, porque o professor nunca demonstrou o que fazer após um tipo específico de falha.

Para corrigir isso, a equipe propôs uma nova maneira de gerar dados de treinamento. Em vez de apenas assistir ao professor começar do início e concluir o trabalho, eles deixam o estudante tentar resolver o problema primeiro. Quando o estudante fica travado ou toma um caminho errado, os pesquisadores interrompem o estudante e pedem ao professor que intervenha e mostre como continuar a partir exatamente daquele ponto de falha. Isso é conhecido como dados "on-policy", porque são gerados com base no comportamento real do estudante, em vez de um caminho perfeito hipotético. Mas isso levantou uma nova questão prática: como os pesquisadores devem gastar seus recursos limitados? Gerar respostas do professor é caro e demorado. Eles devem gastar seu orçamento com mais demonstrações completas do zero? Devem pedir ao professor para escrever soluções longas e detalhadas para cada erro cometido pelo estudante? Ou devem pedir apenas alguns passos rápidos para colocar o estudante de volta nos trilhos?

Os pesquisadores trataram isso como um problema de alocação de orçamento. Eles testaram diferentes estratégias em três tipos distintos de tarefas: responder perguntas complexas usando um mecanismo de busca, planejar ações físicas em um ambiente doméstico simulado e depurar código em uma interface de linha de comando. Eles compararam o método padrão de copiar demonstrações completas de especialistas contra sua nova abordagem de fazer o professor fornecer correções curtas e direcionadas nos momentos em que o estudante falhava. Eles rastrearam cuidadosamente dois tipos de custos: a quantidade total de poder computacional usado para gerar as respostas do professor e a quantidade de dados realmente usados para treinar o estudante.

Os resultados foram claros e surpreendentes. Em todos os ambientes testados, a estratégia de pedir apenas alguns passos de orientação do professor nos pontos específicos de falha do estudante provou ser a mais eficiente. Quando os pesquisadores limitaram o professor a fornecer apenas um pequeno número de turnos — às vezes, apenas um ou três passos — para corrigir o caminho do estudante, o estudante aprendeu significativamente melhor do que quando foi treinado em correções mais longas e elaboradas. Na verdade, pedir ao professor para escrever uma solução completa e perfeita a partir do ponto de falha muitas vezes desperdiçou recursos. A extensão extra não ajudou o estudante a aprender; ela simplesmente consumiu mais do orçamento sem melhorar o desempenho.

O estudo descobriu que alguns passos do professor, colocados exatamente onde o estudante precisava deles, eram muito mais valiosos do que uma conclusão mais longa e curada. Por exemplo, nas tarefas de codificação, um método que utilizou uma pequena fração dos dados de treinamento usuais, combinado com essas correções curtas e instantâneas, permitiu que o estudante igualasse o desempenho de um sistema que havia sido treinado em um conjunto de dados massivo e depois submetido a um processo complexo de aprendizado por reforço de múltiplos estágios. Os pesquisadores também descobriram que filtrar as respostas do professor com base em serem "bem-sucedidas" ou "perfeitas" nem sempre era o melhor uso dos recursos. Às vezes, ver como um professor navega em uma situação difícil, mesmo que o resultado final não seja perfeito, era mais instrutivo do que ver apenas os caminhos perfeitos.

A principal lição é que a maneira mais eficaz de ensinar um agente de IA não é mostrar a ele um filme perfeito de como a tarefa deve ser feita, mas sim intervir brevemente nos momentos em que ele se perde. Ao gastar o orçamento com correções curtas e direcionadas em vez de demonstrações longas, os desenvolvedores podem criar agentes mais inteligentes, que são melhores em se recuperar de seus próprios erros. A pesquisa sugり que, para muitas tarefas complexas, um pouco de orientação especializada, entregue no momento certo, vai muito longe. Essa abordagem permite um aprendizado mais eficiente, o que significa que, com a mesma quantidade de poder computacional, podemos construir agentes que são mais robustos e capazes de lidar com a natureza imprevisível dos problemas do mundo real.

Definição do Problema
O artigo aborda uma ineficiência fundamental no ajuste fino supervisionado (SFT) de agentes de Grandes Modelos de Linguagem (LLMs). O SFT padrão baseia-se em "clonagem comportamental pura" (Pure BC), onde um modelo estudante é treinado em demonstrações completas de ponta a ponta geradas por um professor capaz, porém caro. Essa abordagem sofre de um descompasso distributivo: o estudante é treinado em contextos induzidos pelas ações perfeitas do professor, mas, no momento do teste, deve agir sobre contextos induzidos por suas próprias decisões potencialmente imperfeitas. Embora trabalhos recentes tenham adotado a coleta de dados "on-policy" (consultando o professor nos estados alcançados pelo estudante) para mitigar isso, a questão central de design permanece não resolvida: dado um orçamento limitado de supervisão do professor, como esse orçamento deve ser alocado? Os recursos devem ser gastos gerando mais demonstrações completas do professor, continuações do professor mais longas após prefixos do estudante, trajetórias filtradas por resultado ou uma cobertura mais ampla de contextos induzidos pelo aprendiz?

Metodologia
Os autores formulam a construção de dados on-policy como um problema de alocação de orçamento, distinguindo dois métricas de custo:

$C_i$ (Custo de Inferência do Professor): O total de tokens gerados pelo professor antes de qualquer filtragem.
$C_{tr}$ (Custo de Treinamento Retido): Os tokens retidos para o treinamento de SFT após a filtragem.

Para formalizar isso, o artigo propõe um framework unificado de construção de dados definido por uma receita $G = (\rho, \pi_e, n, \Psi, T_{switch}, K, \Phi)$ , onde:

$\rho$ : A política que gera o contexto do prefixo (ex: o estudante).
$\pi_e$ : A política do professor.
$n$ : Número de tentativas de proposta por tarefa.
$\Psi, \Phi$ : Filtros para contextos de prefixo e continuações.
$T_{switch}$ : A distribuição para amostragem do tempo de troca (quando o professor assume o controle).
$K$ : O limite para o número de turnos do professor na continuação.
$\Phi$ : Regras de filtragem pós-continuação.

Os autores introduzem uma variante específica chamada OP-SHORT, que amostra contextos da trajetória do estudante, consulta o professor para uma continuação, mas limita estritamente o comprimento da continuação a um pequeno número $K$ (ex: 1–5 turnos) sem filtrar por sucesso. Isso é comparado contra:

PURE-BC: Escalar o número de demonstrações completas do professor.
OP-SUCCESS: Continuações completas do professor filtradas apenas por resultados bem-sucedidos.
OP-CRITICAL: Continuações completas do professor filtradas para tarefas onde o estudante falhou, mantendo-as apenas se o professor tiver sucesso.

Experimentos foram conduzidos em três benchmarks: HotpotQA (QA baseado em busca), ALFWorld (planejamento incorporado baseado em texto) e Terminal-Bench-Dev (codificação de linha de comando).

Principais Contribuições

Formulação de Alocação de Orçamento: O artigo formaliza a construção de dados de SFT como um compromisso entre o custo de inferência ( $C_i$ ) e o custo de treinamento ( $C_{tr}$ ), indo além da métrica genérica de "número de amostras de treinamento".
Framework Unificado: Fornece um framework modular para descrever e comparar explicitamente protocolos de aumento de dados on-policy, esclarecendo como as escolhas em políticas de rollout, distribuições de tempo de troca e comprimentos de horizonte afetam a distribuição de contexto induzida.
Descobertas Empíricas sobre Comprimento de Continuação: Os autores demonstram que continuações curtas e não filtradas do professor (OP-SHORT) são frequentemente mais econômicas do que alternativas mais longas ou fortemente filtradas. Especificamente, alguns passos do professor (pequeno $K$ ) colocados em contextos induzidos pelo aprendiz fornecem sinais de recuperação local suficientes sem os retornos decrescentes associados a complementações mais longas.

Resultados

HotpotQA: O OP-SHORT com pequeno $K$ (ex: $K=3$ ) superou o Pure BC em orçamentos equivalentes. Curiosamente, aumentar $K$ além de um certo ponto (ex: $K=5$ ) levou à degradação do desempenho, sugerindo retornos não monotônicos. Métodos filtrados (OP-SUCCESS, OP-CRITICAL) reduziram os tokens de treinamento ( $C_{tr}$ ), mas incorreram em custos de inferência ( $C_i$ ) mais altos devido a amostras rejeitadas, tornando-os menos eficientes quando a inferência do professor é o gargalo.
ALFWorld: O OP-SHORT superou consistentemente o Pure BC. O comprimento de continuação ideal foi encontrado como $K=5$ , que superou as continuações completas ( $K=\infty$ ), apesar de usar menos tokens do professor. Uma ablação sobre razões de mistura mostrou que uma combinação de dados de prefixo especialista e dados on-policy é ideal, sendo que a razão ideal depende do orçamento total.
Terminal-Bench-Dev: O OP-SHORT com uma pequena fração do corpus (10% dos dados de BC) e sem estágio de aprendizado por reforço (RL) igualou ou superou o desempenho da baseline OpenThoughts-Agent, que utilizou o corpus completo seguido por um estágio de RL. Isso sugere que o SFT on-policy direcionado pode recuperar ganhos tipicamente atribuídos ao RL.

Significância e Alegações
O artigo alega que a "quantidade certa" de supervisão do professor não é necessariamente "mais" ou "mais longa", mas sim "melhor posicionada". Os autores argumentam que, uma vez obtido um estudante inicial razoável via Pure BC, o orçamento adicional é melhor gasto em continuações limitadas e não filtradas do professor em contextos induzidos pelo aprendiz, em vez de rollouts completos ou filtragem pesada.

A significância reside em uma regra prática para o pós-treinamento de agentes sob supervisão de especialista restrita:

Usar demonstrações puras do professor para estabelecer um estudante base.
Alocar o orçamento restante para correções curtas e não filtradas (alguns passos) nos estados onde o estudante atua.
Evitar a suposição de que complementações mais longas do professor ou a filtragem de sucesso geram automaticamente um melhor desempenho; em muitos casos, elas reduzem a cobertura de estados distintos induzidos pelo aprendiz, o que é crítico para corrigir erros compostos.

Os autores observam modestamente que suas descobertas baseiam-se em aumento de rodada única e benchmarks verificáveis, e que o comprimento de continuação ideal $K$ é dependente do domínio, e não uma constante universal. Eles não alegam resolver o problema geral do treinamento de agentes, mas oferecem uma estratégia específica e eficiente em termos de custo para a etapa de SFT.

Mais como este