Resumo Técnico: Behavior Cloning is Not All You Need

Declaração do Problema

O artigo aborda um enigma central no Aprendizado por Imitação (IL): embora resultados teóricos sugiram que métodos offline como o Behavior Cloning (BC) podem alcançar um desempenho ótimo e livre de horizonte no cenário de especialista limpo, evidências empíricas em aplicações modernas (particularmente o treinamento de Grandes Modelos de Linguagem via Destilação On-Policy, ou OPD) mostram consistentemente que métodos online superam os offline.

Os autores propõem um modelo de especialista ruidoso para explicar essa discrepância. Neste cenário, o aprendiz não tem acesso a uma política de especialista perfeita $\pi^\star$, mas sim a uma versão corrompida $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$, onde $\eta$ é o nível de ruído e $\nu$ é uma distribuição de ruído. O objetivo do aprendiz é aprender uma política $\hat{\pi}$ que compita com a recompensa esperada do especialista limpo $\pi^\star$, apesar de ter acesso apenas a trajetórias geradas pelo especialista ruidoso. Este modelo captura cenários do mundo real, como o treinamento de modelos de linguagem em textos humanos imperfeitos, a destilação de grandes modelos professores que não estão totalmente convergidos, ou tarefas de raciocínio onde o "especialista" é estocástico.

Metodologia e Estrutura Teórica

Os autores analisam tanto os cenários de IL offline quanto online sob esta suposição de especialista ruidoso, utilizando a distância de Hellinger entre distribuições de trajetórias como um proxy para o regret.

1. Aprendizado por Imitação Offline (O Resultado de Dificuldade)

No cenário offline, o aprendiz recebe um conjunto fixo de $n$ trajetórias de $\pi^\star_\eta$.

• Análise: Os autores mostram que, para recuperar uma política próxima ao especialista limpo $\pi^\star$, é necessário inverter o ruído. Eles derivam um limite relacionando a distância de Hellinger das trajetórias limpas $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ à distância de Hellinger das trajetórias ruidosas $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$.
• Conclusão Principal: Sem suposições adicionais, a complexidade de amostra necessária para competir com o especialista limpo cresce exponencialmente com o horizonte $H$ (especificamente, escalando como $(1-\eta)^{-H}$). Mesmo com uma "condição de dominação" (onde a distribuição de ruído é dominada pela classe de políticas), a dependência permanece exponencial em $H$ se o ruído não for desprezível em relação a $1/H$.
• Limite Inferior (Lower Bound): Os autores provam que esta dependência exponencial é fundamental. Eles constroem um contraexemplo mostrando que qualquer algoritmo offline requer complexidade de amostra exponencial em $H$ para atingir um erro constante, tornando o IL offline fundamentalmente intratável em cenários ruidosos de longo horizonte.

2. Aprendizado por Imitação Online (A Solução)

No cenário online, o aprendiz pode interagir com o ambiente, realizar execções (rollouts) de sua política atual e consultar o especialista ruidoso para ações nos estados visitados.

• Trajetórias Aumentadas: Os autores introduzem o conceito de distribuições de trajetórias aumentadas $P_{\pi, \pi'}$, onde o aprendiz executa a política $\pi$, mas consulta o especialista $\pi'$ para ações em cada estado. Isso permite que o aprendiz compare sua própria distribuição de trajetória contra o comportamento do especialista nos mesmos estados.
• Garantia Teórica: Eles provam que a subotimalidade da política aprendida pode ser limitada pela distância de Hellinger (ou divergência KL) entre as distribuições de trajetórias aumentadas do aprendiz e do especialista ruidoso. Crucialmente, sob uma condição de $\kappa$-dominação (onde a distribuição de ruído é dominada pelas políticas do especialista e do aprendiz), este limite torna-se livre de horizonte. Mesmo sem esta condição, a dependência do horizonte é apenas polinomial ($\sqrt{H}$), um contraste gritante com a dependência exponencial no caso offline.
• Algoritmo (NAIL): Os autores propõem o NAIL (Noise-robust Aggregation for Imitation Learning). Diferente do DAgger padrão, que aprende políticas passo a passo, o NAIL agrega políticas ao nível da trajetória usando pesos exponenciais no log-verossimilhança negativa de trajetórias aumentadas.
  • Corrupção Conhecida: O NAIL alcança um limite de regret escalando como $H \sqrt{\log|\Pi|/n}$.
  • Corrupção Desconhecida (Especialista Determinístico): Para o caso em que o especialista é determinístico e o ruído é "suave" (massa de probabilidade limitada em qualquer ação), os autores propõem o NAILGUN. Este algoritmo alcança um limite de regret livre de horizonte de $\log|\Pi|/n$ sem exigir conhecimento do nível de ruído $\eta$ ou da distribuição $\nu$.

Principais Contribuições

1. Separação Teórica: O artigo estabelece uma separação nítida entre o IL offline e o online na presença de especialistas ruidosos. Prova que o aprendizado offline é fundamentalmente difícil (exponencial no horizonte), enquanto o aprendizado online pode alcançar garantias de horizonte livre ou polinomial.
2. Modelo de Especialista Ruidoso: A introdução de um modelo geral de especialista ruidoso ($\pi^\star_\eta$) que explica o sucesso empírico do OPD sobre o Supervised Fine-Tuning (SFT) no treinamento de modelos de linguagem, mesmo quando a arquitetura do professor e do aluno são idênticas (eliminando a especificação incorreta como única causa).
3. Análise de Trajetória Aumentada: A derivação de limites vinculando o desempenho do especialista limpo à divergência entre distribuições de trajetórias aumentadas ($P_{\hat{\pi}, \pi^\star_\eta}$ vs $P_{\hat{\pi}, \hat{\pi}_\eta}$), fornecendo uma justificativa teórica para objetivos de destilação on-policy.
4. Algoritmos e Limites:
   • NAIL: Um algoritmo para cenários de corrupção conhecida com complexidade de amostra quase ideal.
   • NAILGUN: Um algoritmo para cenários de corrupção desconhecida (especialista determinístico) que alcança garantias livres de horizonte.
   • Limites Inferiores (Lower Bounds): Limites inferiores correspondentes demonstrando a otimalidade dos algoritmos propostos até constantes de fator.

Resultados Experimentais

Os autores validam sua teoria em duas tarefas:

1. Adição Modular (Sintética): Uma tarefa que requer uma cadeia de pensamento para somar números módulo 7.
   • Especialista Limpo: O BC offline (SFT) performa melhor, consistente com a teoria.
   • Especialista Ruidoso: O BC offline e o OPD padrão falham em aprender. As variantes propostas do NAIL (minimizando forward/reverse KL em trajetórias aumentadas) alcançam precisão perfeita.
2. GSM-8K (Linguagem Natural): Um benchmark de raciocínio matemático usando modelos Gemma.
   • Especialista Limpo: Métodos online superam o BC offline.
   • Especialista Ruidoso: Apenas as variantes do NAIL permanecem eficazes, alcançando precisão não trivial, enquanto o OPD padrão e o SFT falham completamente (0% de precisão).

Estes resultados confirmam que as funções de perda derivadas da análise teórica (especificamente aquelas envolvendo trajetórias aumentadas) são mais robustas ao feedback de especialistas ruidosos do que os objetivos padrão de aprendizado supervisionado.

Significância e Alegações

O artigo afirma fornecer uma fundamentação teórica para o porquê da destilação on-policy (OPD) superar o ajuste fino supervisionado (SFT) padrão ao treinar modelos de linguagem a partir de professores imperfeitos.

• Explicação de Fenômenos Empíricos: Resolve o hiato entre "teoria vs. prática" no IL ao mostrar que a suposição de um especialista "limpo" é frequentemente violada na prática (devido ao ruído nos dados humanos ou modelos professores imperfeitos) e que, sob tal ruído, a interação online não é apenas benéfica, mas necessária para evitar a complexidade de amostra exponencial.
• Função de Perda Principada: A análise leva a uma função de perda alternativa (minimizando a divergência em trajetórias aumentadas) que é comumente considerada empiricamente para o treinamento de LM, mas carecia de justificativa rigorosa. O artigo fornece esta justificativa.
• Limitações: Os autores são modestos em suas alegações, observando que seus resultados dependem de classes de políticas finitas, modelos de corrupção idealizados e suposições específicas (como especialistas determinísticos para o caso de corrupção desconhecida). Eles reconhecem que traduzir esses resultados diretamente para a prática requer mais trabalho em modelos de ruído mais sofisticados e experimentos de escala.

Em resumo, o artigo argumenta que o Behavior Cloning não é tudo o que você precisa quando os especialistas são ruidosos; em vez disso, a Destilação On-Policy é teoricamente ótima para recuperar o comportamento do especialista limpo a partir de dados ruidosos em tarefas de longo horizonte.