Resumo Técnico: Aprendizado por Imitação com Crítica de Linguagem a partir de Demonstrações Subótimas

Declaração do Problema

O aprendizado por imitação (IL) a partir de demonstrações subótimas visa aprender políticas robustas ao aproveitar trajetórias abundantes e imperfeitas junto com dados de especialistas limitados. No entanto, os métodos existentes dependem tipicamente de sinais de supervisão escalares comprimidos — como estimativas de confiança, escores de discriminador, pesos de importância ou recompensas — para distinguir comportamentos úteis de ruído. Os autores argumentam que esses sinais escalares são inerentemente limitados porque não podem expressar explicitamente o raciocínio intermediário sobre o progresso da tarefa, modos de falha específicos ou ações corretivas. Consequentemente, eles frequentemente falham em capturar a informação estruturada necessária para o aprendizado em tarefas de longo horizonte ou multimodais, onde o sucesso depende de decisões sutis e específicas de cada estágio.

Metodologia

O artigo propõe o Aprendizado por Imitação com Crítica de Linguagem, um framework offline que substitui sinais escalares por linguagem natural como um sinal de supervisão estruturado. O método consiste em três componentes principais:

1. Geração de Rótulos de Linguagem Estruturados

Para evitar a variabilidade e o custo da anotação humana ou da geração livre por Grandes Modelos de Linguagem (LLMs), os autores introduzem um Gerador de Rótulos de Linguagem ($\mu_g$) determinístico. Para qualquer par estado-ação $(s, a)$, $\mu_g$ extrai heurísticas específicas da tarefa (ex: distância do objeto, status do gripper) e as direciona para três seletores específicos para gerar um rótulo de linguagem composto $l$:

• Progresso da Tarefa ($<T>$): Descreve o estágio semântico atual da tarefa (ex: "aproximando-se do objeto", "movendo-se em direção ao alvo").
• Otimalidade da Ação ($<A>$): Avalia se a ação é benéfica, ineficaz ou prejudicial para o contexto atual (ex: "A ação é boa", "A ação é ruim").
• Orientação de Movimento ($<M>$): Fornece instruções corretivas detalhadas (ex: "Mova para a direita suavemente", "Incline em direção à parte inferior").

Esta abordagem estruturada garante que os rótulos sejam consistentes, reproduzíveis e diretamente relevantes para a tarefa de controle sem depender de informações privilegiadas do ambiente.

2. Captioner de LLM Diferenciável ($\mu_\phi$)

Para permitir a otimização de política ponta a ponta, os rótulos de linguagem discretos gerados por $\mu_g$ são destilados em um LLM-Captioner ($\mu_\phi$) diferenciável. Este modelo, construído sobre um LLM pré-treinado (especificamente o SmolLM2) e um projetor MLP, mapeia pares estado-ação para a distribuição de rótulos de linguagem estruturados.

• Treinamento: $\mu_\phi$ é ajustado (fine-tuned) no conjunto de dados geral (contendo tanto dados de especialistas quanto subótimos) usando uma perda de entropia cruzada ao nível do token para mimetizar $\mu_g$.
• Papel: Uma vez treinado, $\mu_\phi$ atua como um crítico diferenciável congelado que pode avaliar a probabilidade de uma ação da política $\hat{a}$ produzir o rótulo de linguagem do especialista $l^E$.

3. Perda de Crítica de Linguagem ($L_{LC}$)

O objetivo central de aprendizado é a Perda de Crítica de Linguagem, que treina diretamente a política $\pi_\theta$ usando os sinais estruturados de $\mu_\phi$ sem reduzi-los a escalares.

• Mecanismo: A perda penaliza ações da política que tornam o rótulo de linguagem do especialista menos provável do que a própria ação do especialista. Ela é formulada como uma diferença com clipping entre a perda de entropia cruzada da política e a perda de entropia cruzada do especialista:
  $$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$$
  onde $[x]_+ = \max(x, 0)$ e $\text{sg}$ denota stop-gradient.
• Instanciações:
  • LC-BC: Aplicado ao Behavior Cloning (BC) feedforward padrão.
  • LC-DP: Aplicado a Políticas de Difusão (Diffusion Policies). Como modelos de difusão preveem ruído em vez de ações, a perda é aplicada à ação reconstruída de um passo $\hat{a}_0$. Um fator de reponderação dependente do passo de tempo $\omega_k$ é introduzido para equilibrar a contribuição de diferentes passos de difusão, garantindo que a perda se alinhe ao objetivo padrão de difusão.

Principais Contribuições

1. Framework: Introdução de um framework de crítica de linguagem que utiliza linguagem natural como um sinal de supervisão estruturado e não escalar para aprendizado por imitação a partir de demonstrações subótimas.
2. Algoritmo: Desenvolvimento de LC-BC e LC-DP, que integram supervisão guiada por linguagem em políticas de clonagem de comportamento e de difusão, respectivamente.
3. Garantia Teórica: Uma prova teórica mostrando que minimizar a lacuna de crítica de linguagem limita superiormente a lacuna de desempenho entre o especialista e a política sob suposições padrão (realizabilidade de características lineares e suficiência de linguagem).
4. Validação Empírica: Avaliação abrangente em oito tarefas diversas de controle contínuo (navegação, manipulação, gameplay), demonstrando superação consistente sobre baselines fortes.

Resultados Experimentais

Os autores avaliaram seus métodos em oito tarefas: MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER e RELOCATE.

• Desempenho vs. Baselines: LC-BC e LC-DP superaram consistentemente ou igualaram baselines fortes de aprendizado por imitação (ex: DemoDICE, DWBC, ILID) e métodos de RL offline (ex: CQL, TD3+BC, Decision Transformer, Diffusion Policy).
  • Ganhos notáveis foram observados em tarefas multimodais (BLOCKPUSH) e de controle de precisão (PEGINSERT, HAMMER). Por exemplo, em BLOCKPUSH, o LC-BC melhorou as taxas de sucesso de 34,4% (BC padrão) para 47,2%.
  • Na tarefa de precisão PEGINSERT, o LC-DP manteve uma vantagem clara sobre a Diffusion Policy padrão, enquanto o LC-BC mostrou melhorias modestas, sugerindo que políticas de difusão integram melhor a orientação de linguagem de alto nível através de denoising iterativo.
• Dados de Qualidade Mista: O método permaneceu eficaz mesmo quando o conjunto de dados de especialistas não estava limpo, utilizando heurísticas baseadas em linguagem para filtrar dados subótimos de um conjunto de dados misto.
• Estudos de Ablação:
  • Estruturado vs. Escalar: Métodos usando rótulos de linguagem superaram significativamente variantes que colapsaram os rótulos em recompensas escalares (LC-BC-reward) ou classes discretas (LC-BC-classifier), confirmando o valor de preservar a expressividade da linguagem natural.
  • Importância dos Componentes: Todos os três componentes ($<T>, <A>, <M>$) mostraram-se complementares; a remoção de qualquer um deles degradou o desempenho.
  • Fonte de Rótulo: O gerador estruturado $\mu_g$ provou ser superior aos rótulos gerados por VLMs de código aberto (ex: de o4-mini) devido à melhor consistência semântica e alinhamento de características, particularmente para orientação de movimento refinada.

Significância e Alegações

O artigo afirma que a linguagem natural serve como uma forma poderosa e estruturada de supervisão que é superior aos sinais escalares comprimidos para o aprendizado a partir de dados subótimos. Ao descrever explicitamente o progresso da tarefa, modos de falha e ações corretivas, os rótulos de linguagem fornecem a informação estruturada necessária para guiar políticas em ambientes complexos, de longo horizonte e multimodais.

Os autores enfatizam que sua abordagem não utiliza a linguagem meramente como um auxílio descritivo, mas como um sinal de supervisão direto e diferenciável que permite o aprendizado de políticas robustas sem a necessidade de interação adicional com o ambiente ou dados de especialistas. Os resultados teóricos fundamentam ainda mais esse sucesso empírico, mostrando que o objetivo proposto controla a lacuna de desempenho em relação à política do especialista. O trabalho sugere que a linguagem pode efetivamente preencher a lacuna entre os dados limitados de especialistas e os abundantes dados subótimos, oferecendo um caminho escalável para o aprendizado por imitação robusto em controle contínuo.