🤖 AI

WAM-OPD: On-Policy Distillation for World Action Models

O artigo introduz o WAM-OPD, um método de pós-treinamento que utiliza destilação on-policy para reparar Modelos de Ação de Mundo baseados em vídeo, treinando-os com seus próprios históricos gerados sob supervisão densa de um professor, melhorando significativamente as taxas de sucesso em tarefas sem exigir aprendizado por reforço de recompensa esparsa.

Autores originais: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs estão aprendendo a ver e a se mover com um novo tipo de inteligência, uma que tenta compreender o mundo não apenas reagindo ao que está acontecendo agora, mas imaginando o que acontecerá em seguida. Por anos, pesquisadores treinaram robôs usando vastas quantidades de dados de vídeo e instruções, ensinando-os a vincular o que veem com como devem mover seus braços. Esses sistemas, frequentemente chamados de modelos de visão-linguagem-ação, são poderosos, mas podem ser lentos e desajeitados quando solicitados a realizar tarefas complexas em tempo real. Para torná-los mais rápidos, cientistas desenvolveram uma técnica chamada destilação, que é como pegar um professor lento e brilhante e treinar uma versão estudante rápida para imitar seu comportamento. O objetivo é criar um robô que possa pensar e agir em um único movimento fluido. No entanto, há uma pegadinha: quando você acelera o cérebro de um robô, ele às vezes esquece como lidar com situações complicadas ou se perde em estados que nunca viu durante seu treinamento inicial. O robô torna-se rápido, mas perde a capacidade de concluir o trabalho.

É aqui que entra uma nova abordagem chamada WAM-OPD, um método projetado para consertar esses robôs rápidos sem a necessidade de enviá-los para aprender do zero através de tentativa e erro. Os pesquisadores, trabalhando com um sistema que prevê futuros quadros de vídeo para planejar seus movimentos, perceberam que a maneira padrão de treinar esses robôs acelerados era falha. O problema era que o robô rápido estava sendo ensinado a agir com base nas previsões perfeitas do professor lento, mas, no mundo real, o robô rápido tinha que agir com base em suas próprias previsões, ligeiramente imperfeitas. Era como ensinar um aluno a dirigir mostrando-lhe um vídeo de um motorista perfeito, mas depois entregar-lhe o volante e esperar que ele reaja à estrada exatamente como o professor faria, mesmo que o carro do aluno estivesse se movendo de forma diferente. O descompasso entre o que o robô esperava ver e o que ele realmente via causava sua falha.

Para resolver isso, a equipe criou um ciclo de treinamento onde o robô rápido realmente sai em um ambiente simulado e se move por conta própria. À medida que se move, ele cria um histórico do que vê e faz. Um robô professor, congelado, lento e altamente preciso, então observa esses momentos específicos e fornece as respostas corretas para o que deve acontecer a seguir. Crucialmente, o robô rápido é então ensinado a prever o futuro e escolher suas ações com base em sua própria visão imperfeita do mundo, enquanto ainda tenta corresponder às respostas corretas do professor. Isso garante que o robô aprenda a lidar com as situações específicas que ele realmente encontra, em vez de apenas memorizar uma lista de livros didáticos de cenários que ele pode nunca ver. Os pesquisadores testaram este método em duas tarefas específicas em uma simulação: passar um microfone de uma mão robótica para outra e colocar um objeto dentro de uma gaveta de armário.

Os resultados mostraram que este método poderia melhorar significamente a capacidade do robô de completar essas tarefas. Para a entrega do microfone, uma tarefa onde o robô rápido inicialmente falhou completamente, o novo método de treinamento ajudou-o a ter sucesso em mais da metade das tentativas. Para a tarefa do armário, onde o robô já era um pouco bem-sucedido, a melhoria foi menor, mas ainda perceptível, elevando a taxa de sucesso de cerca de uma em seis tentativas para uma em três. Esses números vêm de um conjunto muito específico de testes usando um pequeno número de cenas simuladas, por isso os pesquisadores são cuidadosos ao dizer que isto é uma prova de conceito, e não uma solução universal. Eles descobriram que o método funciona bem para esses desafios específicos, sugerindo que ensinar um robô a aprender com suas próprias experiências em tempo real, guiado por um professor sábio, mas estático, é uma maneira promissora de corrigir as fraquezas de uma IA acelerada e rápida. O trabalho não afirma ter resolvido o aprendizado robótico para todas as situações, mas oferece um caminho claro para tornar esses sistemas de alta velocidade mais confiáveis quando forem realmente colocados para trabalhar.

Resumo Técnico: WAM-OPD

Definição do Problema
Os Modelos de Ação de Mundo (WAMs - World Action Models) integram a predição visual futura com a geração de ações robóticas, oferecendo uma abordagem estruturada para o controle de robôs. No entanto, modelos "estudantes" acelerados derivados desses sistemas via destilação (ex: Flash-WAM) frequentemente sofem de uma perda de capacidades de tarefa. Essa degradação ocorre porque os estudantes acelerados podem encontrar estados durante a implantação que são mal representados nos dados offline usados para seu treinamento inicial. Embora o aprendizado por reforço (RL) online possa abordar isso, ele depende de recompensas binárias esparsas, o que torna a atribuição de crédito sobre trajetórias longas custosa e difícil. Métodos existentes de destilação on-policy (OPD), que permitem ao estudante determinar a distribuição de estados enquanto um professor fornece supervisão densa, foram aplicados a políticas apenas de ação ou modelos de tokens autorregressivos, mas não foram adaptados à arquitetura específica dos WAMs baseados em vídeo.

Um desafio técnico crítico ao aplicar OPD a WMs é um descompasso de condicionamento (conditioning mismatch). Em um WAM baseado em vídeo, a geração de ação é condicionada a um plano de vídeo predito ( $z_t$ ). Durante a implantação, o estudante gera seu próprio plano de vídeo ( $z_S$ ) e condiciona seu ramo de ação a este. Se um professor congelado rotula os históricos do estudante usando seu próprio plano de vídeo superior ( $z_T$ ), treinar o ramo de ação do estudante com $z_T$ cria um descompasso com a condição de implantação ( $z_S$ ). Além disso, como os caminhos de vídeo e ação compartilham blocos de backbone Transformer, atualizar uma modalidade pode inadvertidamente alterar as representações usadas pela outra.

Metodologia
O artigo introduz o WAM-OPD, uma receita de pós-treinamento consistente com a implantação projetada para resolver esses problemas sem exigir RL de recompensa esparsa. A metodologia central envolve:

Geração de Dados Consistente com a Implantação: O estudante acelerado atua no ambiente, gerando uma distribuição de histórico ( $h \sim d_{\pi_S}$ ) que reflete seu comportamento real de malha fechada (closed-loop).
Rotulagem por Professor Congelado: Um modelo "Professor" mais lento e congelado (baseado em LingBot-VA) rotula esses históricos gerados pelo estudante com alvos coerentes de vídeo ( $z_T$ ) e ação ( $a_T$ ).
Grafo de Treinamento Consistente com a Implantação: Crucialmente, durante a etapa de otimização de treinamento, o estudante segue seu exato grafo de computação de implantação:
- Ele primeiro gera seu próprio plano de vídeo: $z_S = f^{vid}_{\theta}(h_S)$ .
- Ele então prevê ações condicionadas ao seu próprio plano (com um gradiente interrompido aplicado ao tensor do plano): $a_S = f^{act}_{\theta}(h_S, \text{sg}(z_S))$ .
- Isso garante que o ramo de ação aprenda a operar sob o plano de vídeo que realmente usará no tempo de inferência, evitando o descompasso da interface condicional.
Objetivo Conjunto: O objetivo de treinamento combina três componentes atualizados via adaptadores JointLoRA leves de rank-8 através do backbone Transformer compartilhado de 30 blocos:
- Perda de Vídeo: Uma penalidade pseudo-Huber alinhando o plano de vídeo gerado pelo estudante ( $z_S$ ) com o alvo do professor ( $z_T$ ).
- Perda de Ação: Uma penalidade pseudo-Huber alinhando a ação do estudante ( $a_S$ ) com o alvo do professor ( $a_T$ ).
- Regularizador de Flow-Matching: Uma perda auxiliar na fronteira de alto ruído para reter sinais de aprendizado de flow-matching para o fluxo de ação.
- A perda total é: $L(\theta) = \lambda_z \rho_\delta(z_S - z_T) + \lambda_a \rho_\delta(a_S - a_T) + \lambda_{FM} \|v^{act}_\theta(x^a_{\sigma=1}, 1, c) - (\epsilon_a - a_T)\|^2_2$ .

Principais Contribuições

Identificação do Descompasso de Condicionamento: Os autores identificam um modo de falha específico na OPD de WAMs baseados em vídeo, onde o treinamento de ações em um plano de vídeo do professor cria um descompasso com a condição de implantação do estudante.
Perda Conjunta de Vídeo-Ação e Atualização LoRA: Eles definem um objetivo conjunto e uma estratégia de atualização eficiente de parâmetros (JointLoRA) para WAMs compartilhados e baseados em fluxo que respeita o grafo de implantação, enquanto utiliza o alinhamento de vídeo para reduzir a lacuna entre os planos do professor e do estudante.
Validação Empírica: O artigo fornece avaliações pareadas exatas em duas tarefas do RoboTwin 2.0, demonstrando que a mesma receita melhora as taxas de sucesso em ambos os cenários, embora com magnitudes variadas.

Resultados
Os autores avaliaram o WAM-OPD em duas tarefas no ambiente de simulação RoboTwin 2.0: HANDOVER MIC (transferir um microfone entre as mãos do robô) e PUT OBJECT CABINET (colocar um objeto em uma gaveta). Usando um Flash-WAM de um passo de vídeo/uma ação como baseline:

HANDOVER MIC: A taxa de sucesso melhorou de 0,0% (baseline) para 58,3%.
PUT OBJECT CABINET: A taxa de sucesso melhorou de 16,7% (baseline) para 33,3%.

Estes resultados foram obtidos usando oito trajetórias de estudante, 160 contextos rotulados pelo professor e 120 passos do otimizador, avaliados em seis sementes de cena retidas sob dois bancos de ruído fixos.

Significância e Alegações
O artigo posiciona o WAM-OPD como uma promissora interface de pós-treinamento para WAMs baseados em vídeo, em vez de um método universalmente generalizável finalizado. Os autores declaram explicitamente que os resultados constituem uma "prova inicial de capacidade" em vez de evidência de generalização ampla ou uniforme.

A significância reside em demonstrar que a supervisão densa do professor em históricos induzidos pelo estudante pode reparar efetivamente as capacidades de tarefa em WAMs acelerados sem recorrer ao RL de recompensa esparsa. Os autores enfatizam que as magnitudes variáveis de melhoria entre as tarefas destacam a dependência de tarefa da evidência atual. Eles reconhecem limitações, incluindo o pequeno tamanho da amostra, o uso de um pacote de trajetória fixo (que é estritamente on-policy apenas para o coletor inicial) e a falta de comparações com computação equivalente de outros métodos como SFT ou RL. O trabalho serve como uma fatia vertical estabelecendo a viabilidade da destilação consistente com a implantação para esta família específica de modelos.

Resumo Técnico: WAM-OPD

Mais como este