World2Act: Latent Action Post-Training via Skill-Compositional World Models

O artigo apresenta o World2Act, um framework de pós-treinamento que alinha ações de políticas VLA diretamente com latentes de dinâmica de vídeo de modelos de mundo, utilizando decomposição de habilidades baseada em LLM para superar limitações de geração temporal e alcançar resultados state-of-the-art em tarefas robóticas.

O essencial

Imagine que você está ensinando um robô a fazer tarefas domésticas, como pegar uma xícara e colocá-la em um prato. O robô já tem um "cérebro" básico (chamado de VLA) que sabe o que é uma xícara e como segurar algo, mas ele ainda é um pouco desajeitado e não entende bem a física do mundo real (como o peso da xícara ou o atrito da mesa).

Para melhorar o robô, os cientistas criaram uma nova técnica chamada World2Act. Vamos explicar como isso funciona usando uma analogia simples:

1. O Problema: O Robô e o "Sonho" Imperfeito

Antes, para treinar robôs, os cientistas usavam uma técnica onde o robô tinha que "sonhar" (simular) o futuro em pixels (imagens de vídeo).

• A Analogia: Imagine que você está ensinando alguém a dirigir. Você diz: "Olhe para o vídeo do futuro onde o carro vira a esquina".
• O Problema: Se o vídeo gerado pelo computador tiver um defeito (ex: a árvore parece derreter ou a estrada some por um segundo), o aluno (o robô) fica confuso e pode bater no carro. O robô ficava muito sensível a esses "erros de desenho" no vídeo, em vez de aprender a direção em si.

2. A Solução: World2Act (Do Mundo para a Ação)

O World2Act muda a regra do jogo. Em vez de olhar para o vídeo pronto (os pixels), o robô aprende a entender a essência do movimento (o "latente").

• A Analogia: Em vez de mostrar um vídeo de um carro virando a esquina, você dá ao aluno um mapa mental ou uma sensação interna de como o carro deve se sentir ao virar.
• Como funciona: O sistema cria uma "ponte" entre o sonho do robô (o mundo simulado) e a ação real. Eles não comparam a imagem final, mas sim a "vibe" ou a estrutura matemática do movimento. Assim, mesmo que o vídeo gerado tenha um defeito visual (uma mancha), o robô ainda entende que "preciso virar o volante para a esquerda".

3. O Desafio do Tempo: Cortar o Filme em Cenas

Outro problema era que os robôs têm tarefas de durações muito diferentes. Alguns levam 2 segundos, outros 2 minutos. Os modelos de IA antigos eram treinados apenas com "filmes" de tamanho fixo, o que causava confusão.

• A Solução Criativa: Os autores criaram um "cineasta automático" (usando uma IA de texto chamada LLM) que pega uma instrução longa ("Faça café") e a divide em pequenas cenas (atores) simples:
  1. Pegue a caneca.
  2. Coloque sob a torneira.
  3. Encha a caneca.
• O Resultado: O robô aprende cada "cena" separadamente e depois as junta. Isso torna o aprendizado muito mais estável, como aprender a tocar uma música tocando nota por nota, em vez de tentar tocar a sinfonia inteira de uma vez só.

4. O Treinamento: O "Corretor" (Residual Policy)

O robô já tem um cérebro básico. O World2Act não tenta reescrever todo o cérebro dele (o que seria lento e arriscado). Em vez disso, ele cria um "corretor" ou um "assistente".

• A Analogia: Imagine que o robô é um piloto experiente, mas às vezes ele comete erros de cálculo. O World2Act é um co-piloto que sussurra: "Ei, você está indo um pouco rápido demais, ajuste a mão um pouquinho".
• Esse co-piloto aprende olhando para a "essência" do movimento ideal (o latente) e faz pequenos ajustes na ação do robô para que ele fique perfeito.

5. Os Resultados na Vida Real

Os testes mostraram que essa técnica funciona muito bem:

• Na Simulação: O robô aprendeu tarefas complexas com muito menos dados do que os métodos antigos.
• No Mundo Real: Eles testaram em um braço robótico de verdade. Mesmo quando a simulação gerava vídeos com pequenos defeitos visuais (como uma maçaneta de porta sumindo no vídeo), o robô ainda conseguiu fechar a gaveta com sucesso. Isso prova que ele aprendeu a física do movimento, não apenas a decorar o vídeo.

Resumo em uma frase

O World2Act é como ensinar um robô a dançar não mostrando um vídeo perfeito (que pode ter falhas), mas transmitindo a sensação do ritmo e do movimento diretamente para os músculos dele, dividindo a dança em passos simples para que ele nunca se perca, mesmo que o cenário mude.

Resumo técnico

Resumo Técnico: World2Act

1. O Problema

Os modelos de mundo (World Models - WMs) são promissores para melhorar a robustez e a generalização de políticas Visão-Linguagem-Ação (VLA) em robótica. No entanto, as abordagens atuais de post-training (pós-treinamento) baseadas em WMs enfrentam dois desafios críticos:

1. Dependência do Espaço de Pixels: A maioria dos métodos supervisiona as ações do agente diretamente no espaço de pixels (imagens geradas). Isso torna as políticas sensíveis a artefatos visuais, ruídos e "alucinações" (hallucinations) geradas pelo modelo de mundo durante a simulação de trajetórias longas.
2. Geração de Vídeo de Comprimento Arbitrário: Os robôs executam tarefas com durações variáveis, mas os modelos de difusão de vídeo são geralmente treinados em clipes de comprimento fixo. Tentar gerar trajetórias longas de uma só vez leva ao acúmulo de erros e inconsistências temporais.

2. Metodologia: World2Act

O World2Act propõe um novo framework de post-training que transfere priores dinâmicos generalizáveis de um Modelo de Mundo para uma política VLA, evitando a supervisão direta em pixels. A abordagem é dividida em duas etapas principais e uma infraestrutura de dados inovadora:

A. Pipeline de Composição de Habilidades (Skill-Compositional Pipeline)
Para resolver o problema do comprimento arbitrário, os autores introduzem um pipeline automatizado baseado em LLMs (Large Language Models):

• Atomização de Dados: O pipeline segmenta demonstrações de especialistas em "habilidades atômicas" (sub-tarefas curtas) baseando-se em mudanças no estado do efetuador (ex: largura da garra).
• Decomposição de Instruções: Um LLM (DeepSeek) decompõe instruções de alto nível em prompts de baixo nível correspondentes a cada habilidade atômica.
• Novos Conjuntos de Dados: Isso resulta na criação dos datasets RoboCasa-Skill e LIBERO-Skill, que possuem distribuições de duração de vídeo mais uniformes e concentradas, facilitando o treinamento de WMs para geração de longo prazo.

B. Alinhamento Latente (Stage 1)
Em vez de prever pixels, o método alinha as representações latentes:

• Um Adaptador de Vídeo projeta os latentes dinâmicos do Modelo de Mundo (WM) em um espaço compartilhado.
• Um Adaptador de Ação projeta as ações do robô no mesmo espaço.
• Um Decodificador de Ação e uma Função de Perda Contrastiva (InfoNCE bidirecional) são usados para garantir que os latentes de vídeo e ação correspondam temporalmente, preservando a cinemática e a dinâmica sem depender de pixels perfeitos.

C. Pós-Treinamento com Política Residual (Stage 2)

• A política VLA base (ex: GR00T-N1.6 ou Cosmos Policy) é congelada para evitar esquecimento catastrófico.
• Uma Política Residual leve é treinada para corrigir as ações da política base.
• O objetivo de treinamento é minimizar a perda contrastiva entre os latentes de ação da política final e os latentes de dinâmica do WM. Isso permite que o agente aprenda a agir de acordo com a "imaginação" dinâmica do WM, mesmo que a geração de vídeo em pixels contenha imperfeições.

3. Principais Contribuições

1. World2Act: Um método de post-training que alinha dinâmicas de vídeo latentes de WMs com espaços de ação de VLAs, reduzindo a sensibilidade a artefatos visuais.
2. Pipeline de Segmentação Automática: Uma abordagem baseada em LLM para decompor tarefas complexas em habilidades atômicas, criando os datasets RoboCasa-Skill e LIBERO-Skill.
3. Modelo de Mundo Composicional: Um framework que permite a geração de trajetórias de comprimento arbitrário e temporalmente consistente, decompondo instruções globais em sub-objetivos sequenciais.
4. Desempenho Superior: Demonstra ganhos significativos em benchmarks de simulação e no mundo real, superando métodos anteriores baseados em pixels.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks RoboCasa e LIBERO, além de testes em robôs físicos reais (braço Franka Research 3).

• Benchmarks de Simulação:
  • No RoboCasa, o World2Act alcançou uma taxa de sucesso (SR) de 72.6% ao ser aplicado sobre o GR00T-N1.6-ft, superando o estado da arte anterior (DreamGen, que atingiu 70.5%) e exigindo menos dados reais.
  • No LIBERO, o método melhorou consistentemente o desempenho em tarefas espaciais, de objetos e de longo prazo, alcançando a melhor média entre os métodos comparados.
  • O uso do Skill-WM (modelo treinado com dados decompostos) superou consistentemente o Base-WM (treinado em dados brutos), confirmando que a decomposição de habilidades estabiliza a geração de vídeo.
• Escalabilidade: A performance do World2Act melhorou monotonicamente com o aumento do número de trajetórias de pós-treinamento, enquanto métodos baseados em pixels (como DreamGen) mostraram instabilidade.
• Mundo Real: Em testes físicos, o método melhorou a taxa de sucesso em 6.67% em média em três tarefas (pegar e colocar xícara, pegar tigela, fechar gaveta), demonstrando robustez na transferência sim-para-real.
• Resiliência a Alucinações: Mesmo quando o WM gerava vídeos com artefatos visuais (ex: alças de gaveta desaparecendo), a política baseada em latentes conseguiu executar a tarefa com sucesso, validando a hipótese de que a dinâmica latente é mais robusta que a supervisão em pixels.

5. Significado e Impacto

O trabalho World2Act representa um avanço significativo na robótica de aprendizado por reforço e visão computacional ao:

• Desacoplar a Política da Perfeição Visual: Demonstra que um agente robótico pode aprender dinâmicas complexas e generalizáveis sem exigir que o modelo de mundo gere imagens pixel-perfeitas, mitigando um dos maiores gargalos dos WMs atuais.
• Resolver o Problema de Longo Horizonte: A estratégia de composição de habilidades oferece uma solução prática e escalável para a geração de vídeos longos em tarefas robóticas, que variam drasticamente em duração.
• Eficiência de Dados: Permite o refinamento de políticas VLA de ponta com quantidades relativamente pequenas de dados sintéticos, tornando o treinamento de robôs mais acessível e eficiente.

Em suma, o World2Act estabelece um novo paradigma onde a "imaginação" dinâmica de um modelo de mundo é transferida para a ação física através de alinhamento latente, superando as limitações de ruído e alucinação inerentes aos métodos baseados em pixels.