💻 computer science

WAM-RL: World-Action Model Reinforcement Learning with Reconstruction Rewards and Online Video SFT

Este artigo apresenta o WAM-RL, um novo framework de aprendizado por reforço que permite a otimização conjunta online de modelos de mundo e de ação por meio de recompensas de reconstrução, demonstrando que a coevolução de ambos os componentes é essencial para alcançar um desempenho sólido em tarefas de manipulação de longo horizonte além das limitações do treinamento baseado apenas em especialistas.

Autores originais: Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a realizar uma tarefa complexa, como regar uma planta ou empilhar blocos. Tradicionalmente, ensinamos robôs mostrando vídeos de especialistas realizando o trabalho perfeitamente. O robô memoriza esses vídeos e tenta copiá-los. Isso funciona bem para tarefas simples, mas se o robô comete um erro minúsculo, ele costuma ficar confuso e falha completamente porque nunca aprendeu como se recuperar.

Este artigo apresenta um novo sistema chamado WAM-RL. Pense nisso como dar ao robô um "cérebro" e um "corpo" que aprendem juntos enquanto realizam a tarefa de fato, em vez de apenas assistirem a vídeos.

Aqui está como isso funciona, dividido em conceitos simples:

1. As Duas Partes: O "Imaginador" e o "Executor"

A maioria dos modelos robóticos avançados possui duas partes principais:

O Modelo de Mundo (O Imaginador): Esta parte é como um diretor de cinema dentro da cabeça do robô. Antes de o robô se mover, ele imagina como será o futuro. "Se eu mover meu braço desta forma, o bloco cairá. Se eu mover daquela forma, ele ficará parado." Ele prevê o futuro.
O Modelo de Ação (O Executor): Este é o corpo do robô. Ele pega o "filme" que o Imaginador criou e o transforma em movimentos musculares reais.

O Problema: Em sistemas antigos, o "Imaginador" era fixo. Ele era treinado com vídeos perfeitos e nunca mudava. Se o mundo real não correspondesse ao vídeo perfeito (como se o robô derrubasse um bloco), o "Executor" não sabia como consertar isso porque seu "Imaginador" não conseguia prever que um erro havia ocorrido.

2. A Solução: Uma Equipe que Cresce Juntas

Os autores criaram uma estrutura onde o Imaginador e o Executor aprendem uns com os outros em tempo real.

O Executor recebe um novo treinador: Em vez de apenas ser dito "Bom trabalho" ou "Mau trabalho" apenas ao final, o Executor recebe uma pontuação constante baseada em quão bem seus movimentos reais correspondem às previsões do Imaginador. Se o robô imagina que o bloco ficará parado, mas ele cai, o Executor recebe uma "penalidade". Isso ensina o Executor a se mover de uma forma que corresponda ao plano.
O Imaginador recebe um choque de realidade: O Imaginador é atualizado usando vídeos reais do robô tendo sucesso. Crucialmente, os autores adicionaram uma "rede de segurança" (chamada de Regularização KL). Imagine que o Imaginador é um estudante que está aprendendo coisas novas. A rede de segurança impede o estudante de esquecer tudo o que já sabia ou de mudar sua personalidade de forma muito drástica. Isso garante que o Imaginador melhore suas previsões sem quebrar a conexão com o Executor.

3. A Grande Descoberta: Você Não Pode Treinar Apenas o Corpo

O artigo descobriu algo muito importante através de experimentos:

Tarefas Curtas: Se você treinar apenas o "Executor" (o corpo) e deixar o "Imaginador" (o cérebro) sozinho, o robô fica melhor em tarefas rápidas e simples.
Tarefas Longas: Para tarefas complexas que levam muito tempo, treinar apenas o corpo falha. Por quê? Porque o corpo é limitado pelo quão bom o céreã é em prever o futuro. Se o cérebro comete um pequeno erro em sua previsão, o corpo não consegue corrigi-lo, e o erro se acumula até o robô falhar.

A Analogia: Imagine jogar um videogame onde você é o personagem (o Executor), mas o mapa (o Imaginador) está ligeiramente errado. Se o jogo for curto, você pode improvisar para passar. Mas se o jogo for longo, o mapa errado eventualmente o levará para um abismo. Você precisa consertar o mapa enquanto joga, não apenas melhorar a velocidade de corrida do seu personagem.

4. Como Eles Medem o Sucesso

Em vez de apenas verificar se o robô terminou a tarefa, eles usaram um truque inteligente. Eles compararam o Futuro Imaginado (o que o robô pensou que aconteceria) com o Futuro Real (o que realmente aconteceu).

Se o robô imaginou que o bloco ficaria parado, e ele ficou, essa é uma pontuação alta.
Se o robô imaginou que o bloco ficaria parado, mas ele caiu, essa é uma pontuação baixa.
Isso ajuda o robô a aprender a prever a realidade com mais precisão, o que, por sua vez, o ajuda a se mover melhor.

5. O Resultado: Aprender a se Recuperar

O resultado mais emocionante é que este sistema ensinou o robô a se recuperar de erros.

Sem este sistema: Se o robô tentasse agarrar um bloco e errasse, ele continuaria tentando agarrá-lo da mesma maneira errada, acabando por desistir.
Com este sistema: O "Imaginador" aprendeu a prever que um erro poderia acontecer. Ele então "imaginou" um plano de recuperação (como mover a mão de volta e tentar novamente). O "Executor" viu esse plano e o executou. O robô aprendeu a dizer: "Ops, eu errei, deixe-me tentar um ângulo diferente", e teve sucesso.

Resumo

WAM-RL é um método onde o "cérebro" (previsão) e o "corpo" (ação) de um robô aprendem juntos em tempo real. Ao fazer com que ambos melhorem simultaneamente, o robô torna-se muito melhor em tarefas longas e complexas e, o mais importante, aprende a corrigir seus próprios erros quando as coisas dão errado, em vez de apenas falhar.

Resumo Técnico: WAM-RL

Definição do Problema

Modelos de Mundo-Ação (WA) recentes demonstraram generalização forte e eficiência de dados no aprendizado de políticas robóticas ao modelar conjuntamente observações futuras e ações por meio de modelos generativos baseados em vídeo. No entanto, os modelos WA existentes dependem fortemente de aprendizado supervisionado de trajetórias de especialistas. Essa dependência impõe duas limitações fundamentais:

Restrições Distribuicionais: A política aprendida é limitada pelo suporte dos dados de treinamento, tendo dificuldade em adquirir habilidades de manipulação refinadas que estejam fora da distribuição de demonstração.
Falta de Melhoria Contínua: Os modelos não podem melhorar continuamente através da interação com o mundo real, dificultando sua capacidade de se adaptar a novos cenários ou corrigir erros durante a execução.

Embora o Aprendizado por Reforço (RL) seja uma solução natural, aplicar RL a modelos WA não é trivial. Ao contrário dos modelos padrão de Visão-Linguagem-Ação (VLA), onde a representação visual é frequentemente fixa, os modelos WA consistem em dois componentes fortemente acoplados: um modelo de mundo (gerando previsões futuras) e um modelo de ação (mapeando previsões para ações). Aplicar RL ou ajuste fino (fine-tuning) online de forma ingênua pode causar desvios de distribuição no espaço latente do modelo de mundo, levando à instabilidade e degradação de desempenho, pois o modelo de ação é profundamente dependente desse espaço latente.

Metodologia: WAM-RL

Os autores propõem o WAM-RL, um framework que permite a otimização conjunta do modelo de mundo e do modelo de ação através de interação online. O insight central é que o modelo de mundo fornece a estrutura preditiva e a capacidade de planejamento, enquanto o modelo de ação atua primariamente como um tradutor que converte previsões latentes em ações executáveis.

O framework emprega um esquema de otimização em duas partes:

1. SFT de Vídeo Online com Regularização KL (Modelo de Mundo)

Para refinar o modelo de mundo, os autores utilizam trajetórias coletadas durante interações bem-sucedidas para o ajuste fino auto-supervisionado (SFT) online.

Objetivo: O modelo de mundo é treinado para prever observações futuras usando um objetivo padrão de modelagem de vídeo (ex: flow matching).
Estabilização: Para evitar que a distribuição das características latentes mude drasticamente (o que quebraria o modelo de ação), uma regularização KL é introduzida. Isso restringe as características latentes do modelo de mundo atualizado a permanecerem próximas às de uma cópia congelada do modelo pré-treinado.
Implementação: Os autores aproximam as distribuições latentes como Gaussianas, utilizando uma média móvel exponencial (EMA) para estimar a covariância do modelo atual enquanto mantêm a covariância de referência fixa. Isso permite uma adaptação gradual preservando a geometria esperada pelo ator.

2. RL Baseado em Reconstrução (Modelo de Ação)

O modelo de ação é otimizado via RL para garantir que as trajetórias executadas realizem fielmente as previsões do modelo de mundo.

Sinal de Recompensa: Em vez de recompensas esparsas de tarefas, os autores definem uma recompensa densa baseada em reconstrução. Esta recompensa mede a consistência (similaridade) entre as observações futuras imaginadas (preditas pelo modelo de mundo) e as observações reais obtidas ao executar a ação no ambiente.
Métricas de Similaridade: Os autores investigam várias funções de similaridade, incluindo MSE ao nível de pixel, consistência de fluxo óptico e similaridade de características semânticas (DINOv2, V-JEPA2).
Otimização: O ator é atualizado via métodos de gradiente de política usando essas recompensas de reconstrução, efetivamente preenchendo a lacuna entre a imaginação do modelo de mundo e a execução no mundo real.

Principais Contribuições

Primeiro Framework de RL para Modelos WA: O WAM-RL é o primeiro framework que incorpora aprendizado por reforço ao paradigma Mundo-Ação, permitindo especificamente a otimização conjunta tanto do modelo de mundo quanto do modelo de ação.
Estratégia de Treinamento Estável: Os autores propõem uma estratégia de treinamento inovadora combinando SFT de vídeo online com regularização KL para o modelo de mundo e RL baseado em reconstrução para o ator. Este design facilita a coevolução de ambos os componentes sem desestabilizar o espaço latente.
Insights Empíricos em Tarefas de Longo Horizonte: O trabalho fornece insights críticos sobre as limitações da otimização apenas do ator. Os autores demonstram que otimizar apenas o ator gera melhorias em tarefas de curto horizonte, mas falha em fornecer ganhos significativos em tarefas de longo horizonte devido ao erro de predição acumulado. A otimização conjunta mostra-se crítica para o desempenho em cenários complexos de longo horizonte.

Resultados Experimentais

O método foi avaliado nos benchmarks LIBERO (manipulação centrada em objetos) e RLBench (habilidades de múltiplos passos).

Ganhos de Desempenho: O WAM-RL superou consistentemente tanto o modelo base pré-treinado (Base) quanto o RL apenas do ator ( $\pi$ $π$ RL).
- No LIBERO-Object, as taxas de sucesso melhoraram de 68% (Base) para 82% (WAM-RL), superando significativamente a abordagem de apenas o ator (78%).
- No RLBench (Water Plants), o WAM-RL melhorou as taxas de sucesso de 19% para 22%, enquanto o método de apenas o ator ( $\pi$ RL) não apresentou melhoria sobre o modelo base (18%).
Análise Comportamental:
- Comportamentos de Recuperação: A adaptação online do modelo de mundo permitiu a geração de comportamentos de recuperação mais realistas (ex: tentar novamente agarres falhos) em vez de prever falha imediata.
- Ablação de Recompensas: O estudo descobriu que, embora o fluxo óptico fornecesse o sinal de recompensa mais discriminativo entre sucesso e falha, o MSE ao nível de pixel gerou o melhor desempenho final. Os autores hipotetizam que isso ocorre porque o MSE de pixel se alinha melhor com o objetivo de treinamento do modelo de mundo e impõe uma regularização mais forte contra ações fora da distribuição.
- Ablação de SFT de Vídeo: Modelos treinados sem SFT de vídeo online falharam em recuperar-se de erros iniciais, derivando rapidamente para comportamentos fora da distribuição. Em contraste, modelos com SFT de vídeo aprenderam a antecipar falhas e gerar ações corretivas dentro de um único bloco de malha aberta (open-loop chunk).

Significância e Alegações

O artigo afirma que a eficácia dos modelos Mundo-Ação é fundamentalmente limitada pela qualidade do modelo de mundo. Embora a otimização apenas do ator possa melhorar tarefas de curto horizonte, ela não consegue abordar o erro de predição acumulado em configurações de longo horizonte.

A significância do WAM-RL reside em demonstrar que melhorar conjuntamente o modelo de mundo e o modelo de ação é essencial para uma tomada de decisão robusta de longo horizonte. Ao permitir que o modelo de mundo aprenda a dinâmica de falha e estratégias de recuperação através da interação online, o sistema pode antecipar e corrigir desvios, levando a uma execução mais robusta.

Os autores reconhecem modestamente as limitações, observando que a regularização KL restringe a extensão da adaptação do modelo de mundo, potencialmente limitando a expansão de capacidade além da distribuição pré-treinada. Além disso, a dependência de recompensas baseadas em reconstrução (frequentmente baseadas em representações pré-treinadas) pode oferecer pouco contraste entre sucesso e falha, sugerindo a necessidade de formulações de recompensa mais expressivas e conscientes da tarefa em trabalhos futuros.