WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL

Título: WoVR: Modelos de Mundo como Simuladores Confiáveis para Políticas VLA Pós-Treinamento com RL

1. O Problema: A Falha da "Alucinação" em Modelos de Mundo

Os modelos Visão-Linguagem-Ação (VLA) são fundamentais para a manipulação robótica, mas a maioria é treinada apenas por Aprendizado por Imitação (IL). Isso limita seu desempenho ao teto dos dados de demonstração disponíveis. O Aprendizado por Reforço (RL) poderia superar essas limitações, mas sua aplicação direta em robôs físicos é impraticável devido ao alto custo, lentidão e risco de interação no mundo real.

A solução proposta pela comunidade é usar Modelos de Mundo Aprendidos (geradores de vídeo) como simuladores para otimizar políticas em "imaginação" (rollouts fechados). No entanto, o artigo identifica um problema crítico: alucinação.

• Definição: Alucinação é a discrepância sistemática entre os resultados imaginados pelo modelo e a realidade física em interações de malha fechada.
• Causas:
  1. Feedback Autoregressivo: Pequenos erros iniciais acumulam-se rapidamente à medida que o modelo gera quadros futuros baseados em seus próprios quadros gerados.
  2. Mudança de Distribuição (Distribution Shift): À medida que a política melhora, suas ações desviam-se dos dados usados para treinar o modelo de mundo inicial, levando a previsões fora de distribuição.
• Consequência: Se o RL confiar cegamente nessas trajetórias alucinadas, a política aprenderá a explorar erros do modelo (ex: fingir sucesso visualmente) em vez de realizar progresso real na tarefa, degradando o sinal de otimização.

2. Metodologia: A Framework WoVR

Os autores propõem o WoVR (World-model-based Reinforcement Learning), uma estrutura que não assume que o modelo de mundo é perfeito, mas regula explicitamente como o RL interage com dinâmicas imperfeitas. A solução atua em três níveis interconectados:

A. Simulador: Modelo de Mundo de Vídeo Condicionado a Ação Estabilizado

Para reduzir a deriva (drift) em rollouts de longo prazo, o WoVR constrói um modelo de mundo baseado em difusão de vídeo (Wan2.2-TI2V) com duas inovações:

1. Injeção de Ação de Duplo Canal: Em vez de apenas injetar ações no início, o modelo usa duas vias complementares:
   • Modulação estilo AdaLN-Zero que funde embeddings de ação com o tempo de difusão.
   • Substituição de embeddings textuais por embeddings de ação em mecanismos de Cross-Attention.
   • Isso garante que as transições de estado respondam causalmente às ações da política.
2. Ancoragem no Primeiro Quadro (First-Frame Anchoring): Para evitar o colapso do cenário e a deriva espacial, o modelo mantém o primeiro quadro do episódio como referência constante no contexto de geração, restringindo a aparência global e a disposição da cena durante a geração autoregressiva.

B. Interação: Otimização de Política Consciente de Alucinação

Para mitigar o acúmulo de erros, o WoVR redefine como os rollouts são executados:

1. Keyframe-Initialized Rollouts (KIR): Em vez de sempre iniciar o rollout do estado inicial ($o_0$), uma parte dos rollouts é inicializada em quadros-chave (keyframes) próximos a estados críticos ou falhas encontradas pela política atual. Isso reduz a "profundidade de erro efetiva", permitindo que o modelo preveja apenas a parte crítica da tarefa onde a dinâmica precisa ser precisa, evitando a acumulação de erros na fase inicial.
2. GRPO Mascaramento: Utiliza Group Relative Policy Optimization (GRPO) onde passos após o sucesso imaginado são mascarados. Isso impede que a política otimize para "sucessos alucinados" que ocorrem após a conclusão da tarefa no simulador.

C. Alinhamento: Estratégia de Co-evolução Alinhada à Política (PACE)

Para combater a mudança de distribuição entre a política em evolução e o modelo de mundo estático:

• Co-evolução de Baixa Frequência: O WoVR não atualiza o modelo de mundo continuamente (o que seria instável). Em vez disso, ele treina um modelo base ($WM_{Base}$), otimiza a política, e então refina o modelo uma vez (ou com baixa frequência) usando os novos dados da política evoluída ($WM_{Evo}$).
• Isso alinha o simulador com a nova distribuição de ações sem exigir supervisão online contínua no mundo real.

3. Contribuições Principais

1. Identificação do Problema de Confiabilidade: O trabalho estabelece que o uso de modelos de mundo para RL não é apenas um problema de modelagem, mas de confiabilidade, onde a alucinação corrompe o sinal de aprendizado.
2. Framework WoVR: Uma abordagem unificada que combina design de simulador controlável, protocolo de interação confiável (KIR) e alinhamento de co-evolução (PACE).
3. Desempenho SOTA: Demonstra que é possível realizar otimização de política on-policy inteiramente em imaginação com ganhos significativos em tarefas de longo prazo e transferência para o mundo real.

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks LIBERO (simulação) e em um robô real Franka Emika Panda.

• Qualidade do Modelo de Mundo:

  • O WoVR superou modelos de base como EVAC, Cosmos-Predict2 e OpenSora em todas as métricas de fidelidade visual e consistência temporal (LPIPS, FID, FVD, FloLPIPS).
  • Mantém alta eficiência de inferência (23 FPS), permitindo rollouts de longo prazo estáveis.

• Desempenho da Política (LIBERO):

  • Média de Sucesso: O WoVR aumentou a taxa de sucesso média no LIBERO de 39,95% (base) para 69,2% (+29,3 pontos).
  • Comparação: Superou significativamente o RL online direto (44,6%) e métodos anteriores baseados em modelos de mundo (WMPO: 46,2%).
  • Longos Horizontes: O ganho foi particularmente notável em tarefas de longo horizonte (LIBERO-Long), onde métodos anteriores falharam devido à instabilidade do rollout.

• Transferência para o Mundo Real:

  • Em tarefas reais de manipulação (pegar banana e pão), a política otimizada com WoVR atingiu uma taxa de sucesso média de 91,7%, comparada a 61,7% da política base treinada apenas por imitação.
  • Isso prova que a otimização feita inteiramente em simulação (imaginação) transfere-se robustamente para robôs físicos sem necessidade de interação online massiva durante o treino.

5. Significado e Conclusão

O WoVR representa um avanço crucial na robótica baseada em RL. Ele demonstra que modelos de mundo aprendidos podem servir como simuladores práticos para RL, desde que a alucinação seja explicitamente controlada através de:

1. Design: Modelos estáveis e condicionados a ações.
2. Interação: Protocolos que evitam a acumulação de erros (KIR).
3. Alinhamento: Atualização periódica do simulador para acompanhar a política.

O trabalho sugere que o futuro do treinamento de robôs inteligentes pode depender menos de interações físicas massivas e custosas e mais de simulações gerativas inteligentes e confiáveis, permitindo que os robôs "treinem" e aprendam com falhas em um ambiente virtual seguro antes de atuar no mundo real.