MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation

Resumo Técnico: MoWM (Mixture-of-World-Models)

1. O Problema (Problem)

O planejamento de ações em robótica (embodied planning) exige que modelos gerem ações precisas a partir de observações visuais e instruções de linguagem. Atualmente, existem duas abordagens principais de "modelos de mundo" (world models), cada uma com limitações:

• Modelos de Mundo em Espaço de Pixels (Pixel-based): Baseados em modelos de difusão de vídeo, são excelentes em preservar detalhes visuais finos, mas sofrem com a redundância visual. Eles processam todos os pixels uniformemente, incluindo fundos estáticos e informações irrelevantes para o controle, o que pode obscurecer os sinais de movimento necessários para a decodificação de ações.
• Modelos de Mundo em Espaço Latente (Latent-based): Operam em espaços comprimidos e focam em transições de estado e dinâmica temporal. Embora sejam excelentes para capturar o movimento, eles tendem a suprimir detalhes visuais de alta fidelidade, o que prejudica tarefas que exigem manipulação precisa ou raciocínio espacial detalhado.

2. Metodologia (Methodology)

Os autores propõem o MoWM, um framework híbrido que funde as representações de ambos os espaços para criar uma característica visual que seja, simultaneamente, consciente do movimento (motion-aware) e espacialmente precisa. O método é dividido em duas etapas:

Etapa 1: Pré-treinamento de Modelos Híbridos

• Pixel-WM: Utiliza o Stable Video Diffusion (SVD) ajustado para seguir instruções de texto e prever sequências de vídeo futuras em alta resolução.
• Latent-WM: Utiliza um codificador V-JEPA 2 e um Transformer para prever transições de estado dentro de um espaço latente comprimido, focando na dinâmica temporal.

Etapa 2: Planejamento de Ação via Modulação de Características

• Extração e Alinhamento: As características de múltiplos níveis do Pixel-WM são extraídas e unificadas. As características do Latent-WM são projetadas linearmente para uma dimensão comum.
• Fusão (Feature Modulation): Em vez de usar apenas um modelo, o MoWM concatena as características latentes (ricas em movimento) com as de pixel (ricas em detalhes). Essa fusão passa por uma projeção linear para gerar uma representação fundida ($\Phi_{fused}$).
• Mecanismo de Resíduo: Para garantir que os detalhes finos não sejam perdidos, o modelo utiliza um mecanismo de porta (gating) que combina a característica fundida com a característica de pixel original ($\Phi_{final} = W_{gate}\Phi_{fused} + \Phi'_{pixel}$).
• Decodificação de Ação: As características finais alimentam uma Diffusion Policy, que realiza a denoising de um vetor de ação para gerar o movimento robótico final.

3. Principais Contribuições (Key Contributions)

• Arquitetura Híbrida: A introdução de um framework que integra as vantagens de modelos de mundo em pixel e em espaço latente.
• Mecanismo de Modulação: O uso de características latentes para "modular" e filtrar a redundância das características de pixel, destacando o que é relevante para a ação.
• Análise Comparativa: Um estudo profundo demonstrando que a concatenação simples de características é, neste caso, mais eficaz e estável do que mecanismos complexos de atenção cruzada (cross-attention).

4. Resultados (Results)

• Benchmark CALVIN: O MoWM alcançou o estado da arte (SOTA), superando modelos baseados em VLA (Vision-Language-Action) e outros modelos de mundo. Ele apresentou uma melhoria significativa na taxa de sucesso em tarefas de longo horizonte (etapas 4 e 5 do benchmark).
• Mundo Real: O modelo foi validado com sucesso em tarefas de manipulação real (como dobrar uma camiseta) usando a plataforma AgileX, demonstrando robustez fora de simulações.
• Eficácia da Fusão: Testes de ablação confirmaram que a fusão de características (concatenação) supera o uso exclusivo de características de pixel, provando que o componente latente ajuda o robô a "entender" o movimento.

5. Significância (Significance)

Este trabalho é significativo porque resolve o dilema entre detalhe vs. dinâmica. Ao provar que é possível usar a compressão do espaço latente para "limpar" o ruído visual do espaço de pixels, os autores oferecem um novo caminho para o desenvolvimento de robôs que podem realizar tarefas complexas e de alta precisão, mantendo a capacidade de generalização para novos ambientes e instruções.