Action Images: End-to-End Policy Learning via Multiview Video Generation

Resumo Técnico: Action Images

1. O Problema

Os Modelos de Ação do Mundo (World Action Models - WAMs) têm avançado na previsão de futuras observações em robótica, utilizando backbones de geração de vídeo poderosos. No entanto, existe uma lacuna crítica entre a generalização de vídeo (prever frames futuros plausíveis) e a generalização de política (decidir como agir em ambientes não vistos).

As abordagens existentes geralmente falham em duas frentes:

1. Módulos Separados: Elas frequentemente acoplam um "cabeça de política" ou módulo de ação separado ao modelo de vídeo, o que desconecta o conhecimento pré-treinado do vídeo da tomada de decisão.
2. Representações Não-Grounded: Muitas usam representações de ação de baixa dimensão (tokens latentes) que não estão ancoradas no espaço de pixels, dificultando a transferência entre diferentes pontos de vista (viewpoints) e ambientes.

O resultado é que o modelo de vídeo prevê bem o futuro, mas não consegue traduzir essa previsão em controle robótico robusto e zero-shot (sem ajuste fino para a tarefa específica).

2. Metodologia: Action Images

O trabalho propõe o Action Images, um modelo unificado de mundo-ação que reformula o aprendizado de política como um problema de geração de vídeo multivista. A ideia central é traduzir ações robóticas de 7 graus de liberdade (7-DoF) em imagens de ação interpretáveis e ancoradas em pixels.

Principais Componentes:

• Representação de Ação como Imagem (Action as Images):

  • Em vez de tratar a ação como um vetor numérico, cada ação $a_t = [p_t, \theta_t, g_t]$ (posição, orientação, abertura da garra) é convertida em três pontos semânticos 3D:
    1. Ponto de Posição: A posição do efetuador final.
    2. Ponto Normal: Um vetor normal ao plano da garra.
    3. Ponto "Up": Um vetor indicando a direção "para cima" da garra.
  • Esses pontos 3D são projetados no espaço 2D da imagem (usando calibração de câmera) e renderizados como mapas de calor Gaussianos em canais de cores específicos (Vermelho para posição, Verde para normal, Azul para "up" + abertura da garra).
  • Isso cria um "vídeo de ação" que tem a mesma estrutura espacial e temporal que a observação do robô (RGB).

• Modelo Unificado de Mundo-Ação:

  • O modelo utiliza um backbone de geração de vídeo pré-treinado (baseado no Wan 2.2) que processa observações e ações no mesmo espaço latente.
  • Tokenização: Os vídeos de observação e os vídeos de ação são concatenados temporalmente e alimentados no modelo.
  • Estratégias de Máscara (Masking): O modelo é treinado com uma única arquitetura, mas muda de comportamento dependendo de quais tokens são mascarados:
    1. Geração Conjunta (Joint Generation): Prever vídeo e ação futuros a partir de texto e estado inicial.
    2. Geração Condicionada à Ação: Prever o vídeo futuro dado um vídeo de ação.
    3. Rotulagem de Ação (Video-to-Action): Inferir a ação a partir de um vídeo de observação.
    4. Geração Apenas de Vídeo: Para dados sem anotação de ação.

• Decodificação (Decoding):

  • Para executar a política, o modelo gera os "Action Images". Um decodificador simples recupera os pontos 3D a partir dos mapas de calor multivista (usando ray casting e correspondência entre vistas) e reconstrói o vetor de ação de 7-DoF original.
  • A abertura da garra é recuperada diretamente do canal azul em regiões de baixa resposta.

3. Contribuições Chave

1. Ponte entre Generalização de Vídeo e Política: Identifica que a representação da ação é o gargalo e propõe ancorar a ação no espaço de pixels para permitir que o próprio backbone de vídeo atue como uma política zero-shot.
2. Representação Multivista de Ação: Introduz "Action Images" que codificam o controle 7-DoF em mapas de calor visíveis, resolvendo ambiguidades de projeção 2D através de múltiplas vistas.
3. Modelo Unificado Sem Módulos Separados: Demonstra que é possível realizar geração de vídeo, geração condicionada a ação e controle robótico com um único modelo, eliminando a necessidade de cabeças de política adicionais.
4. Desempenho Zero-Shot: O modelo consegue transferir conhecimento para novos objetos, ambientes e robôs sem treinamento específico, superando métodos baseados em VLA (Vision-Language-Action) e modelos de mundo anteriores.

4. Resultados Experimentais

Os autores avaliaram o modelo em simulação (RLBench) e no mundo real (xArm), comparando com baselines como $\pi_0.5$, MolmoAct, TesserAct e Cosmos-Policy.

• Taxa de Sucesso Zero-Shot:
  • No RLBench, o método alcançou taxas de sucesso significativamente superiores (ex: 60% em "Pick Cup" vs. 5% do $\pi_0.5$; 50% em "Reach Target" vs. 35%).
  • No Mundo Real (objetos e ambientes não vistos), o modelo manteve desempenho robusto onde outros falharam completamente (0% de sucesso em várias tarefas para baselines concorrentes).
• Qualidade de Geração Conjunta:
  • O modelo superou os baselines em métricas de qualidade de vídeo (PSNR, SSIM, FVD, LPIPS) e precisão de trajetória (erro 2D e 3D), demonstrando que a representação de ação não degrada a qualidade visual.
• Capacidades Adicionais:
  • Geração Condicionada à Ação: Superou o baseline Tora em todas as métricas de vídeo.
  • Rotulagem de Ação: Superou rastreadores de pontos (TAPIR, CoTracker) na tarefa de inferir trajetórias de ação a partir de vídeos.

5. Significado e Conclusão

O trabalho Action Images representa um avanço significativo na robótica baseada em modelos de mundo. Ao tratar o controle como um problema de previsão visual multivista, o método elimina a desconexão entre a percepção (vídeo) e a ação.

• Generalização: A ancoragem em pixels permite que o modelo generalize naturalmente para novos pontos de vista e configurações de câmera, algo difícil com representações latentes abstratas.
• Eficiência de Arquitetura: A eliminação de módulos de política separados simplifica o pipeline e permite aproveitar todo o conhecimento pré-treinado de modelos de vídeo de grande escala.
• Futuro: Embora o trabalho foque em políticas open-loop (sem realimentação em tempo real), os autores apontam que a aceleração de inferência (via distillation) pode viabilizar o uso em controle closed-loop no futuro.

Em suma, o artigo sugere que fundir ação e observação em um espaço visual comum é um caminho promissor para criar políticas robóticas mais generalizáveis e robustas.