Resumo Técnico: O Large Video Planner Habilita Controle Robótico Generalizável

Declaração do Problema

Robôs de propósito geral exigem algoritmos de planejamento que possam generalizar através de tarefas diversas e ambientes novos. Embora avanços recentes em modelos Visão-Linguagem-Ação (VLA) tenham estendido Modelos de Linguagem Grandes Multimodais (MLLMs) para incluir saídas de ação, esses sistemas enfrentam um problema fundamental de escassez de dados. Diferentemente dos dados de texto e imagem em escala da web que sustentam os MLLMs, os dados de ação robótica são extremamente limitados. Consequentemente, os VLAs existentes dependem de um paradigma de transferência assimétrica, onde conhecimento pré-treinado amplo é ajustado finamente em conjuntos de dados robóticos estreitos. Essa abordagem frequentemente resulta em generalização pobre quando os robôs encontram novas tarefas ou situações não vistas, pois os modelos carecem de exposição suficiente às dinâmicas temporais das interações físicas.

Metodologia

Os autores propõem um paradigma alternativo: usar pré-treinamento em vídeo em larga escala como a modalidade primária para construir modelos fundamentais de robótica. Diferentemente de imagens estáticas ou linguagem, os vídeos codificam naturalmente sequências espaço-temporais de estados e ações, fornecendo uma representação mais rica de comportamento físico contínuo.

O sistema proposto, Large Video Planner (LVP), opera através de um pipeline de duas etapas:

1. O Modelo Fundamental de Vídeo (LVP)

O LVP é um modelo de difusão de vídeo com 14 bilhões de parâmetros projetado especificamente para planejamento generativo.

• Arquitetura: Ele utiliza um Autoencoder Variacional (VAE) 3D causal temporal para comprimir clipes de vídeo em um espaço latente. Um Transformador de Difusão (DiT) é então treinado neste espaço latente usando um objetivo de Correspondência de Fluxo (Flow Matching).
• Estratégia de Treinamento: O modelo emprega Forçamento de Difusão (Diffusion Forcing), uma técnica que aplica níveis de ruído independentes a diferentes quadros dentro de uma sequência. Isso permite que o modelo condicione flexivelmente quantidades variáveis de histórico (de zero quadros a múltiplos quadros anteriores) durante o treinamento e a inferência.
• Mecanismos de Orientação: Para garantir consistência física e adesão às instruções, o modelo integra Orientação por Histórico (History Guidance). Esta é uma variante da Orientação sem Classificador (CFG) que condiciona a geração em quadros de contexto fornecidos (por exemplo, a observação inicial do robô) juntamente com instruções de texto, melhorando significativamente a fidelidade do movimento em comparação com a orientação apenas por texto.
• Etapas de Treinamento: O modelo passa por duas etapas:
  1. Pré-treinamento Contínuo: Treinado em um conjunto de dados massivo para aprender dinâmicas ricas e seguimento de instruções.
  2. Ajuste Fino com Baixo Movimento de Câmera: Uma etapa especializada usando um subconjunto de dados com baixo fluxo óptico para suprimir a deriva indesejada da câmera, garantindo que os planos gerados sejam estáveis para execução robótica.

2. Conjunto de Dados LVP-1M

Para apoiar esse treinamento, os autores curaram o LVP-1M, um conjunto de dados aberto em escala de internet com 1,4 milhão de clipes de vídeo.

• Fontes: O conjunto de dados agrega dados de quatro conjuntos de dados de teleoperação robótica (Bridge, Droid, Language Table, AgiBot-World) e quatro conjuntos de dados de atividades centradas em humanos (Ego4D, Epic-Kitchens, Something-Something e um subconjunto filtrado do Panda-70M).
• Processamento: Os clipes são rigorosamente filtrados por qualidade, incorporação visível (mãos ou garrafas) e ausência de movimento rápido da câmera. Crucialmente, os autores realizam alinhamento temporal, reamostrando vídeos robóticos para corresponder às velocidades humanas, garantindo consistência temporal através de diferentes morfologias.
• Legendagem: O conjunto de dados é enriquecido com legendas centradas em ação geradas por LLMs (Gemini), variando de descrições curtas de tarefas a narrativas de ação detalhadas, para aprimorar capacidades de seguimento de instruções.

3. Extração e Redirecionamento de Ação

O sistema traduz planos de vídeo gerados em ações robóticas executáveis:

• Estimativa de Movimento: Para vídeos de mãos humanas, o sistema usa HaMeR para estimativa de pose de mão por quadro e MegaSAM para reconstrução de cena 4D para garantir escala métrica e suavidade temporal.
• Redirecionamento: As trajetórias de mão humana estimadas são redirecionadas para efetuadores finais de robôs. Para mãos destrosas, o Dex-Retargeting resolve um problema de otimização para mapear configurações de juntas humanas para juntas robóticas. Para garrafas de mandíbulas paralelas, o sistema usa GraspNet para prever poses de preensão com base na geometria da cena e na intenção de preensão detectada.
• Execução: As trajetórias redirecionadas são transformadas no quadro de controle do robô, e a cinemática inversa (usando cuRobo) é resolvida para o braço, enquanto as trajetórias dos dedos dirigem o controlador da mão diretamente.

Principais Contribuições

1. Large Video Planner (LVP): Um modelo fundamental de vídeo com 14B de parâmetros projetado para planejamento incorporado que gera planos de vídeo zero-shot a partir de uma única imagem e instrução de texto.
2. Conjunto de Dados LVP-1M: Um conjunto de dados curado e aberto de 1,4M de clipes combinando interações humanas e robóticas, processado para aprendizado centrado em ação e alinhamento temporal.
3. Protocolo de Avaliação Rigoroso: Um novo framework de avaliação usando tarefas selecionadas por terceiros "no mundo real" e experimentos com robôs reais para avaliar generalização no nível da tarefa, indo além de benchmarks padrão no nível do objeto.

Resultados

O artigo avalia o LVP através de dois experimentos principais:

Avaliação de Planejamento de Movimento em Vídeo

Usando um conjunto de teste de 100 tarefas diversas selecionadas por terceiros (por exemplo, raspar fita adesiva, abrir um portão, dar descarga em um vaso sanitário), o LVP superou significativamente modelos de geração de vídeo de base (Wan 2.1, Cosmos-Predict 2, Hunyuan).

• Conclusão da Tarefa: O LVP alcançou uma taxa de sucesso de 59,3% no "Nível 3" (Tarefa Concluída: contato correto, estado final e movimento plausível), comparado a 39,3% para a melhor base (Wan 2.1).
• Consistência Física: O LVP demonstrou capacidade superior de gerar trajetórias fisicamente coerentes, evitando inconsistências espaciais e semânticas comuns nas bases.

Execução em Robô Real

O sistema foi implantado em duas plataformas: um Braço Franka com uma garrafa de mandíbulas paralelas e um humanoide Unitree G1 com uma mão destrosa Inspire.

• Generalização: O LVP executou com sucesso tarefas zero-shot em ambientes não vistos, incluindo abrir portas, limpar mesas, colher grãos de café e rasgar fita adesiva.
• Comparação: Em comparação direta com bases VLA de última geração (π0 e OpenVLA), o LVP mostrou generalização mais forte em tarefas novas. Enquanto as bases performaram bem em tarefas familiares de pegar e colocar, elas lutaram com tarefas complexas fora da distribuição onde o LVP teve sucesso.
• Manipulação Destrosa: O sistema transferiu com sucesso articulações complexas de mão humana para a mão robótica destrosa, uma capacidade onde as bases existentes (que não suportam mãos multifinger) não puderam ser avaliadas.

Significado e Alegações

O artigo alega que usar vídeo como modalidade primária oferece uma "fonte de transferência diretamente fundamentada" para robótica. Ao alavancar as dinâmicas temporais abundantes presentes em dados de vídeo em escala de internet, o LVP preenche a lacuna entre pré-treinamento em larga escala e tomada de decisão incorporada.

Os autores argumentam que essa abordagem permite seguimento robusto de instruções e forte generalização para tarefas e ambientes não vistos, abordando um desafio central na inteligência incorporada. O trabalho demonstra que um modelo fundamental de vídeo pode servir como um planejador de movimento visual no espaço de pixels, gerando planos que podem ser redirecionados para diversas morfologias robóticas para execução no mundo real. Os autores lançam o modelo, o conjunto de dados e o código para apoiar pesquisa aberta e reprodutível em aprendizado robótico baseado em vídeo.

Nota: Os autores reconhecem limitações, incluindo o tempo de inferência necessário para geração de vídeo (vários minutos em uma única GPU A100), erros potenciais nos módulos de reconstrução e redirecionamento de código aberto, e a dependência atual de execução em malha aberta, o que pode limitar o desempenho em tarefas altamente destrosas que exigem feedback em malha fechada.