Resumo Técnico: DreamDojo

Declaração do Problema

O desenvolvimento de agentes robóticos generalistas depende fortemente de modelos de mundo capazes de simular estados futuros com base em ações. Embora avanços recentes em geração de vídeo tenham permitido modelos de mundo para domínios de controle discretos (ex: jogos, direção), eles enfrentam dificuldades com tarefas robóticas ricas em contato e de alta dimensionalidade. As abordagens existentes enfrentam três limitações primárias:

1. Escassez e Distribuição de Dados: Os dados robóticos são limitados pelos custos de hardware e variabilidade, frequentemente falhando em cobrir a variedade infinita de ambientes e objetos do mundo real.
2. Falta de Estocasticidade: Os conjuntos de dados existentes consistem predominantemente em demonstrações de especialistas, carecendo da estocasticidade nas intenções necessária para aprender um controle de ação robusto.
3. Escassez de Rótulos: Rótulos de ação refinados são escassos em conjuntos de dados de vídeo em larga escala. O treinamento ingênuo em vídeos passivos ignora a causalidade entre observações e ações, levando a uma transferência de conhecimento pobre para a simulação condicionada por ação.

Consequentemente, os atuais modelos de mundo de vídeo são frequentemente confinados à simulação de configurações observadas e falham em responder a ações contrafatuais ou em generalizar para objetos e ambientes não vistos.

Metodologia

O DreamDojo é introduzido como um modelo de mundo fundamental projetado para tarefas robóticas destras de mundo aberto. A abordagem consiste em três fases distintas:

1. Pré-treinamento em Vídeos Humanos em Larga Escala

Para superar as limitações de dados, os autores curaram o DreamDojo-HV, o maior conjunto de dados de vídeo egocêntrico humano até o momento, compreendendo 44.711 horas de vídeo. Este conjunto de dados abrange diversos cenários cotidianos (casa, varejo, transporte, etc.) com aproximadamente 6.015 habilidades únicas e 1,135 mil objetos únicos.

• Ações Latentes Contínuas: Para abordar a falta de rótulos de ação, os autores introduzem ações latentes contínuas como ações de proxy unificadas. Um Autoencoder Variacional (VAE) com uma arquitetura Transformer espaço-temporal extrai essas ações de quadros de vídeo consecutivos de maneira autossupervisionada. Isso cria um gargalo de informação que desmembra a informação de movimento crítica do contexto, permitindo a transferência de conhecimento cross-embodiment (de humanos para robôs).
• Arquitetura: O modelo é construído sobre o modelo de difusão de vídeo latente Cosmos-Predict2.5.
  • Ações Relativas: Em vez de poses articulares absolutas, as entradas são rebaseladas para ações relativas para reduzir a complexidade da modelagem.
  • Injeção em Blocos (Chunked Injection): As ações são injetadas como blocos (4 ações consecutivas por quadro latente) em vez de uma condição global para mitigar a confusão de causalidade.
  • Objetivo de Treinamento: A perda padrão de flow matching é aumentada com uma perda de consistência temporal para melhor corresponder às transições temporais de verdade fundamental (ground-truth), melhorando a completude de objetos e o seguimento de ações.

2. Pós-treinamento em Robôs Alvo

Para adaptar o modelo fundamental a incorporações (embodiments) robóticas específicas (ex: Fourier GR-1, Unitree G1, AgiBot), uma etapa de pós-treinamento é realizada em conjuntos de dados de robôs alvo de pequena escala.

• A camada de condicionamento de ação é resetada e reinicializada para corresponder ao espaço de ação do alvo.
• O modelo é totalmente ajustado (finetuned), aproveitando o forte pré-treinamento para alcançar generalização zero-shot para objetos não vistos e novos ambientes, apesar dos dados de alvo limitados.

3. Destilação para Inferência em Tempo Real

Para permitir aplicações como teleoperação ao vivo e planejamento online, o modelo fundamental é destilado em um modelo estudante autorregressivo usando o paradigma Self Forcing.

• Mudança de Arquitetura: O mecanismo de atenção bidirecional é substituado por atenção causal sobre uma janela deslizante.
• Processo: Um processo de duas etapas (aquecimento e destilação) alinha a distribuição do estudante com as soluções de ODE do professor, minimizando o descompasso entre distribuição de treino e teste.
• Resultado: O modelo destilado alcança 10,81 FPS em resolução de 640×480 com apenas 4 passos de denoising, mantendo a consistência de longo horizonte.

Principais Contribuições

1. Dataset DreamDojo-HV: Um conjunto de dados massivo e diverso de 44 mil+ horas de vídeos humanos egocêntricos, representando o maior corpus para pré-treinamento de modelos de mundo, com diversidade significativamente maior em habilidades e cenas do que conjuntos de dados robóticos anteriores.
2. Modelo de Mundo Fundamental: O primeiro modelo de mundo deste tipo que utiliza vídeos humanos em larga escala e ações latentes contínuas para alcançar generalização zero-shot para objetos e ambientes não vistos para manipulação destra.
3. Pipeline de Destilação: Um método para converter o modelo fundamental em um preditor autorregressivo de tempo real que mantém a consistência de contexto e suporta interações de longo horizonte sem degradação visual.
4. Aplicações Downstream: Demonstração da utilidade do modelo em avaliação de política, planejamento baseado em modelo e teleoperação ao vivo.

Resultados Experimentais

O artigo avalia o DreamDojo em seis benchmarks fora de distribuição (OOD), incluindo novos objetos, ambientes e ações contrafatuais.

• Condicionamento de Ação: O condicionamento de ação latente supera significativamente o pré-treinamento livre de ação e aproxima-se do desempenho de configurações ideais com rótulos de ação de verdade fundamental (ex: melhorias de PSNR no EgoDex Eval).
• Diversidade de Dados: O aumento da diversidade de dados (adicionando In-lab, EgoDex e DreamDojo-HV) melhora consistentemente a modelagem de física e a controlabilidade de ação em todos os benchmarks.
• Generalização: O modelo de 14 bilhões de parâmetros (DreamDojo-14B) supera o Cosmos-Predict2.5 base e a variante de 2B tanto em correção física quanto em seguimento de ação em avaliações de preferência humana.
• Eficiência de Destilação: O modelo estudante destilado roda 4× mais rápido (10,81 FPS vs. 2,72 FPS) que o professor enquanto mantém desempenho comparável em rollouts de longo horizonte (600 quadros). Também demonstra robustez superior a oclusões devido ao seu contexto de múltiplos quadros.
• Aplicações:
  • Avaliação de Política: O DreamDojo mostra uma forte correlação linear (Pearson $r=0,995$) entre as taxas de sucesso no mundo real e simulado para tarefas de embalagem de frutas.
  • Planejamento Baseado em Modelo: O uso do DreamDojo para planejamento em tempo de teste melhorou as taxas de sucesso em até 17% em relação ao melhor checkpoint único e quase 2× em comparação com a amostragem uniforme.
  • Teleoperação ao Vivo: O modelo permite a teleoperação em tempo real de um robô G1 virtual usando controles VR.

Significância e Alegações

O artigo afirma que o DreamDojo representa um passo significativo em direção a modelos de mundo robóticos de propósito geral. Ao alavancar vídeos humanos em larga escala e ações latentes contínuas, o método consegue fazer a ponte da lacuna de incorporação (embodiment gap), permitindo que robôs aprendam física e dinâmica através de interações humanas.

Os autores enfatizam que o DreamDoso possibilita a avaliação de política escalável sem implantação no mundo real e facilita o planejamento online baseado em modelo e a teleoperação ao vivo. O trabalho sugere que simular tarefas de mundo aberto e ricas em contato é viável através de modelos fundamentais treinados em dados humanos diversos, pavimentando o caminho para agentes generalistas mais capazes e adaptáveis.

O artigo reconhece modestamente as limitações, observando que o modelo tem dificuldade com ações rápidas e incomuns (ex: tapas/slapping) e que as taxas de sucesso simuladas podem às vezes ser superiores às do mundo real, indicando a necessidade de uma melhor nuance na geração de falhas. Sugere-se que trabalhos futuros explorem distribuições de ação mais amplas e simulação multi-view.