Resumo Técnico: Wh0 - Modelos de Mundo Generativos como Fontes Escaláveis de Dados de Manipulação Humana Egocêntrica

1. Declaração do Problema

Escalar a manipulação destreza em robótica requer generalização através de diversos objetos, cenas e tarefas. No entanto, as fontes de dados existentes enfrentam um compromisso fundamental entre escala e alinhamento com a implantação do robô:

• Dados de Teleoperação: Bem alinhados com a implantação do robô (cena e incorporação/embodiment), mas caros de coletar e limitados em escala.
• Simulação: Altamente escalável, mas sofre de uma lacuna significativa entre simulação e realidade (sim-to-real gap).
• Vídeos Egocêntricos Reais: Escalam efetivamente e fornecem ricos priors de interação humano-objeto, mas sofrem de lacunas de cena (ambientes humanos diferem dos espaços de trabalho de robôs) e lacunas de incorporação (mãos humanas diferem de mãos robóticas destras).

Os modelos atuais de Visão-Linguagem-Ação (VLA), frequentemente pré-treinados em grandes escalas de vídeos humanos, têm dificuldade em transferir esses priors para a implantação robótica destra devido a esses desalinhamentos. O artigo postula que uma fonte de dados ideal deve ser escalável, alinhada à implantação e minimizar a dependência da coleta dispendiosa de dados humanos.

2. Metodologia: O Framework Wh0

Os autores propõem o Wh0, um framework que utiliza modelos de mundo de vídeo generativos como fontes controláveis e escaláveis para sintetizar dados de manipulação humana egocêntrica. Em vez de usar modelos de mundo para simular a dinâmica do robô ou prever estados futuros, o Wh0 os utiliza para gerar vídeos diversos de interação humano-objeto condicionados por linguagem, objetos e cenas.

A. Construção do Conjunto de Dados WM-H

O Wh0 constrói o WM-H, um conjunto de dados de 50.000 episódios de vídeos de interação humano-objeto egocêntricos. O pipeline de síntese envolve quatro estágios principais:

1. Geração de Instrução: Um sistema de dois agentes equilibra diversidade e frequência. Um agente descobre substantivos de objetos e adjetivos de atributos, enquanto um segundo agente amostra palavras sub-representadas para montar comandos de linguagem natural (ex: "pegue a caneca vermelha"). Isso garante uma ampla cobertura de combinações (objeto, atributo).
2. Síntese de Vídeo Alinhada com Cena e Incorporação:
   • Alinhamento de Cena: Imagens de fundo são capturadas no espaço de trabalho alvo do robô usando a câmera de implantação para garantir correspondência de viewpoint, resolução e escala métrica. Uma mão humana é colocada como âncora de escala. Objetos são inseridos nessas cenas usando modelos de edição de imagem (Qwen-Image-Edit).
   • Geração de Vídeo: Um modelo de imagem-para-vídeo (Wan-I2V-A14B) anima a cena editada com base na instrução de linguagem. Para melhorar a correção do movimento, um modelo de visão-linguagem (Qwen3-VL) gera descrições das mudanças de estado esperadas para anexar ao prompt.
   • Alinhamento de Incorporação: Para reduzir a lacuna entre mãos humanas e robóticas, o pipeline substitui a mão humana em quadros selecionados por uma mão robótica realista usando edição de imagem, preservando a pose, posição e movimento do objeto originais. Isso incentiva a política a aprender semântica de ação em vez de identidade do executor.
3. Extração de Movimento da Mão: Como a reconstrução de mãos humanas é mais madura do que a de mãos robóticas, o sistema extrai poses de mão 3D dos vídeos sintetizados de mão-humana. Usando HaWoR, o sistema reconstrói parâmetros MANO e poses de pulso no espaço da câmera para servir como supervisão explícita de ação.
4. Saída do Conjunto de Dados: O resultado é o WM-H, contendo 50k episódios com instruções de linguagem, anotações de pose de mão 3D e dados visuais alinhados. O custo de geração é de aproximadamente 5,44 GPU-horas por 1.000 vídeos.

B. Estratégia de Aprendizado de Política

O Wh0 emprega uma estratégia de co-treinamento para adaptar modelos VLA pré-treinados:

• Arquitetura: A política segue uma arquitetura estilo VITRA, usando um backbone PaliGemma para codificação visão-linguagem e um decodificador de ação baseado em difusão. O espaço de ação é definido no espaço MANO unificado (102 dimensões), permitindo que as juntas do robô sejam retargetadas para os parâmetros da mão humana.
• Mistura de Treinamento: O modelo é inicializado com um backbone VITRA pré-treinado em grandes escalas de vídeos humanos (Ego4D, Epic-Kitchens, etc.). Ele é então ajustado (fine-tuned) em uma mistura de:
  • Dados Limitados de Teleoperação Real: 400 trajetórias de especialistas (28% do lote) para fornecer restrições específicas de implantação.
  • Dados WM-H: 50.000 amostras sintéticas (68% do lote) para fornecer diversidade visual e semântica.
  • Quadros Alinhados com Incorporação: Um subconjunto de quadros do WM-H com mãos robóticas editadas (4% do lote).
• Objetivo: Esta abordagem visa unir os priors de manipulação humana com as restrições de execução do robô através de um espaço de ação unificado.

3. Principais Contribuições

1. Modelos de Mundo Generativos como Motores de Dados: O artigo reestrutura os modelos de mundo de vídeo generativos não como simuladores de dinâmica, mas como geradores escaláveis e controláveis de dados de manipulação de mão humana, onde cena, objeto e incorporação são variáveis de design.
2. Conjunto de Dados WM-H: A criação de um conjunto de dados de 50k amostras que combina de forma única escala com baixas lacunas de cena e incorporação, apresentando diversos objetos, layouts e interações mão-objeto.
3. Framework de Co-treinamento: Uma estratégia de treinamento inovadora que co-treina dados reais limitados de robôs com massivos dados sintéticos de mão humana, demonstrando que essa combinação desbloqueia capacidades de manipulação pré-treinadas que são inacessíveis apenas com dados de robôs.
4. Técnicas de Alinhamento: Métodos específicos para alinhar vídeos gerados aos espaços de trabalho do robô (alinhamento de cena via captura de fundo) e às incorporações do robô (edição de mão-robô) para minimizar a lacuna sim-to-real.

4. Resultados Experimentais

O framework foi avaliado em um humanoide Unitree G1 com mãos destras Inspire em 18 tarefas reais de manipulação destra (ex: agarrar, colocar, uso de ferramentas) envolvendo objetos e ambientes não vistos.

• Ganho de Desempenho: Comparado a uma forte linha de base VLA (VITRA) pós-treinada apenas em dados de teleoperação de robô (8,3% de sucesso zero-shot), o framework Wh0 melhorou a taxa de sucesso para 38,9% (um ganho de 4,7×).
• Estudos de Ablação:
  • Alinhamento: Remover o alinhamento de cena ou de incorporação degradou significativamente o desempenho, confirmando que ambos são drivers críticos de sucesso.
  • Escala: Aumentar o tamanho do conjunto de dados WM-H (de 5k para 50k) melhorou consistentemente as métricas de grounding e o sucesso da tarefa.
  • Priors de Pré-treinamento: A análise mostrou que o pré-treinamento em vídeo humano é essencial. Sem ele, mesmo com teleoperação e WM-H, as taxas de sucesso permaneceram próximas de zero. Isso indica que o WM-H atua para desbloquear e alinhar os pors de manipulação humana já adquiridos durante o pré-treinamento de larga escala de vídeos humanos, em vez de ensinar habilidades destras do zero.
• Comparação: O Wh0 superou as linhas de base que utilizam vídeos humanos egocêntricos reais (HOI4D) para co-treinamento, sugerindo que os dados gerados por modelos de mundo fornecem supervisão mais adequada para a execução do robô.

5. Significância e Alegações

O artigo afirma que o Wh0 demonstra um caminho viável para escalar a manipulação destra ao alavancar modelos de mundo generativos. A principal significância reside em mostrar que a geração escalável combinada com o alinhamento de implantação pode superar o gargalo da escassez de dados em robótica.

Os autores afirmam que:

• Modelos de mundo generativos podem servir como fontes de dados "impulsionadas por computação", substituindo a necessidade de enorme trabalho humano de coleta.
• O valor primário do WM-H não é aprender novas habilidades do zero, mas sim ativar e alinhar os priors de manipulação já adquiridos pelos modelos VLA durante o pré-treinamento de larga escala em vídeos humanos.
• Esta abordagem permite que robôs generalizem zero-shot para tarefas, ambientes e instruções não vistos no mundo real.

Limitações Reconhecidas:
O artigo observa que a abordagem é limitada pela qualidade da geração de vídeo (potenciais impossibilidades físicas), precisão da reconstrução de mão (oclusões), incompatibilidade de morfologia humano-robô e dependência de um forte pré-treinamento em vídeo humano. O escopo atual é limitado a tarefas de pick-and-place de braço único, com tarefas bimanuais e de longo horizonte identificadas como trabalhos futuros.