Resumo Técnico: VLK – Aprendizado de Loco-Manipulação Humanoide a partir de Interações Sintéticas em Cenas Reconstruídas

Definição do Problema

A loco-manipulação humanoide baseada em percepção requer o mapeamento de observações visuais egocêntricas de alta dimensão e instruções de linguagem natural para comportamentos cinemáticos de corpo inteiro coordenados. Um gargalo fundamental para escalar essa capacidade é a falta de conjuntos de dados de grande escala e sincronizados que contenham a tupla completa de: (1) observações visuais egocêntricas, (2) instruções de tarefas e (3) trajetórias cinemáticas de corpo inteiro compatíveis com o robô.

• Teleoperação no mundo real fornece dados de alta qualidade, mas é cara e difícil de escalar através de diversos cenários e objetos.
• Captura de movimento humano oferece referências cinemáticas ricas, mas carece de visões egocêntricas correspondentes do robô.
• Datasets de vídeo egocêntrico fornecem experiência visual, mas carecem de cinemática ou ações robóticas pareadas.

Consequentemente, não existe uma fonte existente que forneça a supervisão de Visão-Linguagem-Cinemática (VLK) necessária para o aprendizado escalável de políticas.

Metodologia

Os autores propõem um pipeline que gera supervisão VLK pareada sinteticamente dentro de cenas internas reconstruídas em escala métrica. O sistema desacopla a geração de ativos do mundo, a síntese de comportamento e a renderização visual para superar a escassez de dados.

1. Pipeline de Geração de Dados Sintéticos

O pipeline opera em três estágios para produzir 48.000 trajetórias pareadas sem intervenção humana:

• Reconstrução e Anotação de Cena: Ambientes internos são reconstruídos a partir de varreduras de iPhone 14 Pro usando 3D Gaussian Splatting (3DGS) para preservar detalhes fotorrealistas e escala métrica. Caixas delimitadoras 3D semânticas e regiões caminháveis são anotadas para definir restrições para a síntese de movimento.
• Síntese de Movimento do Robô: Usando as restrições da cena anotada, o sistema sintetiza trajetórias do Unitree G1 para duas famílias de tarefas:
  • Navegação direcionada a objetos: Treinada em movimentos do BONES-SEED.
  • Interação com objetos: Treinada em sequências OMOMO retargetadas para a morfologia do G1 usando OmniRetarget.
  • Um modelo de difusão condicional gera trajetórias acopladas G1-objeto, condicionadas a instruções de tarefa, estados iniciais, geometria do objeto e rótulos de contato desejados no pulso.
• Renderização de Visão Egocêntrica: As trajetórias sintetizadas do G1 são reproduzidas no Isaac Sim dentro das cenas reconstruídas em 3DGS. Uma câmera virtual ZED 2i (calibrada para o robô físico) renderiza observações RGB pareadas. A randomização de domínio (iluminação, extrínsecos da câmera, distância focal) é aplicada para melhorar a robustez às lacunas visuais de sim-to-real.

2. Política de Visão-Linguagem-Cinemática (VLK)

O componente central de aprendizado é uma política que prevê trajetórias cinemáticas de corpo inteiro de curto horizonte.

• Entrada: Imagem RGB egocêntrica atual ($o_t$), instrução de tarefa ($\ell$) e estado cinemático atual do robô ($x_t$).
• Saída: Uma trajetória futura ($\hat{x}_{t+1:t+H}$) de comprimento $H=30$ (1 segundo a 30 Hz) e rótulos binários de contato pulso-objeto.
• Arquitetura e Treinamento: A política é inicializada a partir de um modelo $\pi_0.5$ pré-treinado e ajustada usando uma formulação de flow-matching com um objetivo de predição $x_0$. Perdas auxiliares são aplicadas para contato pé-chão, consistência de trajetória, precisão de cinemática direta e regularização de deslizamento do pé.
• Representação de Estado: O estado cinemático inclui deslocamento planar da raiz, yaw, altura, orientação da raiz em 6D, ângulos de junta (codificados via seno/cosseno para evitar descontinuidades) e rótulos de contato.

3. Rastreamento de Corpo Inteiro e Implantação

• Execução: As predições da política VLK servem como referências de alto nível para um rastreador de corpo inteiro sensível ao contato (baseado no SceneBot). O rastreador converte a cinemática prevista em alvos PD de nível de junta para o Unitree G1 físico.
• Sistema de Tempo Real: A implantação utiliza um sistema VLA de tempo real com Triton como backend de inferência. Em uma RTX 5090, a latência de ponta a ponta é estável em 31 ms. Para lidar com o desfoque de movimento (motion blur) e garantir continuidade, o sistema emprega seleção de quadros baseada em nitidez e blocos de ação sobrepostos.

Principais Contribuições

1. Geração de Supervisão VLK: Um novo pipeline que sintetiza 48.000 trajetórias pareadas (imagens egocêntricas, linguagem e cinemática) em cenas reconstruídas em 3DGS, abordando o gargalo de dados para loco-manipulação humanoide.
2. Síntese de Dados Desacoplada: Um método que aproveita informações privilegiadas da cena (ex: poses de objetos, geometria de colisão) para facilitar a geração de comportamento enquanto renderiza as observações a posteriori, permitendo uma escala massiva sem demonstração humana.
3. Transferência Sim-to-Real: Demonstração de que uma política treinada inteiramente em cenas reconstruídas sintéticas pode realizar com sucesso loco-manipulação baseada em percepção em um Unitree G1 físico em ambientes do mundo real.
4. Rastreamento Sensível ao Contato: Integração de rótulos de contato binários previstos no loop de rastreamento de corpo inteiro para estabilizar o transporte de objetos durante a manipulação.

Resultados Experimentais

O sistema foi avaliado no Unitree G1 em dois ambientes (laboratório e apartamento) com layouts de móveis variados.

• Taxas de Sucesso (Mundo Real):
  • Navegação: Alcançou sucesso quase perfeito (19/20 a 20/20) para tarefas de "Caminhar até" (Walk To) e "Girar" (Turn Around).
  • Manipulação de Piso: Alto sucesso ao pegar e colocar caixas do chão (16/20 a 20/20).
  • Manipulação de Superfície: Taxas de sucesso menores ao colocar caixas em superfícies (8/20 a 15/20), atribuídas à cobertura limitada de alturas de superfície de suporte nos dados de interação retargetados.
• Simulação vs. Realidade: O sistema alcançou altas taxas de sucesso no MuJoCo (com renderização IsaacSim), validando o desempenho de malha fechada antes da implantação no mundo real.
• Ablação de Volume de Dados: O desempenho escala com a quantidade de dados sintetizados. Embora a navegação seja robusta mesmo com poucos dados, as tarefas de manipulação (especificamente "Pick Surface") mostraram melhoria significativa, subindo de 0% de sucesso com 10% do volume de dados para 46% com o conjunto de dados completo.
• Randomização de Domínio: A randomização visual de domínio foi crítica para a transferência sim-to-real. Remover a randomização reduziu o sucesso da caminhada de 90% para 41% sob perturbações visuais.

Significância e Alegações

O artigo afirma que sintetizar interações compatíveis com robôs dentro de cenas reconstruídas fornece supervisão eficaz para loco-manipulação humanoide baseada em percepção sim-to-real.

Os autores posicionam este trabalho como uma solução para o gargalo de dados que tem impedido o aprendizado de políticas escaláveis. Ao conectar soluções parciais — 3DGS para ativos de mundo realistas e rastreamento de corpo inteiro para execução de comportamento — eles demonstram um pipeline "Real-to-Sim-to-Real" viável. Os resultados sugerem que gerar interações sintéticas em ambientes reconstruídos é um caminho promissor para o controle humanoide condicionado por percepção, particularmente para tarefas envolvendo navegação e o transporte de objetos grandes.

Limitações Reconhecidas:
O sistema atual é limitado pela cobertura do dataset OMOMO, sendo mais adequado para o transporte bimanual de objetos do tipo caixa do que para o manuseio de itens pequenos (ex: copos, ferramentas). Além disso, o rastreador sensível ao contato estabiliza a manipulação de objetos grandes, mas não aborda a preensão precisa de objetos. Estender isso para a manipulação de objetos pequenos exigiria dados de interação mais ricos e controladores de baixo nível especializados.