RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild

Resumo Técnico: RoSHI

1. O Problema

O aprendizado de robôs, especialmente para humanoides, depende cada vez mais de dados humanos ricos e de longo prazo coletados em ambientes reais ("in-the-wild"). No entanto, as soluções existentes para captura de movimento apresentam trade-offs significativos:

• Sistemas baseados em marcadores (ex: Vicon): Requerem espaços instrumentados, são caros e não são portáteis.
• Trajes IMU comerciais (ex: Xsens): Oferecem robustez a oclusões, mas são caros e frequentemente carecem de localização global consistente (sofrem de drift acumulado).
• Pipelines de visão apenas (exocêntrica ou egocêntrica): Dependem fortemente da colocação da câmera, iluminação e sofrem com oclusões e borrões em movimentos rápidos.

Não existe atualmente uma ferramenta portátil, de baixo custo e focada em humanoides que capture simultaneamente pose 3D do corpo, trajetória global consistente e vídeo RGB egocêntrico sem necessidade de infraestrutura externa.

2. Metodologia

O RoSHI (Robot-oriented Suit for Human Data In-the-Wild) é um sistema híbrido vestível que funde sensores inerciais de baixo custo com sensores visuais egocêntricos.

• Hardware:

  • 9 IMUs (Unidades de Medição Inercial): Sensores de consumo (BNO085) de baixo custo (~$30 cada), distribuídos pelo corpo (braços, pernas, pélvis). Eles fornecem robustez a oclusões e movimentos rápidos.
  • Óculos Project Aria: Fornecem um fluxo de vídeo RGB egocêntrico de grande angular e estimativas de SLAM (Localização e Mapeamento Simultâneo) para trajetória global.
  • Custo Total: Aproximadamente $350 USD para o conjunto de 9 IMUs e receptor, tornando-o altamente acessível.

• Fusão de Sensores e Pipeline de Dados:

  • Sincronização: Os dados de vídeo, IMU e metadados do Aria são sincronizados via carimbos de tempo Unix (UTC), alinhados por correspondência de vizinho mais próximo.
  • Geração de Pose Corporal: O sistema utiliza um modelo de difusão (baseado no EgoAllo) para gerar poses corporais (SMPL).
    • Diferencial do RoSHI: Em vez de usar apenas poses de mãos estimadas por vídeo (que falham em oclusões), o RoSHI guia o modelo de difusão usando orientações de ossos derivadas dos 9 IMUs.
    • Calibração Assistida por Visão: Para evitar a calibração manual complexa (como poses T-pose ou caixas de calibração), o sistema usa AprilTags fixos nos IMUs. Uma câmera externa (iPhone) grava um vídeo curto de movimento natural para calcular as transformações entre os sensores e o esqueleto SMPL, permitindo recalibração rápida sem remover os sensores.
  • Fusão: O SLAM do Aria fornece a trajetória global da cabeça (raiz), que é transformada para a pélvis, enquanto os IMUs estabilizam a pose do corpo e corrigem o drift visual durante oclusões ou movimentos rápidos.

3. Principais Contribuições

1. Pipeline de Captura Portátil e de Baixo Custo: Um sistema que funde IMUs esparsos com sensores egocêntricos para capturar pose 3D síncrona, trajetória global métrica e vídeo RGB em primeira pessoa, sem gaiolas de captura ou câmeras externas.
2. Abordagem Leve de Geração de Pose: Um método que condiciona a geração de pose em poses de SLAM e guia o modelo com orientações ósseas dos IMUs, mantendo a robustez mesmo sob oclusão visual severa.
3. Recurso Aberto e Dataset: Lançamento do design de hardware, pilha de coleta de dados e um dataset curado de movimentos corporais diversos com ground truth anotado.

4. Resultados e Avaliação

Os autores coletaram um dataset com 11 sequências de movimento (caminhada, corrida, esportes, gestos) em ambientes internos e externos.

• Avaliação Quantitativa:

  • O RoSHI superou as baselines egocêntricas puras (como EgoAllo) e sistemas apenas IMU em termos de Erro Médio de Posição por Articulação (MPJPE) e Erro de Ângulo de Articulação (JAE).
  • Em comparação com a baseline de visão exocêntrica de última geração (SAM3D), o RoSHI obteve desempenho comparável ou superior, especialmente em cenários com oclusão ou movimento rápido, onde o SAM3D falha (recuperação de apenas 50-77% dos quadros em certos datasets).
  • O sistema demonstrou menor erro global de localização e reconstrução de pose articulada.

• Avaliação Qualitativa e Controle de Robô:

  • Os dados capturados foram usados para treinar políticas de controle para um robô humanoide real (Unitree G1).
  • O sistema permitiu a transferência bem-sucedida de comportamentos dinâmicos complexos, como pulos em perna única, curvas de tênis, agachamentos e reverências.
  • A trajetória global consistente foi crucial para que o robô mantivesse o alinhamento correto entre a pose imitada e o caminho percorrido.

5. Significado e Impacto

O RoSHI representa um avanço significativo na democratização da coleta de dados para robótica. Ao priorizar a confiabilidade e a estabilidade de longo prazo em detrimento da precisão quadro-a-quadro absoluta (comum em sistemas de estúdio), o sistema atende às necessidades reais de aprendizado de políticas para humanoides.

• Escalabilidade: O baixo custo e a portabilidade permitem a coleta massiva de dados em ambientes não instrumentados, algo impossível com sistemas Vicon ou trajes IMU comerciais caros.
• Transferência Sim-to-Real: O trabalho demonstra que dados capturados com sensores de consumo podem ser suficientes para treinar políticas de controle robustas que funcionam no mundo real, superando a barreira de entrada para pesquisa em interação humano-robô.
• Limitações Futuras: O sistema ainda enfrenta desafios na reconstrução de articulações não observáveis diretamente pelos IMUs (como ombros e pélvis em certas configurações) e pode introduzir artefatos de torção sob otimização com restrições conflitantes.

Em suma, o RoSHI preenche uma lacuna crítica ao fornecer uma interface de dados de baixa fricção para a próxima geração de robôs humanoides, permitindo que eles aprendam habilidades complexas diretamente de demonstrações humanas em ambientes do dia a dia.