Resumo Técnico: MobileEgo Anywhere

Declaração do Problema

O avanço dos modelos de Visão-Linguagem-Ação (VLA) criou uma demanda crítica por dados egocêntricos de grande escala e longo horizonte. Embora conjuntos de dados existentes (por exemplo, Ego4D, Epic Kitchens) forneçam milhares de horas de vídeo, eles são frequentemente limitados a episódios curtos (tipicamente minutos) e carecem do rastreamento preciso e contínuo de pose 6-DoF necessário para o aprendizado de políticas robóticas. Por outro lado, conjuntos de dados com rastreamento preciso (por exemplo, EgoScale) frequentemente apresentam episódios muito curtos e desconectados. Além disso, a coleta de dados de alta fidelidade tradicionalmente depende de hardware especializado e caro (por exemplo, Meta Project Aria, rigs de captura de movimento) ou teleoperação, criando barreiras significativas para escalar a diversidade e o volume de dados. Leis de escalabilidade atuais sugerem que alcançar a próxima fronteira da robótica generalizável requer um aumento de uma ordem de magnitude no volume e na diversidade de dados, o que atualmente é impedido por essas limitações de hardware e temporais.

Metodologia

Os autores apresentam MobileEgo Anywhere, um framework projetado para coletar trajetórias egocêntricas robustas com duração superior a uma hora, utilizando hardware móvel comercial (especificamente dispositivos iOS com LiDAR, como o iPhone Pro).

1. Sistema de Coleta de Dados

• Hardware: Um iPhone Pro montado na cabeça captura uma perspectiva em primeira pessoa das mãos do usuário e da área de trabalho.
• Controle: Um aplicativo móvel personalizado gerencia a gravação por meio de comandos de voz ("iniciar"/"parar"), permitindo operação sem uso das mãos para atividades diárias naturalistas.
• Sensores: O sistema aproveita o conjunto de sensores nativo do dispositivo, sincronizando fluxos RGBD com dados IMU de alta frequência.
• Rastreamento de Pose: O framework utiliza ARKit para fusão de sensores em tempo real, gerando poses de câmera 6-DoF de alta fidelidade e mapas de profundidade por quadro. Os dados são exportados no formato MCAP.

2. Pipeline de Processamento

Os autores fornecem uma suíte Python de código aberto para converter registros brutos em formatos padronizados e prontos para treinamento:

• Estimativa de Trajetória 3D das Mãos: O sistema emprega WiLoR, uma rede ponta a ponta otimizada para estimativa de pose 3D das mãos em ambientes não restritos. Utiliza a parametrização MANO para representar as articulações da mão. Coordenadas 3D relativas são localizadas em um sistema de coordenadas global mediante a reprojeção de pontos-chave 2D usando mapas de profundidade do ARKit e poses da câmera.
• Rotulagem de Ações Atômicas: Um pipeline de anotação automatizada particiona o vídeo em intervalos contíguos. Um Modelo de Linguagem e Visão (VLM) gera frases imperativas curtas descrevendo a ação, incluindo modificadores de objeto (cor, material, tamanho) e preposições espaciais, restringidos pelo design do prompt para garantir especificidade.
• Instruções de Tarefa Hierárquicas: Um modelo de linguagem (DeepSeek V4 Flash) organiza os intervalos atômicos em uma árvore de instruções de três níveis:
  1. Episódios: Grupos de intervalos temporalmente contíguos que compartilham uma atividade comum.
  2. Sub-objetivos: Clusters de episódios relacionados.
  3. Objetivos de Sessão: Um objetivo de alto nível fundamentado em objetos concretos ao longo de toda a sessão.

Principais Contribuições

1. Lançamento de Conjunto de Dados: Um novo conjunto de dados compreendendo 200 horas de dados egocêntricos diversos e de longa duração de 16 colaboradores, apresentando rastreamento de estado persistente. A sessão contínua mais longa registrada é de aproximadamente 108 minutos.
2. Software de Código Aberto: Lançamento de um aplicativo móvel para coleta de dados e um pipeline de processamento abrangente para converter capturas móveis brutas em formatos padronizados (incluindo poses 3D das mãos, rótulos atômicos e instruções hierárquicas).
3. Infraestrutura Comoditizada: Uma demonstração de que smartphones comerciais podem substituir hardware robótico especializado para a coleta de dados egocêntricos de longo horizonte e alta fidelidade, efetivamente democratizando o processo de coleta de dados.

Resultados e Avaliação

O artigo valida o sistema por meio de várias métricas:

• Avaliação de Deriva de Longo Prazo: Utilizando marcadores Aruco revisitados nos pontos médios temporais e nas extremidades das sessões, o sistema demonstrou deriva mínima. Os erros foram medidos entre 0,4–0,7 cm para atividades em cozinha/sala de estar e 1,0–1,5 cm para atividades em toda a casa, representando menos de 0,1% do comprimento da trajetória.
• Consistência da Pose 3D das Mãos: Avaliada em 98 sessões (1,19 milhão de quadros) usando métricas sem verdade fundamental:
  • Constância do Comprimento dos Ossos: O coeficiente de variação (CV) mediano para os comprimentos dos ossos foi <1% (excluindo a ponta do dedo mínimo, que apresentou ~7,5% de CV devido ao seu curto comprimento físico).
  • Plausibilidade do Ângulo das Articulações: Mais de 99,99% dos ângulos articulares estimados caíram dentro dos limites biomecânicos publicados.
  • Dinâmica do Punho: Velocidades medianas do punho (0,27–0,34 m/s) e acelerações alinharam-se com faixas típicas para atividades da vida diária, sem artefatos sistemáticos como picos de teletransporte.
• Qualidade da Instrução Hierárquica: O pipeline processou 354 sessões, gerando 45.415 intervalos atômicos agrupados em 5.570 episódios e 1.298 sub-objetivos. 87% das sessões passaram em todos os invariantes estruturais sem problemas. A estrutura hierárquica exibiu naturalmente escalas temporais distintas (intervalos atômicos de 5s, episódios de 42s, sub-objetivos de 3,9 min, sessões de 15,5 min) sem prompts artificiais.
• Eficiência de Custos: O custo total para processar a estruturação hierárquica de todas as 354 sessões foi de US$ 1,29.

Significado

O artigo afirma que o MobileEgo Anywhere aborda o "gargalo" da coleta de dados robóticos ao remover barreiras de hardware elevadas. Ao permitir a aquisição em massa de dados de longo horizonte em diversos ambientes globais usando hardware de consumo padrão, o trabalho visa acelerar o desenvolvimento de políticas robóticas generalizáveis. Os autores postulam que maximizar as capacidades de raciocínio espacial e temporal durante o pré-treinamento com tais dados pode reduzir significativamente os requisitos de dados para o ajuste fino downstream intensivo em recursos, fechando assim a lacuna entre as capacidades institucionais atuais e os volumes de dados necessários para modelos VLA de próxima geração.