Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

Resumo Técnico: Ego-OSCAR

Declaração do Problema
O desenvolvimento de modelos de Visão-Linguagem-Ação (VLA) e modelos de mundo é cada vez mais limitado pela escassez de conjuntos de dados multimodais, diversos e de larga escala que capturem interações do mundo real. Embora a teleoperação ofereça dados de alta fidelidade, ela não escala. A simulação sofre com o hiato sim-to-real (simulação para o real), e as fazendas robóticas autônomas são limitadas por restrições de segurança. A coleta de dados egocêntricos (em primeira pessoa) oferece uma alternativa escalável, porém as soluções existentes apresentam um compromisso: conjuntos de dados de consumo (ex: Ego4D) dependem de câmeras monoculares com obturador rolling-shutter sem fluxos inerciais sincronizados por hardware, enquanto plataformas de pesquisa de alta fidelidade (ex: Project Aria) são de código fechado, caras e não podem ser livremente distribuídas ou reproduzidas pela comunidade em geral. Consequentemente, não existe um dispositivo de montagem na cabeça que seja aberto, de baixo custo e capaz de capturar dados estéreo-inerciais sincronizados em escala.

Metodologia
O Ego-OSCAR aborda essa lacuna por meio de um sistema de captura de hardware aberto e de baixo custo e uma pilha de software correspondente projetada para implantação distribuída.

• Design de Hardware: O dispositivo é uma unidade montada na cabeça (aprox. 280g) construída inteiramente com componentes comercialmente disponíveis (COTS) e peças impressas em 3D, com uma Lista de Materiais (BoM) inferior a USD 200.

  • Sensores: Utiliza um módulo de câmera estéreo USB Dexcin com dois sensores Omnivision de obturador global (global-shutter) sincronizados por hardware via um único ASIC. Isso garante sincronização de nível de microssegundos e elimina artefatos de rolling-shutter durante movimentos rápidos da cabeça. O sistema inclui um IMU de 6 eixos (ICM-20948) amostrado a 120 Hz.
  • Computação e Controle: Um Radxa Rock 5C (SoC Rockchip RK3588) lida com a codificação de vídeo acelerada por hardware (MJPEG para H.264) e armazenamento. Um microcontrolador Seeed Studio Xiao ESP32-S3 gerencia o feedback do usuário (status do LED RGB), funções de watchdog (detecção de travamentos do sistema) e, crucialmente, a sincronização temporal.
  • Mecanismo de Sincronização: Para unir os relógios independentes da câmera e do IMU, o ESP32 captura o sinal de Início de Exposição (SoE) da câmera via interrupção. Ele registra carimbos de tempo (timestamps) monotônicos para cada exposição de quadro e os mescla com os dados do IMU. Um processo de alinhamento offline utiliza uma âncora visual (um LED azul piscando no 60º interruptor) para alinhar deterministicamente o fluxo do IMU com os índices dos quadros de vídeo, alcançando um atraso residual de 700 µs.
  • Robustez: O sistema inclui um watchdog que detecta travamentos do SBC (via um batimento cardíaco de 1 Hz) e aciona um estado de erro, evitando a perda silenciosa de dados.

• Pipeline de Software: A pilha de código aberto inclui um daemon de gravação acelerado por hardware, um serviço de amostragem de IMU, ferramentas de sincronização de tempo e um firmware de watchdog. Os dados são segmentados em clipes de 5 minutos para limitar a perda durante falhas de energia e são enviados com verificação de integridade.

• Coleta de Dados: Os autores implantaram o sistema em uma rede distribuída de 25 colaboradores na Índia ao longo de seis meses, coletando 1.462 sessões totalizando aproximadamente 550 horas de vídeo estéreo por câmera (1.100 horas-câmera). Os dados cobrem diversos ambientes internos, com foco em atividades de cozinha, mas incluindo costura e alfaiataria.

Principais Contribuições

1. Dispositivo de Hardware Aberto: Um equipamento de captura estéreo-inercial montado na cabeça, totalmente documentado e reproduzível, com arquivos CAD, diagramas de fiação e instruções de montagem.
2. Pilha de Software de Código Aberto: Um pipeline completo para gravação, sincronização e gerenciamento de dados, permitindo que a comunidade replique o processo de captura.
3. Conjunto de Dados Ego-OSCAR-550h: Um conjunto de dados curado de ~550 horas de vídeo egocêntrico estéreo com dados de IMU sincronizados. Diferente de fluxos de sensores brutos, este lançamento inclui:
   • Legendas de ação de vocabulário livre: ~209.315 segmentos cobrindo toda a linha do tempo com um vocabulário aberto.
   • Reconstruções 3D de Mãos: Poses de mãos 3D por quadro geradas por WiLoR.
   • Calibração por Sessão: Arquivos de calibração individuais para cada sessão, em vez de intrínsecos nominais de fábrica.

Resultados e Avaliação
O artigo avalia o sistema em três níveis:

• Fidelidade do Sensor: A calibração por sessão resulta em erros de reprojeção abaixo de 0,03 pixels. O obturador global sincronizado por hardware e o IMU permitem a execução bem-sucedida de odometria visual-inercial (VINS-Fusion) em 12/20 sequências curtas reservadas, com um atraso visual-inercial residual de 700 µs. O piso de ruído do IMU é caracterizado como de nível de consumo, adequado para alinhamento de gravidade e classificação de movimento, mas não para integração inercial de longo horizonte sem trocas de maior graduação.
• Utilidade dos Dados: A estimativa de profundidade estéreo (SGBM, RAFT-Stereo) tem sucesso em todo o campo de visão de 126°. As taxas de detecção de mãos atingem 94%, indicando que a geometria montada na cabeça mantém as mãos efetivamente no campo de visão durante a maioria das interações.
• Escala de Implantação: O sistema alcançou uma taxa de sessão utilizável de 96% em 1.462 sessões. Modos de falha (desligamento térmico, erros de E/S de cartão SD, tensão de cabo) foram identificados e mitigados através de revisões de hardware (dissipadores de calor, reforço mecânico) e validação de software.

Significância e Alegações
O artigo posiciona o Ego-OSCAR não como um substituto para sistemas de nível de pesquisa como o Project Aria em termos de fidelidade por unidade, mas como o "substrato mais barato e defensável para a captura egocêntrica colaborativa". Sua principal significância reside em reduzir a energia de ativação para equipes coletarem dados egocêntricos em escala. Ao fornecer uma plataforma totalmente aberta, reproduzível e acessível, o Ego-OSCAR visa democratizar a coleta de dados estéreo-inerciais de alta qualidade e sincronizados, complementando conjuntos de dados monoculares ou de plataformas fechadas. Os autores afirmam explicitamente que demonstrar ganhos de política de ponta a ponta a partir destes dados é um trabalho futuro; a contribuição atual é a infraestrutura e o conjunto de dados necessários para viabilizar tal pesquisa.