Resumo Técnico: EgoInfinity

1. Definição do Problema

Treinar robôs generalistas requer dados de manipulação que sejam escaláveis e diversos. Embora conjuntos de dados coletados em laboratório e com uso de dispositivos vestíveis egocêntricos (ex: Ego4D, OakInk2) forneçam supervisão de alta qualidade, eles são limitados em escala, custo de coleta e diversidade de tarefas. Vídeos da internet oferecem um vasto reservatório não estruturado de conhecimento de manipulação humana (ex: Action100M contém 14,6 anos de filmagens), mas não são diretamente acionáveis para robôs. Métodos existentes lutam para converter filmagens RGB arbitrárias em dados de treinamento de robôs executáveis porque esses vídeos carecem de geometria 3D métrica, estados de objetos em 6-DoF, informações de contato e espaços de ação específicos de robôs. Simplesmente elevar ações 2D para o espaço do robô frequentemente resulta em comportamentos mal fundamentados ou fisicamente inviáveis. O desafio central é processar automaticamente vídeos de escala web, do mundo real, em representações estruturadas de interação mão-objeto (HOI) em 4D métrico sem intervenção humana para anotação.

2. Metodologia

O EgoInfinity é um motor de dados de manipulação 4D totalmente automatizado e modular, projetado para converter vídeos RGB brutos em representações métricas de mão e objeto independentes de agente. O sistema opera através de um pipeline de múltiplos estágios:

3.1 Arquitetura de Pipeline Modular

O motor emprega uma estratégia de duas passagens para escalabilidade:

• Passagem 1 (Filtragem): Uma varredura temporal leve identifica segmentos com presença de mãos usando estatísticas de movimento das mãos e pistas de movimento de câmera para filtrar conteúdos que não sejam de manipulação.
• Passagem 2 (Reconstrução): A pilha completa de reconstrução é aplicada apenas aos segmentos ativos. O pipeline é projetado para ser substituível por componentes, permitindo atualizações conforme os modelos de fundação melhoram.

3.2 Rastreamento Mão-Objeto Calibrado Metricamente

Um princípio central de design é a calibração entre módulos para garantir que todos os componentes compartilhem uma escala métrica e um frame de câmera unificados, em vez de depender de saídas brutas e desalinhadas de modelos.

• Geometria Métrica Unificada: O sistema utiliza MOGE-2 para distância focal da câmera e escala métrica global, FLOW3R para mapas de profundidade densos e GEOCALIB para estimativa do vetor de gravidade. Isso eleva as predições do espaço da imagem para um espaço 3D compartilhado.
• Rastreamento de Mãos: O WILOR estima os parâmetros da mão MANO (pose e forma) para gerar malhas de mão e keypoints 3D. Um módulo de preenchimento estabiliza estimativas ausentes ou instáveis.
• Descoberta e Rastreamento de Objetos: Objetos são descobertos automaticamente usando descrições de vídeo como prompts semânticos para detecção via SAM-3, propagados via SAM-2, e elevados com profundidade. O SAM-3D reconstrói malhas de objetos quando a evidência visual é suficiente. O FOUNDATIONPOSE++ rastreia a trajetória de pose de objeto 6-DoF dentro do mesmo frame métrico das mãos.

3.3 Refinamento Consciente de Interação

Para abordar a instabilidade temporal e o desvio (drift) em rastreamento puramente visual, o sistema refina as trajetórias dos objetos com base nos estados de interação detectados:

• Classificação de Estado: Os frames são classificados como estático, segurado ou em movimento usando fluxo óptico (MEMFOF) e keypoints das mãos.
• Lógica de Refinamento:
  • Segurado: O objeto é rigidamente acoplado ao frame da mão com uma transformação canônica alinhada à palma.
  • Estático: O objeto é travado em seu centroide de nuvem de pontos robusto.
  • Em Movimento: O objeto mantém sua proposta inicial.
• Verificações de Sanidade: Escalas implausíveis e detecções espúrias de fundo são suprimidas.

3.4 Retargeting de Movimento de Robô Cross-Embodiment

O motor inclui um retargeter funcional para converter movimentos de mão 3D recuperados em trajetórias de juntas executáveis para diversas morfologias de robôs (ex: Unitree G1, Robonaut2, Dual-Franka).

• Estimativa de Frame Raiz: Em vez de exigir a pose completa do corpo humano, uma rede neural $\Phi$ equivariante a SE(3) estima um frame raiz específico do robô (ex: torso) viável, baseado nas trajetórias das mãos e na gravidade opcional.
• Flow-Matching: A rede utiliza geração condicional por flow-matching para modelar a distribuição de frames raiz plausíveis, lidando com casos onde diferentes poses corporais resultam no mesmo movimento de mão (crucial para observações de corpo parcial).
• Treinamento: A rede é treinada inteiramente em simulação MuJoCo usando dados pareados gerados proceduralmente, aumentados com ruído de rastreamento, oclusão e ruído de gravidade para garantir robustez a erros de reconstrução do mundo real.
• Execução: Os frames candidatos são selecionados com base na convergência de IK (cinemática inversa), limites de junta e manipulabilidade. A trajetória final é refinada via IK e pós-otimização (suavização).

3. Principais Contribuições

1. Motor EgoInfinity: Um motor de dados de manipulação 4D totalmente automatizado e modular que processa vídeos da internet em escala web em representações métricas de mão-objeto sem a necessidade de wearables, sensores de profundidade, modelos CAD ou anotações manuais de objetos.
2. Refinamento Consciente de Interação: Uma abordagem inovadora que combina calibração métrica entre módulos com refinamento de estado de interação para reduzir o desvio e melhorar a plausibilidade física em comparação com a reconstrução puramente visual.
3. Retargeting Funcional de Cross-Embodiment: Um método que estima uma transformação de raiz específica do robô para preservar o movimento de mão relevante para a tarefa dentro das restrições do robô alvo, permitindo a transferência de vídeo-para-ação para quaisquer viewpoints e observações parciais humanas.

4. Resultados e Validação

Os autores validam o EgoInfinity em quatro dimensões:

• Acesso a Dados e Estatísticas: Um servidor baseado em navegador permite pesquisar e visualizar o subconjunto curado Action100M (106 clipes, 277 objetos). As estatísticas mostram uma mistura equilibrada de categorias de objetos (recipientes, ferramentas, comida) e estados de interação (88% dos clipes envolvem manipulação).
• Performance de Retargeting: Testado no Unitree G1, Robonaut2 e Dual-Franka FR3. O sistema alcançou taxas de sucesso de IK entre 70,6% e 82,1%, com erros médios de posição variando de 2,86 cm a 10,27 cm, dependendo da complexidade cinemática do robô.
• Execução em Robô Real:
  • Aprendizado de Política: Os movimentos de mão extraídos serviram como priors para treinar uma política de preensão em uma mão dexter LEAP real, generalizando com sucesso para diversos objetos (maçãs, bananas, latas de sopa).
  • Retargeting Direto: Os movimentos foram retargetados diretamente para um setup real de braço duplo Franka FR3, demonstrando execução funcional de habilidades de cortar, despejar e limpar.

5. Significância e Alegações

O artigo afirma que o EgoInfinity fornece uma ponte escalável dos vídeos da internet para o comportamento robótico executável, abordando o gargalo da escassez de dados para aprendizado de robôs em mundo aberto. Ao priorizar a geometria 3D métrica e o refinamento consciente de interação sobre ações pseudo-2D, o sistema melhora a fundamentação física dos dados extraídos de vídeos humanos. O design modular garante que o motor possa se beneficiar continuamente dos avanços em modelos de percepção e reconstrução. Os autores posicionam o EgoInfinity não como um conjunto de dados estático, mas como um motor universal capaz de gerar dados 4D estruturados e utilizáveis por robôs a partir de fontes arbitrárias de escala web, apoiando trabalhos futuros em aprendizado de robôs, grounding multimodal e interação humano-robô (HRI).

Limitações: O sistema atualmente assume vídeos com câmera aproximadamente estática (excluindo filmagens montadas no corpo) e não garante precisão de nível de contato fino (ex: posicionamento exato da ponta dos dedos ou consistência de força) nem fornece observações táteis. O retargeter é específico para o robô e visa a transferência de movimento funcional em vez de imitação cinemática precisa.