Resumen Técnico: EgoInfinity

1. Declaración del Problema

El entrenamiento de robots generalistas requiere datos de manipulación que sean tanto escalables como diversos. Aunque los conjuntos de datos recolectados en laboratorios y de uso egocéntrico con dispositivos vestibles (p. ej., Ego4D, OakInk2) proporcionan una supervisión de alta calidad, están limitados por su escala, el coste de recolección y la diversidad de tareas. Los vídeos de internet ofrecen un vasto reservorio no estructurado de conocimiento de manipulación humana (p. ej., Action100M contiene 14.6 años de metraje), pero no son directamente accionables para los robots. Los métodos existentes tienen dificultades para convertir clips RGB arbitrarios en datos de entrenamiento de robots ejecutables porque estos vídeos carecen de geometría 3D métrica, estados de objetos de 6-DoF, información de contacto y espacios de acción específicos del robot. El simple hecho de elevar acciones 2D al espacio del robot suele resultar en comportamientos mal fundamentados o físicamente inviables. El desafío central es procesar automáticamente vídeos a escala web, capturados en entornos naturales (in-the-wild), en representaciones de interacción mano-objeto (HOI) 4D métricas y estructuradas sin intervención humana.

2. Metodología

EgoInfinity es un motor de datos de manipulación 4D, totalmente automatizado y modular, diseñado para convertir vídeos RGB crudos en representaciones métricas de mano y objeto que sean agnósticas al agente. El sistema opera a través de un flujo de trabajo de múltiples etapas:

3.1 Arquitectura de Flujo Modular

El motor emplea una estrategia de dos pasadas para la escalabilidad:

• Pasa 1 (Filtrado): Un escaneo temporal ligero identifica segmentos con presencia de manos utilizando estadísticas de movimiento de manos y pistas de movimiento de cámara para filtrar contenido que no sea de manipulación.
• Pasa 2 (Reconstrucción): El stack de reconstrucción completo se aplica únicamente a los segmentos activos. El flujo de trabajo está diseñado para ser reemplazable por componentes, permitiendo actualizaciones a medida que mejoran los modelos fundacionales.

3.2 Seguimiento de Mano-Objeto Calibrado Métricamente

Un principio de diseño central es la calibración entre módulos para asegurar que todos los componentes compartan una escala métrica y un marco de cámara unificados, en lugar de depender de salidas de modelos brutos y no alineados.

• Geometría Métrica Unificada: El sistema utiliza MOGE-2 para la distancia focal de la cámara y la escala métrica global, FLOW3R para mapas de profundidad densos, y GEOCALIB para la estimación del vector de gravedad. Esto eleva las predicciones del espacio de imagen a un espacio 3D compartido.
• Seguimiento de la Mano: WILOR estima los parámetros de la mano MANO (pose y forma) para generar mallas de manos y puntos clave 3D. Un módulo de rellenado (infilling) estabiliza las estimaciones faltantes o inestables.
• Descubrimiento y Seguimiento de Objetos: Los objetos se descubren automáticamente utilizando descripciones de vídeo como prompts semánticos para la detección mediante SAM-3, propagados vía SAM-2, y elevados mediante profundidad. SAM-3D reconstruye las mallas de los objetos cuando existe evidencia visual suficiente. FOUNDATIONPOSE++ rastrea la trayectoria de la pose del objeto de 6-DoF dentro del mismo marco métrico que las manos.

3.3 Refinamiento Consciente de la Interacción

Para abordar la inestabilidad temporal y la deriva en el seguimiento puramente visual, el sistema refina las trayectorias de los objetos basándose en los estados de interacción detectados:

• Clasificación de Estado: Los fotogramas se clasifican como estáticos, sujetos (grasped) o en movimiento utilizando flujo óptico (MEMFOF) y puntos clave de la mano.
• Lógica de Refinamiento:
  • Sujeto (Grasped): El objeto está rígidamente unido al marco de la mano con una transformación canónica alineada con la palma.
  • Estático: El objeto está bloqueado a su centroide de nube de puntos robusto.
  • En movimiento: El objeto mantiene su propuesta inicial.
• Controles de Sanidad: Se suprimen escalas implausibles y detecciones espurias de fondo.

3.4 Retargeting de Movimiento Robótico Trans-Embodiment

El motor incluye un retargetizador funcional para convertir los movimientos de mano 3D recuperados en trayectorias de articulaciones ejecutables para diversas morfologías de robots (p. ej., Unitree G1, Robonaut2, Dual-Franka).

• Estimación del Marco Raíz: En lugar de requerir la pose completa del cuerpo humano, una red neuronal equivariante a SE(3) ($\Phi$) estima un marco raíz específico del robot (p. ej., torso) que sea factible, basándose en las trayectorias de las manos y la gravedad opcional.
• Flow-Matching: La red utiliza generación condicional de flow-matching para modelar la distribución de marcos raíz plausibles, manejando casos donde diferentes poses corporales producen el mismo movimiento de mano (crucial para observaciones de cuerpo parcial).
• Entrenamiento: La red se entrena enteramente en la simulación MuJoCo utilizando datos emparejados generados procedimentalmente, aumentados con ruido de seguimiento, oclusión y ruido de gravedad para asegurar la robustez ante errores de reconstrucción del mundo real.
• Ejecución: Los marcos raíz candidatos se seleccionan basándose en la convergencia de la cinemática inversa (IK), límites de articulación y manipulabilidad. La trayectoria final se refina mediante IK y optimización posterior (suavizado).

3. Contribuciones Clave

1. Motor EgoInfinity: Un motor de datos de manipulación 4D, totalmente automatizado y modular, que procesa vídeos de internet a escala web en representaciones métricas de mano-objeto sin necesidad de dispositivos vestibles, sensores de profundidad, modelos CAD o anotaciones manuales de objetos.
2. Refinamiento Consciente de la Interacción: Un enfoque novedoso que combina la calibración métrica entre módulos con el refinamiento del estado de interacción para reducir la deriva y mejorar la plausibilidad física en comparación con la reconstrucción puramente visual.
3. Retargeting Funcional Trans-Embodiment: Un método que estima una transformación de raíz específica del robot para preservar el movimiento de la mano relevante para la tarea dentro de las restricciones del robot objetivo, permitiendo la transferencia de vídeo a acción para cualquier punto de vista y observaciones parciales del humano.

4. Resultados y Validación

Los autores validan EgoInfinity a través de cuatro dimensiones:

• Acceso a Datos y Estadísticas: Un servidor basado en navegador permite buscar y visualizar el subconjunto curado de Action100M (106 clips, 277 objetos). Las estadísticas muestran una mezcla equilibrada de categorías de objetos (contenedores, herramientas, comida) y estados de interacción (el 88% de los clips involucran manipulación).
• Desempeño del Retargeting: Probado en Unitree G1, Robonaut2 y Dual-Franka FR3. El sistema logró tasas de éxito de IK entre el 70.6% y el 82.1%, con errores de posición media que oscilan entre 2.86 cm y 10.27 cm dependiendo de la complejidad cinemática del robot.
• Ejecución en Robot Real:
  • Aprendizaje de Políticas: Los movimientos de mano extraídos sirvieron como priors para entrenar una política de agarre en una mano diestra LEAP real, generalizando con éxito a diversos objetos (manzanas, plátanos, latas de sopa).
  • Retargeting Directo: Los movimientos se retargetaron directamente a una configuración real de doble brazo Franka FR3, demostiendo la ejecución funcional de habilidades de corte, vertido y limpieza.

5. Significado y Reivindicaciones

El artículo afirma que EgoInfinity proporciona un puente escalable desde los vídeos de internet hacia el comportamiento robótico ejecutable, abordando el cuello de botella de la escasez de datos para el aprendizaje robótico en entornos abiertos. Al priorizar la geometría 3D métrica y el refinamiento consciente de la interacción sobre las pseudo-acciones 2D, el sistema mejora el fundamento físico de los datos extraídos de vídeos humanos. El diseño modular asegura que el motor pueda beneficiarse continuamente de los avances en los modelos de percepción y reconstrucción. Los autores posicionan a EgoInfinity no como un conjunto de datos estático, sino como un motor universal capaz de generar datos 4D estructurados y utilizables por robots a partir de fuentes arbitrarias de escala web, apoyando el trabajo futuro en aprendizaje robótico, fundamentación multimodal e interacción humano-robot (HRI).

Limitaciones: El sistema actualmente asume vídeos de cámara aproximadamente estática (excluyendo metraje montado en el cuerpo) y no garantiza una precisión de contacto a nivel de detalle fino (p. ej., colocación exacta de la punta de los dedos o consistencia de fuerza) ni proporciona observaciones táctiles. El retargetizador es específico para cada robot y tiene como objetivo la transferencia de movimiento funcional más que la imitación cinemática precisa.