Resumen Técnico: EgoAERO

Planteamiento del Problema

Los videos RGB-D egocéntricos ofrecen una fuente natural y escalable para entrenar políticas de manipulación diestra, capturando movimientos de la mano humana, interacciones con objetos y comportamientos ricos en contacto en entornos cotidianos. Sin embargo, los conjuntos de datos egocéntricos existentes (p. ej., EPIC-KITCHENS, Ego4D) suelen carecer de información crítica requerida para el aprendizaje robótico, como la pose de 6 DoF, la geometría y los estados de contacto de los objetos manipulados. Por el contrario, los conjuntos de datos con anotaciones de interacción mano-objeto 3D (p. ej., HOI4D, H2O) suelen depender de activos de objetos escaneados previamente, modelos CAD o captura multivista, lo que limita su escalabilidad a objetos diarios arbitrarios y entornos de recolección naturales. En consecuencia, existe una brecha en los marcos capaces de convertir una única demostración egocéntrica natural en políticas robóticas ejecutables sin depender de activos de objetos previos.

Metodología: Marco de Trabajo EgoAERO

EgoAERO es un marco diseñado para reconstruir trayectorias de mano-objeto consistentes en el contacto a partir de un único video RGB-D egocéntrico sin activos de objetos, transfiriendo posteriormente estas trayectorias a un robot diestro mediante un aprendizaje de política de dos etapas. El flujo de trabajo consta de dos componentes principales:

1. Reconstrucción de Mano-Objeto Egocéntrica Libre de Activos (Asset-Free)

Este módulo recupera trayectorias estructuradas a partir de video bruto mediante cuatro pasos secuenciales:

• Preprocesamiento Semántico Guiado por MLLM: Un Modelo de Lenguaje Grande Multimodal (MLLM) realiza un análisis semántico ligero en fotogramas clave para identificar el objeto manipulado objetivo, los objetos de soporte y las metas de la tarea. Genera prompts para la segmentación SAM3 y selecciona un fotograma clave con menor oclusión como semilla de inicialización. El MLLM no estima poses ni geometría directamente, sino que configura el flujo de trabajo.
• Seguimiento y Reconstrucción de Objetos Libre de Activos: Para manejar oclusiones de la mano y superficies de baja textura sin modelos CAD, el sistema emplea:
  • Inicialización de Pose Gruesa: Retroproyecta regiones visibles del objeto en nubes de puntos locales y utiliza RANSAC sobre correspondencias RGB-D para estimar una pose de 6 DoF gruesa.
  • Optimización de Pose de Pool de Memoria de Fotogramas Clave: Mantiene un pool de fotogramas históricos con observaciones fiables. Construye un grafo de pose local y optimiza conjuntamente las poses de los objetos utilizando restricciones de correspondencia entre fotogramas, geometría, consistencia de superficie, silueta y priors de pose.
  • Reconstrucción de Malla de Grueso a Fino Guiada por Campo Neural: Un campo de objeto neural en línea genera una malla gruesa temporalmente consistente. Esta es refinada por SAM3D utilizando observaciones RGB-D originales para recuperar detalles finos de la superficie, que luego se alinean al marco canónico.
• Estimación de la Pose de la Mano Egocéntrica: Utiliza HaWoR para la estimación inicial de la pose de la mano basada en MANO. Se aplica una corrección ligera a la traslación global de la mano utilizando mapas de profundidad RGB-D para mitigar el sesgo de profundidad monocular, asegurando que la malla de la mano se alinee de forma estable con la geometría de la escena.
• Compensación de Movimiento Egocéntrico: Un backend de SLAM RGB-D estima la trayectoria de la cámara. Todos los fotogramas se transforman en un marco de mesa fijo para eliminar la deriva espuria causada por el movimiento de la cabeza. Las máscaras de la mano se utilizan para reducir el peso de los píxeles dinámicos de la mano durante el SLAM para asegurar la estabilidad del fondo.
• Optimización de Contacto Adaptativa: Este módulo corrige inconsistencias físicas (p. ej., flotación de las puntas de los dedos, penetraciones) sin alterar la trayectoria del objeto o resolver nuevamente los parámetros de MANO. Aplica correcciones acotadas a la traslación global de la mano y a los vértices locales de los dedos en ventanas de manipulación activa, asegurando la consistencia del contacto mientras preserva el movimiento de la demostración original.

2. Aprendizaje de Política Residual de Dos Etapas

Las trayectorias reconstruidas se convierten en políticas robóticas utilizando un enfoque de dos etapas:

• Etapa I (Seguimiento de la Trayectoria de la Mano): Una política aprende a rastrear el movimiento de la mano humana reconstruida (puntos clave de la muñeca y los dedos) utilizando el retargeting cinemático como un inicio cálido (warm start). Esto establece un prior de control de mano estable sin requerir la manipulación exitosa del objeto.
• Etapa II (Política Residual de Contacto-Objeto): Una política residual aprende pequeñas correcciones ($\Delta a^R_t$) a la acción base de seguimiento de la mano. Incorpora estados del objeto (pose, velocidad, codificación de geometría) y retroalimentación de contacto. La función de recompensa combina la imitación de la mano con el seguimiento de la trayectoria del objeto y las restricciones de contacto, permitiendo que el robot guíe el objeto a lo largo de la trayectoria de referencia con un contacto estable.

Contribuciones Clave

1. Marco de Trabajo EgoAERO: El primer sistema para aprender manipulación diestra a partir de un único video RGB-D egocéntrico sin requerir activos de objetos (modelos CAD o mallas escaneadas previamente).
2. Pipeline de Reconstrucción Libre de Activos: Un pipeline robusto que presenta inicialización guiada por MLLM, seguimiento de objetos libre de activos bajo oclusión, reconstrucción de malla guiada por campos neurales, compensación de movimiento egocéntrico y optimación de contacto adaptativa.
3. Dataset EgoDex-R: Un conjunto de datos egocéntrico a gran escala que contiene 4.3 millones de fotogramas RGB-D, 5,600 secuencias de manipulación y más de 1,000 instancias de objetos. Incluye trayectorias de mano-objeto consistentes en el contacto con anotaciones para pose de objeto, geometría, profundidad, SLAM y calidad de contacto.
4. Evaluación de Calidad en Línea: Un mecanismo para evaluar la usabilidad física de las trayectorias reconstruidas en tiempo real, decidiendo si aceptar, reparar o recapturar las demostraciones.

Resultados Experimentales

Los autores evaluaron EgoAERO mediante experimentos de simulación y en el mundo real:

• Simulación (EgoDex-R): EgoAERO logró una tasa de éxito del 49.5%, superando significativamente a los baselines que solo usan la pose de la mano (9.8%) y una versión sin optimización de contacto adaptativo (36.2%). Esto demuestra la necesidad de la información de estado del objeto y de contacto para la manipulación diestra.
• Simulación (Comparación con HOI4D): Al compararse con trayectorias reconstruidas utilizando activos CAD de objetos, las reconstrucciones libres de activos de EgoAERO lograron un rendimiento comparable (44.7% de tasa de éxito frente a 43.3% para los datos brutos basados en CAD). En algunas métricas, EgoAERO funcionó mejor, probablemente debido a que la optimización de contacto adaptativa mejora la consistencia física.
• Ejecución en el Mundo Real: El marco se desplegó con éxito en un robot humanoide Unitree G1 con una mano Inspire. El sistema transformó una única demostración humana en una trayectoria consistente en el contacto que el robot físico pudo ejecutar, validando la transferibilidad de las políticas aprendidas.

Significancia y Reivindicaciones

El artículo afirma que EgoAERO cierra la brecha entre las demostraciones humanas naturales y las políticas robóticas ejecutables al eliminar la dependencia de los activos de objetos. Al reconstruir trayectorias de mano-objeto consistentes en el contacto a partir de un solo video, el marco permite un aprendizaje robótico diestro escalable en entornos cotidianos. Los resultados sugieren que las reconstrucciones libres de activos pueden alcanzar un rendimiento de política descendente cercano a aquellos derivados de reconstrucciones de alta fidelidad basadas en CAD, haciendo que los datos egocéntricos naturales sean una fuente viable y escalable para el entrenamiento de habilidades de manipulación complejas.

Limitaciones

Los autores reconocen que el pipeline actual se dirige principalmente a la manipulación con una sola mano. El rendimiento puede degradarse bajo condiciones de oclusión severa, objetos reflectantes, movimiento rápido o estimaciones de mano/segmentación inexactas. Además, el aprendizaje de la política es actualmente específico para la tarea y requiere entrenamiento en simulación, dejando la generalización entre tareas y la reducción de costos de entrenamiento como áreas para el trabajo futuro.