EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

Resumen Técnico: EgoScale

1. El Problema

El aprendizaje de la inteligencia física para la manipulación diestra (uso de manos robóticas complejas) se enfrenta a dos limitaciones principales:

• Escasez de datos robóticos: La recolección de datos mediante teleoperación de robots es costosa, lenta y difícil de escalar, especialmente para tareas de alta complejidad y grados de libertad (DoF).
• Brecha de transferencia: Aunque existen métodos para transferir datos humanos a robots, los enfoques anteriores se han limitado a datasets pequeños (decenas de horas) y a manipuladores simples (pinzas o manos de baja DoF). No está claro si los datos humanos a gran escala pueden soportar la manipulación diestra fina y de alto grado de libertad, ni cómo escalar este proceso de manera predecible.

2. Metodología

Los autores proponen EgoScale, un marco de transferencia de humano a robot basado en datos egocéntricos (vista en primera persona) a gran escala. La metodología se basa en un enfoque de dos etapas y un diseño arquitectónico específico:

• Fase I: Pre-entrenamiento a Gran Escala (Human Pretraining):

  • Se entrena un modelo de política Visión-Lenguaje-Acción (VLA) sobre 20,854 horas de video egocéntrico humano etiquetado con acciones. Este volumen es más de 20 veces mayor que los datasets utilizados en trabajos anteriores.
  • Representación de Acción: Para unificar la visión humana y robótica, las acciones se representan como:
    1. Movimiento relativo de la muñeca: Para el brazo, se utiliza el movimiento relativo de la muñeca (SE(3)) entre pasos de tiempo, lo que elimina la dependencia de la pose absoluta de la cámara.
    2. Articulación de la mano: Se utiliza un proceso de retargeting (reorientación) basado en optimización para mapear los 21 puntos clave de la mano humana al espacio de articulaciones de una mano robótica diestra de 22 DoF (Sharpa Hand).
  • Arquitectura: Se utiliza una política VLA basada en flujo (flow-based) con un backbone de VLM (Vision-Language Model) y un experto de acción DiT (Diffusion Transformer).

• Fase II: Entrenamiento Intermedio Alineado (Mid-training):

  • Se introduce un conjunto de datos pequeño pero alineado (aprox. 50 horas de datos humanos + 4 horas de datos robóticos) donde humanos y robots realizan tareas similares en escenarios de mesa con configuraciones de cámara idénticas.
  • Objetivo: Esta etapa "ancla" las representaciones aprendidas del pre-entrenamiento humano al espacio de sensado y control específico del robot, utilizando un fine-tuning ligero (congelando el backbone de visión-lenguaje y actualizando solo los adaptadores y el experto de acción).

• Fase III: Ajuste Fino Post-entrenamiento (Post-training):

  • Ajuste final con demostraciones específicas de la tarea en el robot real.

3. Contribuciones Clave

1. Leyes de Escala para Datos Humanos: El trabajo descubre una ley de escalado log-lineal clara entre la escala de los datos humanos y la pérdida de validación en la predicción de acciones de la mano. A medida que aumenta el volumen de datos (hasta 20k horas), la pérdida disminuye de manera predecible.
2. Correlación con el Rendimiento Real: Se demuestra que la pérdida de validación en datos humanos se correlaciona fuertemente con el rendimiento en robots reales, estableciendo los datos humanos como una fuente de supervisión predecible y escalable.
3. Receta de Transferencia Efectiva: Se identifica una receta simple pero potente: Pre-entrenamiento masivo en humanos + Entrenamiento intermedio alineado ligero. Esto permite un rendimiento fuerte con una cantidad mínima de datos robóticos.
4. Generalización Emergente (One-Shot): El enfoque permite la adaptación a tareas diestra nunca vistas con una sola demostración robótica (one-shot), algo que no se logra con pre-entrenamiento humano solo o solo con datos robóticos.
5. Transferencia Cross-Embodiment: Las representaciones aprendidas son agnósticas al cuerpo. Un modelo pre-entrenado en una mano de 22 DoF se transfiere exitosamente a un robot con una mano de 3 dedos (7 DoF) y cinemática diferente, actuando como un prior motor reutilizable.

4. Resultados

• Rendimiento en Tareas Diestra: En un robot humanoide Galaxea R1Pro con manos de 22 DoF, la política final mejoró la tasa de éxito promedio en un 54% en comparación con una línea base sin pre-entrenamiento.
• Escalabilidad: Al aumentar los datos de pre-entrenamiento de 1k a 20k horas, la puntuación de finalización de tareas aumentó monótonamente de 0.30 a 0.71, sin signos de saturación en el rango explorado.
• Generalización One-Shot: En tareas no vistas durante el entrenamiento intermedio (como doblar una camisa o destapar botellas), el modelo combinado logró una tasa de éxito del 88% en doblado de camisas con solo una demostración robótica.
• Validación Cross-Embodiment: En el robot Unitree G1 (con mano de 3 dedos), la política pre-entrenada en humanos logró mejoras absolutas de más del 30% en la tasa de éxito en comparación con modelos entrenados solo con datos de G1.
• Representación de Acción: Se demostró que el uso de articulaciones de mano reorientadas (joint-space) es superior a las representaciones solo de muñeca o basadas en puntas de los dedos para la manipulación diestra.

5. Significado e Impacto

El trabajo EgoScale cambia el paradigma en el aprendizaje por refuerzo y demostración para robots:

• Los humanos como "embodiment" escalable: Propone tratar a los humanos no solo como fuentes de datos limitadas, sino como una fuente de datos masiva, diversa y escalable para aprender habilidades motoras generales.
• Predicibilidad: Establece que el rendimiento de la manipulación robótica puede predecirse y mejorarse simplemente aumentando la escala de los datos humanos, siguiendo leyes de escalado similares a las de los modelos de lenguaje.
• Eficiencia de Datos: Demuestra que se puede lograr una manipulación diestra de alto nivel con una fracción mínima de datos robóticos, reduciendo drásticamente el costo de recolección de datos para el entrenamiento de robots avanzados.
• Futuro: Abre la puerta a un futuro donde los robots puedan aprender de la inmensa variedad de interacciones físicas humanas en el mundo real, tratando a los humanos como un "cuerpo" más en el aprendizaje de inteligencia corporal general.