Resumen Técnico: Pegasus – Síntesis de Experiencia con Fundamento Físico para la Inteligencia Corpórea

1. Planteamiento del Problema

El principal cuello de botella en el avance de la IA corpórea (embodied AI) no es la arquitectura del modelo, sino la escasez de datos de entrenamiento de alta calidad específicos para robots. Si bien existen miles de millones de videos de manipulación humana en línea, los robots no pueden aprender directamente de ellos debido a la brecha de corporeidad (embodiment gap): las diferencias significativas en morfología, cinemática y espacios de acción entre humanos y robots impiden la transferencia directa de demostraciones.

Los paradigmas actuales de adquisición de datos enfrentan limitaciones distintivas:

• Recolección con robots reales: Alta calidad, pero costosa y difícil de escalar.
• Simulación física: Datos ilimitados, pero sufre de la brecha sim-to-real, particularmente para políticas basadas en visión.
• Aprendizaje a partir de videos humanos: Aprovecha la abundancia de datos, pero típicamente aprende representaciones visuales en lugar de generar trayectorias ejecutables por robots.

El desafío central es cerrar esta brecha transfiriendo experiencia estructurada (semántica de tareas, asequibilidades y restricciones) en lugar de píxeles brutos, permitiendo la síntesis de datos aprendibles por robots a partir de demostraciones humanas.

2. Metodología: El Marco de Trabajo Pegasus

Pegasus es un marco de bajos recursos que traduce videos egocéntricos humanos en demostraciones ejecutables por robots a través de un pipeline estructurado basado en grafos. Replantea el problema de la generación de apariencia hacia la transferencia de conocimiento trans-corpórea.

El marco opera en cinco etapas progresivas:

2.1 Extracción del Grafo de Tarea ($V_h \rightarrow G_T$)

En lugar de razonar sobre píxeles brutos, Pegasus extrae un Grafo de Tarea ($G_T$) de videos humanos utilizando un analizador de visión y lenguaje estructurado.

• Nodos: Representan entidades semánticas que incluyen subobjetivos ($g_i$), objetos manipulados ($o_j$) y regiones espaciales ($r_k$).
• Aristas: Codifican el orden temporal, las dependencias causales y las interacciones espaciales.
  Este grafo preserva la topología de la tarea mientras permanece independiente de las morfologías específicas del robot.

2.2 Latente de Asequibilidad Jerárquica ($G_T \rightarrow Z$)

Para manejar la generalización a través de objetos y corporeidades, Pegasus introduce un Latente de Asequibilidad Jerárquica ($Z = \{Z_s, Z_a, Z_t\}$):

1. Nivel de Estado del Objeto ($Z_s$): Captura estados físicos (ej. agarrado, abierto, desplazado).
2. Nivel de Asequibilidad ($Z_a$): Abstrae observaciones específicas de objetos en capacidades de manipulación (ej. capacidad de agarre, contención, capacidad de vertido).
3. Nivel de Tarea ($Z_t$): Representa intenciones independientes de la corporeidad (ej. transportar, apilar).
   Esta jerarquía elimina progresivamente la información específica de la corporeidad mientras preserva la semántica causal de la tarea. Un objetivo contrastivo alinea las demostraciones humanas y robóticas dentro de este espacio de asequibilidad compartido.

2.3 Traducción de Grafo Trans-Corpórea ($G_T \rightarrow G_P$)

El grafo de tarea se transforma en un Grafo de Planificación de Robot ($G_P$) ejecutable mediante tres operadores de grafo:

1. Grafo de Asequibilidad: Aumenta los nodos semánticos con asequibilidades de manipulación.
2. Grafo de Restricciones: Incorpora la factibilidad dependiente de la corporeidad (tipos de agarre, cinemática inversa, restricciones de colisión, límites del espacio de trabajo).
3. Grafo de Planificación: Convierte las primitivas factibles en trayectorias ejecutables (puntos de paso de movimiento y transiciones temporales).
   Esta formulación modular desacopla el razonamiento semántico de la adaptación a la corporeidad.

2.4 Verificación con Restricciones Físicas

La plausibilidad visual es insuficiente para la robótica. Pegasus emplea un módulo de verificación de bucle cerrado que valida las trayectorias generadas contra:

• Solubilidad de la cinemática inversa
• Límites de articulación
• Evitación de colisiones
• Estabilidad del agarre y suavidad de la trayectoria

Si se violan las restricciones, las señales de error estructuradas se retroalimentan al módulo de planificación para una regeneración iterativa hasta que todas las restricciones se satisfagan.

2.5 Renderizado de Experiencia

El grafo de planificación verificado se renderiza en tres modalidades de salida adecuadas para el aprendizaje de políticas downstream:

• Demostraciones de video ($D_{video}$): Para políticas de lenguaje y visión.
• Tokens de acción discretos ($D_{action}$): Para modelos de acción autorregresivos.
• Trayectorias continuas ($D_{trajectory}$): Para pipelines de control clásico.

3. Contribuciones Clave

1. Formulación de Transferencia: Reclasificación de los videos humanos de internet como una fuente escalable de datos de entrenamiento para robots mediante la transferencia de conocimiento estructurada trans-corpórea.
2. Marco Basado en Grafos: Un nuevo pipeline que modela explícitamente la semántica de la tarea, las asequibilidades, las restricciones de corporeidad y la planificación del robot, yendo más allá del condicionamiento por píxeles brutos o prompts de texto.
3. Latente de Asequibilidad Jerárquica: Una representación que mejora la generalización a objetos no vistos mediante la organización de datos según estados del objeto, asequibilidades y tareas, en lugar de la identidad del objeto.
4. Verificación Física de Bucle Cerrado: Un mecanismo iterativo que impone la factibilidad cinemática, convirtiendo la adaptación de la corporeidad en un problema de satisfacción de restricciones.
5. Validación Empírica: Experimentos exhaustivos que demuestran mejoras en la corrección de tareas, ejecutabilidad física y aprendizaje de políticas downstream.

4. Resultados Experimentales

Pegasus fue evaluado en benchmarks incluyendo GTEA Gaze+, EPIC-KITCHENS-100 y un Conjunto de Videos de Manipulación de Internet curado, a través de cinco diversas corporeidades de robot (ej. Franka Panda, xArm 7, UR5e).

4.1 Corrección de Tarea y Ejecutabilidad

• La generación condicionada por grafos superó a las líneas base de solo prompt en un 12.3% en Corrección de Tarea y un 15.7% en Ejecutabilidad.
• A través de cinco tipos de robots, el sistema logró un promedio de Corrección de Tarea de 84.4% (VLM) y 81.5% (Humano), con un 89.6% de Ejecutabilidad.

4.2 Aprendizaje de Políticas Downstream

El entrenamiento de políticas (OpenVLA y ACT) con los datos generados arrojó resultados significativos:

• Los datos generados por sí solos lograron una tasa de éxito del 55.2%, comparable al 84% del rendimiento logrado por 50 demostraciones de robots reales (65.9%).
• El aumento de 50 demostraciones reales con 200 generadas mejoró la tasa de éxito en un 11.3% absoluto sobre los datos reales por sí solos.
• Comparado con el entrenamiento con características de video humano (R3M/VIP), la generación condicionada por grafos proporcionó una mejora de +25.8% en la tasa de éxito.

4.3 Generalización a Objetos No Vistos

El Latente de Asequibilidad demostró fuertes capacidades zero-shot:

• Logró un 78.5% de corrección de tarea en objetos completamente no vistos (ej. sandía, destornillador) comparado con el 45.1% de los latentes basados en identidad de objeto.
• El modelo infirió con éxito comportamientos necesarios (ej. "pesado + frágil" $\rightarrow$ "agarre de potencia cuidadoso") basado en la composición de asequibilidad.

4.4 Validez Física

La verificación de bucle cerrado mejoró significativamente la factibilidad física:

• Pass@1 (primer intento) fue 51.2%; Pass@5 (después de 5 iteraciones) alcanzó el 94.1%.
• El error de Cinemática Inversa (IK) se redujo en un 93.5%, y las tasas de colisión disminuyeron un 90.9%.

4.5 Estudios de Ablación

• Eliminar el Grafo de Restricciones causó la mayor caída en Ejecutabilidad (-11.2%).
• Eliminar el Grafo de Asequibilidad causó la mayor caída en la Corrección de Tarea en objetos no vistos (-5.1%).
• Se identificó la estructura de grafos como el principal motor del rendimiento, más que el modelo de generación de video subyacente.

5. Significado y Reivindicaciones

El artículo afirma que Pegasus logra redefinir la generación de datos para robots de un problema de recolección de hardware a un problema de transferencia de conocimiento escalable y de bajos recursos.

• Transferencia a Nivel de Experiencia: El trabajo argumenta que la brecha de corporeidad debe cerrarse en el nivel de experiencia (objetivos, transiciones de estado, asequibilidades) en lugar del nivel de píxeles. Esto permite al sistema aprovechar la diversidad y el realismo de los videos humanos sin requerir la construcción de activos 3D a gran escala o simulación.
• Escalabilidad: Al desacoplar la semántica de la tarea de la morfología del robot, el marco permite la síntesis de demostraciones aprendibles por robots para plataformas heterogéneas desde una única fuente de datos humanos.
• Practicidad: Los resultados sugieren que modelar explícitamente el conocimiento de la tarea y las estructuras de asequibilidad permite que la vasta colección de videos de manipulación humana sirva como supervisión efectiva para el aprendizaje de robots, ofreciendo una alternativa práctica a la recolección de cada demostración en hardware físico.

Los autores reconocen limitaciones, incluyendo la dependencia de los VideoLLMs para la descomposición de tareas, el enfoque en la consistencia cinemática en lugar de la dinámica de contacto completa, y las restricciones actuales a la generación de vista única. Sin embargo, el marco establece un nuevo paradigma para el aprendizaje de representaciones trans-corpóreas estructuradas.