🤖 machine learning

Cross-Embodiment Transfer via Behavior-Aligned Representations

Este artículo propone el uso de representaciones alineadas con el comportamiento, particularmente las trazas del efector final, dentro de modelos de visión-lenguaje-acción para unificar diversos datos de distintos cuerpos y mejorar significativamente el rendimiento de transferencia robótica, logrando un aumento del 28% en la finalización de tareas en el mundo real tras el preentrenamiento en simulación.

Autores originales: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ajay Sridhar, Jensen Gao, Jonathan Yang, Jean Mercat, Suneel Belkhale, Dorsa Sadigh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo hacer las tareas del hogar. En el mundo del aprendizaje automático, existe una idea popular de que si alimentas a un modelo con una cantidad masiva de datos de todas partes, este se vuelve más inteligente que si solo lo alimentaras con datos de una única fuente específica. Este es el mismo motivo por el cual un humano que viaja por el mundo y aprende muchos idiomas puede adaptarse mejor a nuevas situaciones que alguien que solo ha vivido en un pequeño pueblo. Para los robots, esto significa que queremos entrenarlos con datos recolectados de muchos tipos de robots: algunos con brazos largos, otros con brazos cortos, otros con pinzas que parecen garras, otras como tenazas. Esto se llama aprendizaje de "inter-corporeidad" (cross-embodiment). El objetivo es crear un cerebro robótico "universal" que pueda aprender de una biblioteca de experiencias de muchas máquinas diferentes y luego aplicar ese conocimiento a un robot nuevo que nunca ha visto antes. Sin embargo, hay un gran problema: una cámara en un robot alto ve el mundo desde un ángulo elevado, mientras que un robot bajo lo ve desde el suelo. Sus "manos" se mueven de forma diferente, y sus comandos de acción están escritos en diferentes "idiomas". Intentar mezclar estos conjuntos de datos desordenados y desparejados es como intentar enseñar a un estudiante a conducir mostrándole vídeos de coches, camiones y bicicletas al mismo tiempo sin explicarle las diferencias. Es confuso, y a menudo el robot simplemente se queda bloqueado.

Este artículo, titulado "Cross-Embodiment Transfer via Behavior-Aligned Representations", aborda esa confusión planteando una pregunta ingeniosa: en lugar de intentar forzar a los robots a verse o moverse exactamente igual, ¿podemos enseñarles a hablar un "lenguaje de comportamiento" común? Los autores, un equipo de Stanford y el Toyota Research Institute, proponen que podemos cerrar la brecha entre diferentes robots centrándonos en la historia de la acción en lugar de en la mecánica específica. Sugieren el uso de "representaciones alineadas con el comportamiento" —que son básicamente resúmenes simplificados de lo que está sucediendo, como una descripción de texto del movimiento ("mover a la izquierda y hacia abajo"), un cuadro dibujado alrededor del objeto que se está recogiendo, o una línea que traza la trayectoria que la mano del robot realiza en el aire.

Los investigadores probaron esta idea utilizando un nuevo benchmark de simulación que construyeron llamado RoboCasa-X. Entrenaron a sus cerebros robóticos (específicamente un tipo de modelo llamado modelo de Visión-Lenguaje-Acción) con enormes conjuntos de datos de tres robots de origen diferentes. Luego, intentaron transferir ese conocimiento a cuatro robots de destino diferentes que no estaban en los datos de entrenamiento. Compararon el entrenamiento con solo datos brutos frente al entrenamiento con estos "resúmenes de comportamiento" adicionales incorporados.

Los resultados fueron bastante reveladores. El estudio encontró que añadir estos resúmenes de comportamiento ayudó significativamente a los robots a transferir habilidades a nuevos cuerpos. Entre los diferentes tipos de resúmenes que probaron, las "trazas del efector final" —que son esencialmente las trayectorias en 2D que la mano del robot dibuja en la vista de la cámara— fueron la herramienta más poderosa. Cuando los robots fueron entrenados con estas trazas, se volvieron mucho mejores adaptándose a nuevo hardware. De hecho, cuando tomaron una política preentrenada en simulación y la probaron en robots del mundo real, el uso de estas representaciones mejoró el progreso de la finalización de la tarea en un 28%.

Curiosamente, el artículo también descubrió que no es necesario que el robot "piense" en estas trazas mientras realiza la tarea. Los modelos aprendieron mejor cuando fueron entrenados para predecir estas trazas junto con las acciones, pero durante el trabajo real, el simple hecho de predecir la acción directamente funcionaba igual de bien. Esto sugiere que las trazas ayudaron al robot a aprender la lógica subyacente de la tarea durante el entrenamiento, actuando como unas rueditas de entrenamiento que se pueden quitar después. Además, el equipo demostró que estas representaciones incluso pueden ayudar a los robots a aprender de datos que no incluyen comandos de acción en absoluto (datos libres de acción), siempre que los resúmenes de comportamiento estén presentes.

Los autores advierten cuidadosamente que, si bien su método funciona bien en sus pruebas específicas de simulación y del mundo real, depende de que los robots tengan cierto nivel de similitud en sus tareas y configuraciones de cámara. No demostraron que esto funcione para cada posible desajuste de robots, pero sus experimentos sugieren fuertemente que dar a los robots un "vocabulario de comportamiento" compartido es una forma prometedora de hacerlos más adaptables. Al centrarse en el "qué" y el "cómo" del movimiento en lugar del "quién" específico (el modelo de robot), encontraron una manera de hacer que la vasta y desordenada biblioteca de datos robóticos sea realmente útil para construir máquinas más inteligentes y flexibles.

Resumen Técnico: Transferencia de Multi-Embodiment mediante Representaciones Alineadas con el Comportamiento

Declaración del Problema

Los avances recientes en la manipulación robótica han sido impulsados por el aprendizaje de imitación a gran escala a través de diversos embodiments (configuraciones corporales) de robots. Sin embargo, lograr una transferencia de multi-embodiment significativa —donde una política entrenada con datos de un conjunto de robots se generaliza a una nueva plataforma robótica no vista— sigue siendo un desafío persistente.

El obstáculo principal es la variación sustancial en los espacios de observación (por ejemplo, poses de cámara, entradas visuales) y los espacios de acción (por ejemplo, configuraciones de articulaciones, cinemática del efector final) entre diferentes embodiments. Aunque trabajos previos han intentado abordar esto alineando explícitamente las observaciones (por ejemplo, mediante la normalización de la pose de la cámara o el inpainting) o los espacios de acción, estos métodos suelen requerir un esfuerzo manual significativo, conocimiento específico del robot de despliegue durante el entrenamiento, o son difíciles de escalar. En consecuencia, el rendimiento a menudo no logra superar significativamente al entrenamiento realizado únicamente con datos específicos del embodiment objetivo.

Metodología

Los autores proponen un marco para alinear implícitamente conjuntos de datos heterogéneos utilizando representaciones alineadas con el comportamiento. La hipótesis central es que, si bien las observaciones y acciones puras varían entre robots, las representaciones intermedias que describen el comportamiento de la tarea (por ejemplo, "mover a la izquierda", "agarrar objeto en [x,y]") pueden permanecer invariantes entre embodiments. Al entrenar modelos de Visión-Lenguaje-Acción (VLA) para predecir estas representaciones junto con las acciones, la política puede aprovechar un espacio de razonamiento unificado.

Marco de Trabajo y Formalización

El enfoque se formula dentro de un entorno de aprendizaje de imitación condicionado por lenguaje. La política $\pi_\theta$ se entrena para mapear observaciones $o$ e instrucciones de lenguaje $l$ hacia acciones $a$ .

Representaciones Alineadas con el Comportamiento ( $z$ ): Los autores definen un conjunto de representaciones $z = (z^{(1)}, \dots, z^{(K)})$ que son computables a partir del conjunto de datos, útiles para predecir el comportamiento óptimo y que son invariantes entre embodiments.
Objetivo de Entrenamiento: El modelo se entrena para predecir de forma autorregresiva un subconjunto muestreado de representaciones $\tilde{z}$ seguido de las acciones. La pérdida total combina la pérdida de clonación de comportamiento (predicción de acciones) con pérdidas auxiliares para la predicción de las representaciones:
$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$
Durante la inferencia, el modelo puede configurarse para predecir acciones directamente o condicionarse con las representaciones predichas.

Representaciones Específicas Estudiadas

El artículo evalúa tres tipos específicos de representaciones alineadas con el comportamiento:

Cajas Delimitadoras (Bounding Boxes): Cajas delimitadoras 2D de objetos manipulables (extraídas mediante Grounding DINO).
Movimientos de Lenguaje (Language Motions): Descripciones textuales del movimiento inmediato (por ejemplo, "mover a la izquierda y abajo"), derivadas de cambios en el estado propioceptivo.
Trazas del Efector Final (EE Traces): Secuencias de posiciones 2D futuras del efector final del robot en el cuadro de la imagen.

Benchmark: RoboCasa-X

Para evaluar rigurosamente estas hipótesis, los autores introducen RoboCasa-X, un benchmark basado en simulación que extiende RoboCasa.

Datos de Origen: Pre-entrenamiento en datos diversos de tres robots de origen (IIWA, Kinova3, UR5e) con variaciones en sus pinzas (grippers).
Datos de Destino: Evaluación de transferencia en tres robots de destino (Panda, Jaco, Panda-OG) con demostraciones limitadas del objetivo (50 por tarea).
Tareas: Cuatro tareas de manipulación (por ejemplo, "Recoger y Colocar frente al Fregadero", "Encender el Grifo del Lavabo") que presentan variaciones significativas en disposiciones, texturas y poses de objetos.

Contribuciones Clave

Alineación Implícita mediante Representaciones: El artículo demuestra que las representaciones alineadas con el comportamiento ofrecen un método escalable e implícito para unificar datos de multi-embodiment, evitando la necesidad de una alineación explícita de los espacios de observación o acción.
Análisis Empírico de Representaciones: A través de extensos estudios de ablación, los autores identifican que las trazas del efector final son la representación más impactante para la transferencia de multi-embodiment, seguidas de los movimientos de lenguaje y las cajas delimitadoras.
Leyes de Escalamiento: El estudio revela que la utilidad de estas representaciones escala con el tamaño del conjunto de datos de multi-embodiment previo; conjuntos de datos más grandes (por ejemplo, 3,000 demostraciones) obtienen mayores beneficios del alineamiento de representaciones que los más pequeños.
Transferencia Libre de Acciones (Action-Free Transfer): El marco permite la transferencia desde conjuntos de datos libres de acciones. Los autores muestran que el pre-entrenamiento en datos donde solo se predicen las representaciones (sin etiquetas de acción) mejora el rendimiento posterior cuando se realiza el ajuste fino (fine-tuning) con datos de acción, lo que sugiere que las representaciones inducen un estado interno útil.
Validación Sim-to-Real: El enfoque se valida en robots del mundo real, demostrando que las representaciones pueden cerrar la brecha sim-to-real mientras manejan simultáneamente la transferencia de multi-embodiment.

Resultados Experimentales

Resultados de Simulación (RoboCasa-X)

Ganancias de Rendimiento: El uso de representaciones alineadas con el comportamiento mejora consistentemente las tasas de éxito sobre las líneas base sin representaciones.
- Trazas del Efector Final: Proporcionaron el mayor impulso individual.
- Representaciones Combinadas: El uso de "Joint Reps" (entrenar un único modelo para predecir cualquier subconjunto de representaciones) generalmente alcanzó las tasas de éxito más altas en la mayoría de las tareas y robots de destino (Panda, Jaco).
- Excepción: Para el destino Panda-OG (que tiene una pinza única no vista en el pre-entrenamiento), las trazas del efector final por sí solas superaron a las representaciones combinadas, lo que sugiere que la elección de la representación óptima depende del embodiment específico.
Escalamiento: Las representaciones proporcionaron una mejora de +19% al escalar de 900 a 3,000 demostraciones previas, mientras que el beneficio fue menor con datos de un solo embodiment.
Inferencia: La predicción de representaciones durante la inferencia proporcionó solo mejoras marginales respecto a la predicción directa de acciones, lo que respalda la hipótesis de que el principal beneficio se aprende durante el entrenamiento (alineación implícita).
Datos Libres de Acciones: El pre-entrenamiento con datos libres de acciones (prediciendo solo representaciones) mejoró el rendimiento en un 14% respecto al entrenamiento desde cero y en un 11% respecto al uso de datos de acción completos sin representaciones.

Resultados del Mundo Real

Transferencia Sim-to-Real: Los autores adaptaron modelos pre-entrenados en RoboCasa-X (XP-3K) a dos robots reales: Franka Research 3 (FR3) y ViperX 300 S.
Mejora Significativa: A pesar de las brechas significativas en las observaciones visuales y los espacios de acción (por ejemplo, diferentes frecuencias de control y comportamientos de bloqueo), el enfoque "Joint Reps" mejoró el progreso de la finalización de tareas en un 28% en comparación con las líneas base sin representaciones.
Comparación: Las representaciones fueron más beneficiosas en el entorno del mundo real que en la simulación, probablemente debido a que la mayor brecha de dominio hace que el alineamiento implícito sea más crítico.

Significación y Reivindicaciones

El artículo sostiene que las representaciones alineadas con el comportamiento son un mecanismo crucial para permitir el aprendizaje de multi-embodiment escalable. Al proporcionar un "lenguaje" común de comportamiento (trazas, cajas, lenguaje) que es invariante a la arquitectura específica del robot, estas representaciones permiten que las políticas aprovechen conjuntos de datos masivos y heterogéneos que, de otro modo, serían inutilizables debido a los desajustes de embodiment.

Los autores posicionan este trabajo como un paso hacia la comprensión de la "transferencia positiva" en el aprendizaje de multi-embodiment. Enfatizan que, si bien su configuración actual implica un alineamiento significativo (por ejemplo, distribuciones de cámara consistentes en simulación), el marco proporciona un punto de partida para explorar la transferencia en entornos menos estructurados y más desalineados. El trabajo sugiere que la investigación futura debe investigar cómo diferentes niveles de desalineación influyen en la eficacia de representaciones específicas y explorar un rango más amplio de señales alineadas con el comportamiento más allá de la manipulación centrada en objetos.