💻 computer science

Cloak: Zero-Shot Cross-Embodiment Manipulation by Masking the End-Effector from the VLA

El artículo presenta Cloak, un método de entrenamiento que permite a los modelos de Visión-Lenguaje-Acción lograr la manipulación trans-corporal (cross-embodiment) zero-shot mediante el enmascaramiento del efector final en las vistas de la cámara de la muñeca durante el entrenamiento, permitiendo así que un modelo entrenado en un solo robot se generalice a hardware no visto sin recolectar nuevos datos.

Autores originales: Michael Piseno, Guy Tevet, C. Karen Liu

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Piseno, Guy Tevet, C. Karen Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot cómo recoger una taza. Le muestras un vídeo desde el propio "ojo" del robot (una cámara en su muñeca). El problema es que, en ese vídeo, la mano del propio robot (la pinza) ocupa una enorme parte de la pantalla.

Si entrenas a un robot usando un tipo de mano específico —por ejemplo, una pinza simple de dos dedos—, este aprende a reconocer esa forma concreta. Si luego cambias la mano de ese robot por una completamente diferente, como una mano humana de cinco dedos, el robot se confunde. Es como si le enseñaras a alguien a conducir un coche mostrando únicamente el volante de un Ford. Si de repente lo pones en un Tesla con un volante diferente, podría entrar en pánico porque el "mapa visual" en su cerebro no coincide con lo que ve.

El Problema: La distracción de la "Mano"
En el mundo de la robótica, la recopilación de datos es costosa y lenta. Tenemos enormes bibliotecas de datos que muestran a robots con pinzas de dos dedos realizando tareas. Pero el futuro de la robótica se dirige hacia manos complejas de múltiples dedos. Queremos usar nuestros datos antiguos para enseñar a estas nuevas manos, pero la mano del viejo robot no se parece en nada a la nueva. El cerebro del robot está demasiado concentrado en la forma específica de su antigua mano como para entender la nueva.

La Solución: "Cloak"
El artículo presenta un truco ingenioso llamado Cloak. Piensa en esto como una "venda" o un "bozal" digital para la visión del robot.

Ocultar la mano: En lugar de dejar que el robot vea su propia mano en la transmisión de la cámara, Cloak la pinta digitalmente con una máscara. Es como poner un trozo de cinta sobre la parte de la lente de la cámara donde aparece la mano.
Aprender la escena, no la mano: Al ocultar la mano, el robot se ve obligado a mirar el resto del mundo: la mesa, la taza, los obstáculos. Aprende la lógica de la tarea (por ejemplo, "avanza hacia adelante hasta que choque con la taza") sin distraerse por la forma específica de sus propios dedos.
El entrenamiento "Camaleón": Para asegurar que el robot no aprenda simplemente a ignorar una forma de cinta específica, los investigadores cambian aleatoriamente la forma de la "venda" durante el entrenamiento. A veces la máscara es grande, otras veces pequeña, otras veces de forma extraña. Esto le enseña al robot que "mi mano puede verse diferente mañana, así que no debería depender de verla".

Cómo funciona en la vida real
Cuando el robot está realizando realmente el trabajo:

Los ojos: La transmisión de la cámara todavía tiene la mano, pero el software cubre instantáneamente la mano con una máscara digital antes de que el cerebro del robot la vea.
El cerebro: El cerebro del robot ve una imagen enmascarada y un comando de texto como "recoger la taza". Determina el movimiento basándose en el entorno.
El cuerpo: Una vez que el cerebro decide "mover mis yemas a este punto", un traductor (llamado reasignación de postura de las puntas o tip-pose retargeting) convierte esa instrucción en los movimientos musculares específicos necesarios para la nueva mano. Si la nueva mano tiene cinco dedos, el sistema calcula cómo mover esos cinco dedos para que coincidan con el plan de los dos dedos.

Los Resultados
Los investigadores probaron esto entrenando a un robot con una pinza simple de dos dedos utilizando datos existentes. Luego, intentaron usar ese mismo cerebro entrenado en tres robots completamente diferentes que nunca había visto:

Una pinza de dos dedos diferente (de distinto color y forma).
Un brazo robótico completamente distinto.
Una mano compleja de cinco dedos, similar a la humana.

El Resultado:

Sin Cloak: El robot falló estrepitosamente en las nuevas manos. Estaba confundido porque el "mapa" visual no coincidía.
Con Cloak: El robot funcionó casi tan bien en las nuevas manos como en la original. Logró transferir sus habilidades de forma zero-shot (lo que significa que no necesitó nuevos datos de entrenamiento para las nuevas manos).

La Gran Conclusión
Cloak demuestra que puedes separar el "cerebro" de un robot (la habilidad de realizar una tarea) de su "cuerpo" (el hardware específico). Al ocultar el cuerpo de la vista del cerebro durante el aprendizaje, los datos recopilados en un robot pueden reutilizarse en robots completamente diferentes en el futuro. Es como enseñar a una persona a nadar haciendo que use una venda para que se concentre en el movimiento del agua en lugar de en sus propios miembros; una vez que aprenden el ritmo del agua, pueden nadar con cualquier tipo de aletas.

Limitaciones
El artículo señala que esto funciona mejor para tareas que pueden realizarse colocando dos puntos (como dos yemas de los dedos) sobre un objeto. Todavía no resuelve tareas complejas que requieren una manipulación intrincada dentro de la mano (como hacer malabares con una pelota dentro de una mano), ya que estas dependen en gran medida del tacto y la forma específica de los dedos.

Resumen Técnico: Cloak: Manipulación Cross-Embodiment Zero-Shot mediante el Enmascaramiento del Efector Final del VLA

1. Planteamiento del Problema

La investigación en manipulación robótica está actualmente fragmentada en diversos efectores finales, que van desde simples pinzas de mandíbula paralela hasta complejas manos antropomórficas de múltiples dedos. Mientras que los modelos de Visión-Lenguaje-Acción (VLA) entrenados en "fuentes" de embodiment específicas logran un fuerte rendimiento en esos robots específicos, sus capacidades se degradan significativamente cuando se despliegan en "objetivos" de embodiment distintos con morfologías diferentes.

La barrera principal para la transferencia cross-embodiment zero-shot es la brecha visual. En configuraciones estándar con cámaras montadas en la muñeca, el efector final ocupa una región consistente y amplia del campo visual. Una política entrenada en un robot fuente (por ejemplo, una pinza de mandíbula paralela) aprende características fuertemente dependientes de la apariencia de ese efector final específico. Cuando se despliega en un robot objetivo con una apariencia diferente (por ejemplo, una mano de cinco dedos), la observación visual se desplaza fuera de la distribución, causando un colapso en el rendimiento. Las soluciones existentes suelen depender de la recolección de nuevos datos para cada objetivo o del uso de modelos generativos para "repintar" al robot en la imagen, lo que introduce latencia, riesgos de alucinación y sobrecarga computacional.

2. Metodología: La Receta Cloak

Los autores proponen Cloak, una receta de entrenamiento que permite a un VLA generalizar a embodiments no vistos mediante el enmascaramiento explícito del efector final de su propia vista de cámara de muñeca durante el entrenamiento. Esto obliga al modelo a depender del contexto de la escena y las instrucciones de lenguaje en lugar de la geometría específica de la mano del robot fuente.

Componentes Principales

Enmascaramiento Geométrico (Entrenamiento e Inferencia):
- En lugar de utilizar segmentación aprendida o inpainting generativo, Cloak renderiza una máscara geométrica del efector final en tiempo real utilizando la cinemática conocida del robot (cinemática directa), mallas de los eslabones y la intrínseca de la cámara.
- Esta máscara se proyecta sobre la imagen de la cámara de la muñeca, identificando los píxeles ocupados por el propio cuerpo del robot.
- Atención Enmascarada (Masked Attention): La máscara se reduce de escala al retículo de parches del codificador de visión (por ejemplo, parches ViT). Durante el cómputo de la atención en el codificador de visión, los parches que caen dentro de la máscara se les asigna un sesgo de atención de $-\infty$ . Esto elimina efectivamente la información visual del efector final de la percepción de la política, manteniendo la longitud de la secuencia.
Aumento de Máscara (Solo Entrenamiento):
- Para evitar que el modelo se sobreajuste a la silueta específica de la pinza de origen, los autores aumentan la máscara durante el entrenamiento.
- El aumento consiste en añadir aleatoriamente "cápsulas" al contorno de la máscara y restar "discos" de su interior.
- Para rellenar los huecos resultantes en la imagen (que de otro modo revelarían al robot de origen), los autores utilizan una estrategia de inpainting simple y no generativa: desplazan una copia de la misma imagen sobre la región enmascarada. Esto asegura que la distribución de píxeles sea realista sin alucinar contenido nuevo.
Retargeting de Pose de la Punta (Puente Cinemático):
- Mientras que la brecha visual se aborda mediante el enmascaramiento, la brecha cinemática (diferentes espacios articulares) se aborda mediante Cinemática Directa (FK) y Cinemática Inversa (IK).
- Retargeting de Entrada: El estado del robot objetivo se convierte al espacio articular del robot fuente calculando la FK de las "puntas" designadas del objetivo (por ejemplo, yemas de los dedos o mandíbulas de la pinza) y luego resolviendo la configuración articular del robot fuente que coincida con esas poses de las puntas.
- Retargeting de Salida: El VLA emite acciones en el espacio articular del robot fuente. Estas se convierten en las acciones del robot objetivo calculando la FK de las puntas de la fuente, y luego resolviendo la IK para el robot objetivo para lograr las mismas poses de las puntas.
- Para la señal de la pinza, se utiliza una interpolación lineal entre estados predefinidos de abierto/cerrado para la mano de destino.

3. Contribuciones Clave

Cloak-VLA: Una política VLA entrenada en un único conjunto de datos de pinza de mandíbula paralela (DROID) que se transfiere zero-shot a embodiments no vistos, incluyendo una pinza diferente, un brazo diferente y una mano humana de cinco dedos dextros, sin recolectar ningún dato nuevo.
Enmascaramiento Basado en Geometría: Un enfoque novedoso para cerrar la brecha visual mediante el renderizado de máscaras a partir de la geometría conocida en lugar de depender de modelos generativos o segmentación aprendida, evitando así la alucinación y garantizando el rendimiento en tiempo real.
Estrategia de Aumento de Máscara: Una técnica para randomizar la silueta del efector final durante el entrenamiento, asegurando que el modelo aprenda un razonamiento independiente del embodiment en lugar de memorizar una forma específica.
Desacoplamiento de Datos y Hardware: Una demostración de que las habilidades de manipulación pueden desacoplarse del cuerpo específico que las ejecuta, permitiendo que los datos recolectados en un robot "sobrevivan" al hardware.

4. Resultados Experimentales

Los autores evaluaron Cloak-VLA en el conjunto de datos DROID (fuente: Franka Panda con pinza Robotiq 2F-85) y probaron la transferencia zero-shot en tres embodiments no vistos:

Pinza UMI: Una pinza de mandíbula paralela diferente (color, forma y tamaño distintos).
Brazo YAM: Una plataforma de brazo diferente con una pinza.
Mano Sharpa: Una mano humana dextrosa de cinco dedos.

Métricas de Rendimiento (Tasa de Progresión de Tareas):

Embodiment de Origen: Cloak-VLA funcionó al mismo nivel que la línea base sin enmascarar ( $\pi0.5$ -droid), mostrando que el enmascaramiento de la vista de la muñeca incurre en un costo insignificante en el robot de origen.
Embodiments No Vistos:
- Cloak-VLA mantuvo un alto rendimiento en todos los objetivos no vistos (por ejemplo, 81.8% en la mano Sharpa, 85.1% en la pinza UMI).
- Las líneas base ( $\pi0.5$ -droid y LAP-VLA) sufrieron caídas significativas de rendimiento en los embodiments no vistos, particularmente en la mano de cinco dedos (cayendo a 54.4% y 60.2%, respectivamente).
- Estudios de Ablación: Eliminar el aumento de máscara (Cloak-VLA-NoAug) o usar una superposición de máscara fija (Cloak-VLA-Overlap) resultó en un menor rendimiento, confirmando que aumentar la silueta de origen es crítico para la generalización.

5. Significado y Reivindicaciones

El artículo afirma que Cloak representa un paso significativo hacia la manipulación independiente del cuerpo (body-agnostic). Al "encubrar" el efector final, el modelo aprende a razonar sobre la tarea y el entorno sin estar sesgado por la apariencia específica de la mano del robot.

Longevidad de los Datos: El significado principal es la capacidad de reutilizar grandes conjuntos de datos (como DROID) para nuevos hardware emergentes sin necesidad de reentrenamiento o nueva recolección de datos.
Robustez: El método evita los problemas de los modelos generativos (alucinación, velocidad) y la segmentación aprendida (falta de fiabilidad en estructuras delgadas).
Alcance: Los autores señalan modestamente que el enfoque actual se limita a tareas expresables mediante dos yemas de los dedos (agarre/colocación) y aún no cubre la reorientación compleja dentro de la mano o habilidades que requieren estrategias de contacto ricas. Sugieren que el modelo resultante, independiente del cuerpo, sirve como una fuerte inicialización para el ajuste fino futuro en nuevos embodiments.