💻 computer science

LACE: Latent Visual Representation for Cross-Embodiment Learning

LACE es un marco que cierra la brecha visual entre las encarnaciones humana y robótica al alinear sus representaciones visuales latentes mediante correspondencias de partes del cuerpo escasas y generadas automáticamente, lo que permite a los robots aprovechar eficazmente los abundantes datos de demostración humana para el aprendizaje de políticas incluso con datos de entrenamiento específicos de robots escasos.

Autores originales: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot cómo recoger un juguete. Tienes miles de videos de humanos haciéndolo perfectamente, pero solo tienes un puñado de videos del robot haciéndolo.

El problema es que los humanos y los robots se ven muy diferentes. Una mano humana tiene piel, arrugas y cinco dedos que se doblan de maneras específicas. Una mano de robot podría estar hecha de metal, tener cuatro dedos o parecer una pinza. Debido a que se ven tan diferentes, el "cerebro" del robot (su visión por computadora) se confunde. Ve una mano humana en un video y piensa: "Eso es un humano", pero cuando ve su propia mano de metal, piensa: "Eso es algo completamente diferente". No puede conectar los dos, por lo que no puede aprender de los videos humanos.

Este artículo presenta una solución llamada LACE (Alineación Latente para el Aprendizaje de Encarnación Cruzada). Así es como funciona, usando analogías simples:

1. El problema del "lenguaje"

Piensa en el cerebro del robot como un estudiante que habla un lenguaje complejo llamado "Espacio Latente". Este lenguaje se usa para describir lo que ve.

El problema: Cuando el robot mira una mano humana, la describe en un dialecto de este lenguaje. Cuando mira su propia mano de metal, la describe en un dialecto totalmente diferente. Aunque ambas son "manos", el robot piensa que son palabras no relacionadas.
El resultado: El robot ignora los videos humanos porque no entiende el "dialecto" en el que habla el humano.

2. La solución LACE: Un traductor universal

LACE actúa como un traductor universal que enseña al robot a hablar el mismo dialecto tanto para manos humanas como para manos robóticas.

En lugar de intentar hacer que las imágenes de la cámara del robot se vean exactamente como las fotos humanas (lo cual es difícil y a menudo falla), LACE trabaja dentro del cerebro del robot. Dice: "Oye, aunque el pulgar humano y el pulgar del robot se ven diferentes, hacen el mismo trabajo. Asegurémonos de que el cerebro del robot los describa usando exactamente el mismo código interno."

3. Cómo aprende: El truco de las "partes compartidas"

Para enseñar a este traductor, no necesitas miles de videos del robot. Solo necesitas un solo video del robot moviéndose, más algunos videos existentes de humanos.

El mapa: El sistema utiliza un "mapa" de las partes del cuerpo. Sabe que un pulgar humano corresponde a un pulgar robótico, una muñeca humana a una muñeca robótica, etc.
La lección: Toma una foto de una mano humana y una foto de una mano robótica. Señala el pulgar en ambas imágenes y dice: "Estos dos píxeles deben significar lo mismo para el cerebro del robot".
La magia: Ajusta el cerebro del robot para que, cuando vea un pulgar robótico, "sienta" la misma sensación interna que cuando ve un pulgar humano.

4. Dos reglas para aprender

El artículo menciona dos reglas específicas que sigue el sistema para asegurar que aprenda correctamente sin olvidar todo lo demás:

Regla 1: El "emparejador" (Pérdida de Alineación Semántica): Esta regla obliga al robot a emparejar las partes del cuerpo humanas y robóticas. Es como un profesor que dice: "Si ves un pulgar humano, debes pensar en la 'pulgaridad' exactamente de la misma manera en que piensas en un pulgar robótico".
Regla 2: El "ancla" (Pérdida Gram): Esto es crucial. Si solo enseñas al robot sobre los pulgares, podría olvidar cómo reconocer una taza o una silla. La regla del "ancla" dice: "Mantén tu conocimiento general sobre el mundo (como cómo se ve una mesa) exactamente igual que antes. Solo cambia cómo piensas sobre las manos". Esto evita que el robot se confunda con todo lo demás.

5. Los resultados: De cero a héroe

Los investigadores probaron esto en el mundo real:

Sin LACE: Si le daban al robot cero videos de entrenamiento robótico y solo videos humanos, el robot fallaba casi el 100% de las veces. No podía entender dónde estaba su propia mano.
Con LACE: Usando la misma configuración (cero videos robóticos), el robot tuvo éxito el 60% de las veces. Podía mirar un video humano, entender la acción y aplicarla con éxito a su propia mano de metal.
Bajos datos: Incluso cuando le daban al robot una pequeña cantidad de su propio video (solo el 10% de lo que normalmente se necesita), LACE le ayudó a rendir mucho mejor que antes.

Resumen

LACE es un método que enseña a los robots a dejar de ver a los humanos y a los robots como dos especies diferentes. Al enseñar al cerebro del robot a usar el mismo "código interno" para las partes del cuerpo compartidas (como pulgares y muñecas), permite que los robots aprendan habilidades complejas de la enorme cantidad de datos de video humanos disponibles en internet, incluso si nunca han visto a un robot realizar esa tarea específica antes. Funciona con muy pocos datos y no requiere que el robot se parezca a un humano.

Resumen Técnico: LACE – Representación Visual Latente para Aprendizaje Trans-Encarnado

1. Declaración del Problema

El artículo aborda el desafío del aprendizaje trans-encarnado, específicamente la dificultad de transferir políticas aprendidas a partir de demostraciones humanas a robots. Si bien las columnas vertebrales de aprendizaje auto-supervisado (SSL) (por ejemplo, DINO) se han convertido en estándar para codificar semánticas inter-clase ricas en objetos generales, los autores identifican un fallo crítico: estos modelos preentrenados no logran establecer una correspondencia semántica fiable entre manos humanas y manos robóticas.

Los autores postulan que este fallo se origina en una "brecha visual" en el espacio de características latentes. Los modelos SSL preentrenados se entrenan en conjuntos de datos a escala de internet (por ejemplo, LVD-1689M para DINO) que carecen de diversas encarnaciones robóticas. En consecuencia, aunque estos modelos capturan semánticas para imágenes naturales, no aprenden el mapeo estructural entre partes del cuerpo humano (por ejemplo, un pulgar humano) y sus contrapartes robóticas (por ejemplo, un dedo robótico). Las soluciones existentes a menudo intentan cerrar esta brecha en el espacio de píxeles (mediante edición de imágenes, segmentación o inpainting), lo que descarta la morfología específica de la encarnación, requiere procesamiento en tiempo de inferencia o limita la transferencia a robots objetivo específicos.

2. Metodología: LACE

Los autores proponen LACE (Alineación Latente para Aprendizaje Trans-Encarnado), un marco que alinea las representaciones visuales humanas y robóticas directamente en el espacio de características latentes de una columna vertebral SSL preentrenada.

Concepto Central

LACE aprovecha la correspondencia estructural de partes del cuerpo compartidas entre encarnaciones (por ejemplo, mapear puntos clave humanos a puntos clave robóticos) como supervisión dispersa. Ajusta finamente una columna vertebral preentrenada para minimizar la brecha visual en el espacio latente, preservando al mismo tiempo las capacidades semánticas generales de la columna vertebral.

Componentes Clave

Configuración de Datos:
- Datos Humanos: Procedentes de conjuntos de datos existentes con anotaciones de puntos clave (por ejemplo, el subconjunto EpicKitchen de HInt).
- Datos Robóticos: Requiere únicamente una única demostración robótica. Los puntos clave se derivan automáticamente mediante cinemática directa (FK) y máscaras de segmentación del renderizador.
- Pares de Entrenamiento: El modelo se entrena con pares de imágenes $(I_a, I_b)$ de diferentes encarnaciones (trans-encarnado) y de la misma encarnación (intra-encarnado).
Funciones de Pérdida:
El objetivo de entrenamiento consta de dos componentes:
- Pérdida de Alineación Semántica ( $L_{align}$ ): Esta eleva la supervisión a nivel de puntos clave a una alineación a nivel semántico. Para un punto clave compartido $k$ $k$ , el método compara la distribución de similitudes entre el parche del punto clave y todos los demás parches en la imagen.
  - Define una distribución objetivo $P$ (autosemejanza del punto clave en la imagen fuente) y una distribución propuesta $Q$ (cruce de similitud del punto clave correspondiente en la imagen objetivo).
  - La pérdida minimiza la divergencia KL inversa ( $D_{KL}(Q || P)$ ), fomentando que el punto clave del robot induzca una estructura semántica en el espacio latente similar a la del punto clave humano.
  - Se utiliza una red maestra con Promedio Móvil Exponencial (EMA) para estabilizar el entrenamiento.
- Pérdida Gram ( $L_{gram}$ ): Para prevenir el olvido catastrófico de la comprensión visual general de la columna vertebral (por ejemplo, reconocimiento de objetos), se aplica una pérdida Gram. Penaliza las desviaciones en las similitudes de características por pares (matriz Gram) entre el codificador entrenable y el codificador EMA. Esto asegura que, mientras las características de la mano se alinean, la estructura relativa de otras características (fondos, objetos) permanezca estable.
La pérdida total es: $L = L_{align} + \lambda L_{gram}$ .
Arquitectura:
Los autores implementan LACE utilizando DINOv3 (ViT-S) como columna vertebral, denominado LACE-DINO. La política se condiciona exclusivamente sobre características visuales, aislando la brecha del dominio visual.

3. Contribuciones Clave

Identificación de la Brecha Latente: El artículo demuestra que la brecha visual entre encarnaciones humanas y robóticas se propaga a las incrustaciones visuales latentes, causando que los modelos SSL preentrenados fallen en la correspondencia trans-encarnada.
Marco de Supervisión Dispersa: LACE logra una alineación semántica trans-encarnada utilizando frames de una sola demostración robótica (o incluso un único frame anotado con puntos clave) sin requerir conjuntos de datos alineados temporal o espacialmente.
Preservación de Semánticas Generales: Mediante la introducción de la pérdida Gram, el método alinea partes específicas del cuerpo sin degradar las características visuales de propósito general de la columna vertebral, evitando el olvido catastrófico.
Rendimiento Zero-Shot y de Bajos Datos: El marco permite que las políticas robóticas aprovechen eficazmente los abundantes datos humanos cuando los datos robóticos son escasos, logrando ganancias significativas en transferencia zero-shot y generalización a entornos fuera de distribución (OOD).

4. Resultados Experimentales

Los autores validan LACE mediante experimentos extensos en tareas de manipulación robótica del mundo real.

Métricas de Alineación de Puntos Clave:
- En la correspondencia humano-robot, LACE-DINO reduce el Error del Punto Final (EPE) de 87.04 (DINO preentrenado) a 19.36 y aumenta la Similitud Coseno de 0.473 a 0.910.
- Esta mejora se generaliza a otras columnas vertebrales SSL (SigLIP, I-JEPA, V-JEPA2).
Tareas Descendentes (Estimación de Pose y Localización):
- En transferencia zero-shot (sondas entrenadas con datos humanos, probadas con datos robóticos), LACE-DINO supera significativamente a DINO.
- Estimación de Pose: El EPE mejoró de 57.5 a 35.6 píxeles; PCK@0.2 mejoró de 28.6% a 72.4%.
- Localización: LACE-DINO logró una tasa de aciertos del 40.5% para la localización de encarnación en comparación con el 3.2% de DINO.
Aprendizaje de Políticas (Agarre de Objetos):
- Régimen Zero-Shot (0% datos robóticos): LACE-DINO logró una tasa de éxito del 60% en recoger un objeto objetivo, en comparación con el 5% de la línea base DINO.
- Entornos OOD: En entornos con objetos distractores no vistos por el robot, LACE-DINO logró un 65% de éxito, mientras que DINO falló completamente (0%).
- Eficiencia de Datos: LACE-DINO superó consistentemente a DINO incluso con datos robóticos limitados (10% o 100% de las demostraciones robóticas disponibles), demostrando que las representaciones alineadas compensan la escasez de datos.
Generalización:
- Poses Inéditas: El modelo se generaliza a poses de mano no vistas durante el entrenamiento.
- Múltiples Encarnaciones: LACE alineó con éxito cuatro morfologías distintas (mano humana, mano robótica multifinger, pinza de mordaza paralela, efector final de varilla) simultáneamente.
- Calidad de Características: Los estudios de ablación confirmaron que la pérdida Gram es crucial; sin ella, el rendimiento de las tareas descendentes (clasificación ImageNet, segmentación ADE20K) se degradó significativamente debido a la deriva de características.

5. Significado y Afirmaciones

El artículo afirma que LACE proporciona una solución práctica al problema de la escasez de datos en el aprendizaje de robots diestros. Al operar en el espacio latente en lugar del espacio de píxeles, evita la sobrecarga computacional y la pérdida de información asociadas con los métodos de edición de imágenes.

Los autores enfatizan que su enfoque permite a los robots aprovechar datos de video humanos abundantes incluso cuando las demostraciones robóticas son extremadamente limitadas o inexistentes (zero-shot). El marco se presenta como un método general aplicable a cualquier columna vertebral SSL que codifique estructura semántica, ofreciendo una vía para entrenar políticas robustas para entornos no vistos y morfologías robóticas diversas sin requerir conjuntos de datos trans-encarnados masivos y sincronizados. El código está destinado a ser publicado para facilitar la investigación adicional en generalización trans-encarnada.