🤖 machine learning

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

Este artículo presenta CLAMP, un nuevo marco de preentrenamiento 3D que aprovecha el aprendizaje contrastivo en nubes de puntos multivista y acciones robóticas para mejorar la eficiencia de las muestras y el rendimiento de las políticas de manipulación robótica tanto en tareas simuladas como en el mundo real.

Autores originales: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Publicado 2026-05-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina enseñar a un robot a hacer tareas domésticas, como poner una taza en un plato o abrir un cajón. En el pasado, los científicos intentaban enseñar a los robots mostrándoles miles de videos de humanos realizando estas tareas. El robot intentaba imitar los movimientos, pero a menudo tenía dificultades porque veía el mundo en "2D" (como una fotografía plana). No entendía realmente que una taza es un objeto sólido con profundidad, o que necesita alcanzar alrededor de algo para agarrarlo.

Este artículo presenta CLAMP, una nueva forma de entrenar robots que consiste en darles un "cerebro 3D" antes de que comiencen a aprender tareas específicas.

Así es como funciona, desglosado en conceptos sencillos:

1. El Problema: Visión Plana vs. 3D

Piensa en una cámara robótica estándar como un humano mirando un cuadro. Puedes ver los colores y las formas, pero no puedes percibir la profundidad. Si un robot intenta recoger un destornillador, podría fallar porque no comprende completamente el espacio tridimensional que rodea al objeto.

La Solución de CLAMP: En lugar de solo mirar imágenes planas, CLAMP construye una nube de puntos 3D. Imagina tomar un millón de puntos diminutos para representar cada superficie que el robot ve. Esto le da al robot una comprensión "sólida" del mundo, sabiendo exactamente dónde están los bordes y las esquinas de los objetos en el espacio 3D.

2. El Entrenamiento en el "Gimnasio" (Pre-entrenamiento)

Antes de que el robot intente realizar una tarea específica (como abrir un cajón), pasa por una sesión masiva de "gimnasio" en una simulación por computadora. Esto se llama Pre-entrenamiento.

El Entrenamiento: El robot observa millones de movimientos robóticos simulados.
La Lección: Aprende a conectar tres cosas:
1. Lo que ve (la forma 3D de los objetos).
2. Lo que hace (el historial de sus movimientos de brazo).
3. Lo que se le dice (descripciones de texto como "pon el abrelatas en el compartimento izquierdo").
El Truco Mágico (Aprendizaje Contrastivo): Imagina un juego de "Memoria". Se le muestra al robot una imagen de una escena y una lista de acciones. Debe emparejar la imagen correcta con la acción correcta. Si empareja una imagen de un destornillador con la acción "recoger el destornillador", gana un punto. Si empareja la imagen del destornillador con "recoger las tijeras", pierde un punto. Tras millones de intentos, aprende la conexión profunda entre ver un objeto y saber cómo moverse para agarrarlo.

3. La Ventaja de la "Cámara de Muñeca"

Uno de los grandes descubrimientos del artículo es que los robots necesitan ver las cosas desde sus propias manos, no solo desde una cámara fija en el techo.

La Analogía: Imagina intentar pasar un hilo por la aguja mientras alguien más sostiene una linterna en la pared. Es difícil. Pero si sostienes la linterna tú mismo (una "vista de muñeca"), puedes ver exactamente lo que estás haciendo.
El Movimiento de CLAMP: Simula cámaras montadas en las muñecas del robot. Esto ayuda al robot a ver los objetos claramente incluso cuando sus propios brazos bloquean la vista, lo cual es crucial para tareas de alta precisión.

4. El "Empuje Inicial" (Ajuste Fino)

Después de que el robot termina su entrenamiento en el "gimnasio", está listo para aprender una tarea real.

La Vieja Forma: Por lo general, tienes que empezar desde cero, mostrando al robot unos cientos de ejemplos de una nueva tarea, y le toma mucho tiempo aprender.
La Forma CLAMP: Como el robot ya entiende el espacio 3D y cómo las acciones se relacionan con los objetos, solo necesita ver un número diminuto de ejemplos (como 4.500 demostraciones) para dominar una nueva tarea. Es como un estudiante que ya sabe leer y escribir; solo necesita aprender el vocabulario específico para una nueva materia, en lugar de aprender desde cero cómo sostener un bolígrafo.

5. Los Resultados

Los autores probaron CLAMP en seis tareas simuladas diferentes (como poner un abrelatas en un estuche) y cinco tareas del mundo real (como abrir cajones o reciclar latas).

El Resultado: CLAMP fue significativamente mejor y más rápido aprendiendo que otros métodos de primer nivel. En el mundo real, abrió cajones y colocó tazas en platos con mucha más frecuencia que los robots entrenados sin este pre-entrenamiento 3D.

Resumen

CLAMP es como un campamento de entrenamiento para robots. En lugar de solo mostrarle a un robot cómo hacer un trabajo específico, le enseña al robot cómo ver el mundo en 3D y cómo se mueve su cuerpo en ese espacio. Una vez que el robot tiene este "sentido común" general sobre objetos 3D y movimiento, puede aprender nuevas tareas domésticas específicas increíblemente rápido y con precisión.

Resumen Técnico: CLAMP

Enunciado del Problema

Aunque aprovechar representaciones de imágenes 2D preentrenadas para la clonación de comportamiento se ha convertido en un estándar en la manipulación robótica, estos enfoques a menudo fallan en capturar la información espacial 3D esencial requerida para la interacción precisa con objetos y escenas. Los métodos de preentrenamiento existentes en robótica enfrentan desafíos que incluyen la disponibilidad limitada de datos robóticos a gran escala, la incertidumbre sobre las modalidades óptimas (por ejemplo, RGB frente a nubes de puntos) y la complejidad de los espacios de estado y acción de alta dimensión. Además, los esfuerzos previos de preentrenamiento 3D, como 3D-MVP, a menudo dependen de la reconstrucción de imágenes mediante autoencoders enmascarados sin incorporar datos de acción del robot, dejando una brecha en el aprendizaje de la relación entre la percepción 3D y los patrones de acción.

Metodología

Los autores proponen CLAMP (Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining), un marco diseñado para aprender representaciones robustas de imágenes y acciones 3D mediante aprendizaje contrastivo en trayectorias de robots simuladas a gran escala.

1. Representación de Datos y Renderizado

Construcción de Nube de Puntos: El sistema construye una nube de puntos de la escena a partir de imágenes RGB-D y extrínsecas de la cámara, omitiendo los colores RGB para mejorar la generalización de la apariencia.
Re-renderizado Multi-vista: En lugar de vistas ortogonales estándar, CLAMP re-renderiza la escena en imágenes de cuatro canales (Profundidad, coordenadas X, Y, Z) desde cinco puntos de vista virtuales: tres vistas fijas (superior, frontal-izquierda, trasera-derecha) y dos vistas dinámicas de muñeca (unidas a las pinzas). Las vistas dinámicas de muñeca están diseñadas específicamente para reducir la oclusión y proporcionar observaciones más claras para tareas de alta precisión.
Entrada de Texto: Las entradas de texto incluyen descripciones de tareas de alto nivel, nombres de objetos, posiciones globales normalizadas y enteros de progreso de la tarea. Estos se derivan de la verdad fundamental del simulador y se utilizan exclusivamente durante el preentrenamiento para anclar las representaciones.

2. Arquitectura del Modelo

CLAMP emplea tres codificadores entrenados mediante aprendizaje contrastivo:

Codificador de Imagen: Un Vision Transformer (ViT) que utiliza la codificación posicional relativa STRING. A diferencia de las codificaciones posicionales estándar, STRING utiliza las coordenadas 3D (centro de masa de los puntos visibles) derivadas de la nube de puntos para correlacionar tokens entre diferentes vistas. Esto permite que el modelo aprenda implícitamente la estructura 3D y correlacione tokens de diferentes vistas 2D que corresponden a regiones 3D similares.
Codificador de Acción: Un codificador Transformer que procesa un historial de fragmentos de acciones anteriores.
Codificador de Texto: Un codificador de texto basado en CLIP que procesa las descripciones de tareas y objetos.

3. Objetivo de Preentrenamiento Contrastivo

Los codificadores se entrenan para minimizar una pérdida estilo SigLIP sobre tres pares de modalidades: imagen-texto, imagen-acción y texto-acción. El objetivo acerca los embeddings de triplets coincidentes $(I, T, A)$ mientras separa los triplets no coincidentes. Esto fomenta que el modelo aprenda patrones de acción que puedan inferir estados futuros y representaciones de imagen que puedan inferir el historial de acciones, condicionado a descripciones espaciales y temporales de la tarea.

4. Preentrenamiento y Ajuste Fino de la Política de Difusión

Preentrenamiento Paralelo: Una Política de Difusión (controlador visuomotor) se preentrena en paralelo con los codificadores en el mismo conjunto de datos simulado. Esta política se inicializa con los pesos preentrenados para mejorar la eficiencia de muestras aguas abajo.
Ajuste Fino: Para tareas aguas abajo, la política se ajusta fino sobre un número limitado de demostraciones específicas de la tarea. Durante esta fase, los codificadores CLAMP se congelan para extraer embeddings de imagen y acción, que se concatenan con características RGB (de ResNet-50) y datos propioceptivos. Estos se alimentan a un codificador-descodificador Transformer para predecir el ruido para los siguientes 50 pasos de acción.

Contribuciones Clave

Nuevo Marco de Preentrenamiento 3D: Introducción de CLAMP, que aprovecha las acciones del robot y las vistas dinámicas de muñeca para el preentrenamiento contrastivo 3D.
STRING para Coordenadas 3D: La primera aplicación de la codificación posicional relativa STRING utilizando coordenadas 3D derivadas directamente de nubes de puntos (en lugar de mapas de profundidad) para correlacionar tokens entre observaciones multi-vista.
Importancia de las Vistas Dinámicas: Demostración de que las vistas dinámicas de muñeca son críticas para tareas de manipulación de alta precisión.
Preentrenamiento Conjunto de Codificadores y Política: Evidencia de que preentrenar tanto los codificadores como la Política de Difusión produce un rendimiento sustancialmente mejor que preentrenar solo los codificadores.

Resultados

Los autores evaluaron CLAMP en seis tareas simuladas y cinco tareas del mundo real utilizando la plataforma robótica ALOHA.

Simulación: CLAMP superó significativamente a las líneas base más avanzadas (incluyendo ALOHA Unleashed, ACT y backbones VLA) en las seis tareas. Por ejemplo, en la tarea "Abrebotellas en el Soporte", CLAMP logró una tasa de éxito del 94.0% en comparación con el 70.0% de ALOHA Unleashed Preentrenado y el 7.3% del Backbone VLA.
Mundo Real: En experimentos del mundo real, CLAMP superó a las líneas base en cuatro de cinco tareas, mostrando mejoras notables en la apertura/cierre de cajones y la colocación de tazas en platos.
Estudios de Ablación:
- Eliminar las vistas de muñeca virtuales resultó en caídas significativas de rendimiento (por ejemplo, -28.6% en "Taza en Plato").
- Reemplazar el ViT con un backbone estilo PointNet (DP3) degradó el rendimiento.
- Eliminar el codificador de texto tuvo un impacto menor en la simulación pero un impacto negativo notable en entornos del mundo real, lo que sugiere que la anclaje de texto es más valioso al lidiar con ruido visual.
- Se demostró que preentrenar la política junto con los codificadores es esencial para una alta eficiencia de muestras.

Significancia

El artículo afirma que CLAMP mejora sustancialmente la eficiencia del aprendizaje y el rendimiento de la política en tareas no vistas al aprovechar eficazmente la información geométrica 3D y los patrones de acción del robot. Al preentrenar en datos simulados a gran escala e inicializar la política con estas representaciones aprendidas, el marco reduce la complejidad de muestras requerida para el ajuste fino en demostraciones limitadas del mundo real. El trabajo establece que incorporar percepción 3D y aprendizaje contrastivo condicionado a la acción es un enfoque viable y superior para el preentrenamiento en manipulación robótica en comparación con los métodos existentes basados en 2D o reconstrucción.