🤖 AI

CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation

CoStream es un marco novedoso que logra una manipulación de largo horizonte robusta y de alta precisión al componer tres comportamientos independientes —semántico, predictivo y reactivo— en un comando de control $SE(3)$ unificado, superando así la compensación entre la rigidez específica de la tarea y la generalización monolítica.

Autores originales: Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando insertar un delicado chip de computadora en una ranura que tiene menos de un milímetro de margen de maniobra. Si lo inclinas aunque sea un poco, se atasca. Si se resbala de tu mano, se atasca. Si presionas demasiado fuerte, lo rompes.

Los robots actuales tienen dificultades con esto porque están construidos de dos formas extremas:

El Robot de "Plano Rígido": Este robot sigue un mapa estricto y predefinido. Es excelente siguiendo líneas, pero si el mapa falla por una mínima fracción, o si el objeto se mueve, el robot choca porque no puede cambiar su plan sobre la marcha.
El Robot de "Caja Negra": Este robot intenta aprenderlo todo de una vez observando miles de videos. Es muy flexible y puede aprender cosas nuevas, pero es torpe. No tiene el "sentido del tacto" para saber cuándo está tocando algo con demasiada fuerza, y necesita ser reentrenado desde cero para cada nueva tarea.

CoStream es una nueva forma de construir robots que combina lo mejor de ambos mundos actuando como un equipo humano en lugar de una sola máquina.

El Equipo de Tres Cabezas

En lugar de un solo cerebro gigante que intente hacerlo todo, CoStream divide el trabajo en tres "comportamientos" simples e independientes que se comunican constantemente entre sí. Piensa en ello como un equipo de construcción:

El Arquitecto (Comportamiento Semántico):
- Qué hace: Este es el pensador de la "visión general". Lee tus instrucciones (como "pon la GPU en la ranura") y utiliza IA para comprender la geometría. Establece el objetivo: "El chip debe estar aquí, orientado de esta manera".
- Analogía: Es como el capataz que señala el plano y dice: "Necesitamos construir la pared justo ahí". No le preocupan los detalles minúsculos de cómo se tocan los ladrillos; simplemente establece el destino.
El Soñador (Comportamiento Predictivo):
- Qué hace: Esta parte observa "videos imaginados" de la tarea. Predice la trayectoria suave que el robot debe seguir para ir del punto A al punto B. Genera un movimiento nominal (un borrador del movimiento).
- Analogía: Es como un bailarín ensayando una rutina en su cabeza. Conoce los pasos generales y el flujo de la danza, pero aún no está reaccionando a los cambios repentinos del ritmo de la música.
El Sensor de Tacto (Comportamiento Reactivo):
- Qué hace: Este es el experto en el "sentir". Funciona superrápido (25 veces por segundo) y utiliza sensores especiales en los dedos del robot para sentir el objeto. Si el chip se resbala o golpea un bulto, esta parte realiza correcciones instantáneas.
- Analogía: Esto es como tu propia mano cuando estás enhebrando una aguja. Tus ojos ven la aguja, pero tus dedos sienten el hilo. Si el hilo se mueve, tus dedos se ajustan instantáneamente sin que tengas que detenerte a pensar.

Cómo trabajan juntos: La "Regla de la Mano Derecha"

La magia de CoStream es cómo estos tres componentes se combinan. No se turnan; trabajan de forma simultánea.

Imagina que el movimiento del robot es una canción.

El Arquitecto escribe la letra (el objetivo).
El Soñador compone la melodía (el camino).
El Sensor de Tacto es el baterista que mantiene el ritmo y ajusta el tempo si el cantante tropieza.

En CoStream, las salidas de estos tres se "multiplican" matemáticamente en cada fracción de segundo del movimiento del robot.

Si el Arquitecto dice "Ve al Norte", y el Soñador dice "Avanza", pero el Sensor de Tacto siente "Espera, chocamos con una pared, deslízate a la izquierda", el robot combina instantáneamente los tres en un movimiento perfecto: "Ve al Norte, avanza, pero deslízate a la izquierda".

Esto permite que el robot tenga un plan a largo plazo (del Arquitecto) mientras posee reflejos instantáneos (del Sensor de Tacto).

Los Resultados: Lo que realmente hicieron

Los investigadores probaron este sistema con robots reales en tareas reales. No se limitaron a simularlo; lo construyeron.

Ensamblaje de Precisión: Insertaron con éxito una broca, un módulo RAM, un chip de CPU y una tarjeta GPU en ranuras estrechas. Estas tareas requieren una precisión de milímetros.
- El Resultado: Los robots de "Plano Rígido" y los de "Caja Negra" fallaron por completo (0 de 15 intentos). CoStream tuvo éxito casi siempre (14 o 15 de 15).
Interrupción Humana: Mientras el robot insertaba un chip, los investigadores agarraron físicamente el chip y lo giraron en el agarre del robot para simular un deslizamiento.
- El Resultado: El robot sintió el giro, corrigió su agarre instantáneamente y terminó la tarea sin soltar el chip ni romperlo.
Transferencia de Cero Disparos (Zero-Shot Transfer): Utilizaron el mismo código de robot para pasar de la manipulación delicada de una CPU (que requiere ser suave) al bloqueo de una RAM pesada (que requiere ser contundente). No tuvieron que reentrenar al robot ni cambiar su código; el "equipo" simplemente ajustó su comportamiento según el nuevo objeto.

En Resumen

CoStream demuestra que no necesitas un cerebro único y supercomplejo para realizar trabajos robóticos complejos. En su lugar, puedes construir un sistema donde un planificador, un predictor y un sensor de tacto trabajen juntos en tiempo real. Esto permite que los robots sean lo suficientemente inteligentes para entender una tarea y lo suficientemente sensibles para manejar la física real, delicada y desordenada, sin colisionar.

Resumen Técnico: CoStream

Declaración del Problema

Las tareas de manipulación de largo horizonte y ricas en contacto (por ejemplo, insertar una GPU en una ranura PCIe con milímetros de holgura) presentan un desafío dual: requieren un control de alta precisión para evitar el atasco y una generalización fuera de la caja para manejar nuevas tareas sin reentrenamiento. Los paradigmas actuales de la robótica luchan por satisfacer ambos simultáneamente:

Pipelines Modulares Clásicos: Estos desacoplan la percepción, la estimación de estado, la planificación y el control. Aunque pueden lograr una alta precisión, son frágiles; adaptar estos sistemas a nuevas tareas requiere una ingeniería costosa y específica, además de un rediseño manual de los módulos.
Políticas Monolíticas de Extremo a Extremo: Modelos como las redes de Visión-Lenguaje-Acción (VLA) ofrecen una mejor generalización, pero carecen de la precisión necesaria para tareas de contacto complejas y fuera de distribución, a menos que se reentrenen con datos extensos y nuevos.

Ambos paradigmas comparten un supuesto implícito de que la manipulación compleja requiere un sistema de control rígido e indivisible. Este artículo desafía ese supuesto, proponiendo que las capacidades complejas pueden emerger de la composición de comportamientos simples e independientes.

Metodología: Marco de Trabajo CoStream

CoStream es un marco que orquesta modelos fundacionales y diversas modalidades de sensores en múltiples comportamientos centrales composibles. A diferencia de los pipelines convencionales que pasan un plan completado a través de interfaces fijas, CoStream mantiene los comportamientos como flujos independientes y paralelos que operan a sus tasas naturales y se componen dinámicamente.

1. Descripción General de la Arquitectura

El sistema opera sobre una interfaz de espacio de tarea SE(3) compartida. En cada paso de control, tres comportamientos distintos generan componentes que se multiplican por la derecha para formar un único comando de pose del efector final ( $W T_{cmd}$ ), ejecutado por un controlador complaciente.

Comportamiento Semántico (Ancla del Marco de Tarea):
- Función: Extrae restricciones espaciales y define un marco de tarea ( $W T^k_I$ ) relativo al mundo.
- Mecanismo: Utiliza Modelos de Lenguaje Extensos (LLM) y Modelos de Visión-Lenguaje (VLM) para analizar instrucciones y resúmenes de la escena (objetos, asequibilidades, predicados). Minimiza un objetivo de alineación SE(3) para fundamentar el marco de la tarea.
- Salida: Un marco de anclaje estático o de actualización lenta, no una trayectoria. Esto asegura que la propiedad de los ejes y la rigidez permanezcan diagonales.
Comportamiento Predictivo (Movimiento Nominal):
- Función: Genera una trayectoria de movimiento nominal continua ( $I T^k_{traj}(t)$ ) dentro del marco de la tarea.
- Mecanismo: Utiliza un modelo de mundo de video condicionado por observaciones e instrucciones de pasos para muestrear ejecuciones (rollouts). Un crítico VLM selecciona la mejor ejecución, que luego se eleva a un rastreador de puntos clave 3D para formar una trayectoria de referencia centrada en el objeto.
- Salida: Un prior de movimiento (camino nominal) en lugar de un plan rígido y preciso.
Comportante Reactivo (Residuo Táctil y Bucle de Fuerza):
- Función: Proporciona correcciones de alta frecuencia (25 Hz) para el deslizamiento en la mano y las fuerzas de contacto.
- Mecanismo: Utiliza un sensor táctil GelSight para rastrear la pose del objeto respecto a la pinza (vía NormalFlow) y estima la wrench del efector final. Genera un residuo táctil ( $\Delta T^k_{tac}(t)$ ) para cancelar el deslizamiento y señala eventos de contacto (deslizamiento, exceso de fuerza).
- Salida: Una transformación de cuerpo rígido que corrige el movimiento nominal y una señal de bucle de fuerza para el controlador.

2. Composición y Control

Composición de Acción: En cada ciclo del controlador, el sistema calcula el comando final:
$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$
Esta multiplicación por la derecha permite que los comportamientos permanezcan independientes. Si un flujo falta o está desactualizado, un comportamiento de respaldo ( $H_k$ ) asegura una degradación suave en lugar de un bloqueo.
Compilación del Controlador: Un compilador determinista mapea las especificaciones de la etapa a parámetros a nivel de robot (rigidez cartesiana, amortiguación, ejes de impedancia/admitancia, límites de fuerza).
- En espacio libre, el controlador sigue el movimiento nominal con alta rigidez.
- Durante el contacto, cambia a impedancia cartesiana (resorte virtual para mantenimiento de fuerza) o admitancia basada en posición (para limitar la fuerza), dependiendo de la etapa.

Contribuciones Clave

Interfaz de Composición de Comportamientos: Una interfaz novedosa para la manipulación rica en contacto que desacopla la fundamentación semántica, la generación de movimiento predictivo y la reacción táctil/de fuerza en comportamientos independientes.
Representación SE(3) Compartida: Una representación de espacio de tarea que permite que cada comportamiento se ejecute a su tasa natural, contribuyendo solo con el componente para el cual es confiable (marco de tarea, prior de movimiento o corrección de contacto).
Validación Empírica: Demostración del marco en ocho tareas del mundo real, mostrando ensamblaje de alta precisión, recuperación robusta de perturbaciones manuales y transferencia cero (zero-shot) a la manipulación cotidiana sin reentrenamiento.

Resultados Experimentales

Los autores evaluaron CoStream en dos grupos de tareas utilizando dos robots Franka Emika Panda (uno con un sensor táctil GelSight Mini).

Líneas Base: Comparación contra VoxPoser (planificación de lenguaje-visión modular) y $\pi_0.5$ (política VLA monolítica).
Tareas de Ensamblaje de Alta Precisión:
- Tareas: Inserción de taladro (0.5 mm de holgura), inserción de RAM, colocación de CPU, inserción de GPU.
- Resultados: CoStream logró tasas de éxito de 14/15 a 15/15. En contraste, VoxPoser y $\pi_0.5$ fallaron completamente (0/15) en estas tareas.
- Análisis de Fallos: VoxPoser falló debido a una planificación de lazo abierto que no pudo corregir desviaciones geométricas antes del contacto. $\pi_0.5$ falló durante el contacto, incapaz de distinguir eventos de contacto de ambigüedad perceptual, lo que provocó movimientos inestables de alta frecuencia.
Tareas de Manipulación Cotidiana:
- Tareas: Encender una lámpara, limpiar una pizarra, transferencia de taza a plato, transferencia de ropa a caja.
- Resultados: CoStream superó a $\pi_0.5$ en todos los entornos, con ganancias significativas en tareas de transferencia de objetos (por ejemplo, 13/15 frente a 4/15 para taza-a-plato).
Estudios de Ablación:
- La eliminación del Comportamiento Reactivo en la tarea de inserción de taladro causó que las tasas de éxito colapsaran de 15/15 a 3/15, confirmando que la retroalimentación táctil es esencial para la precisión submilimétrica.
- Robustez: El sistema se recuperó con éxito de perturbaciones manuales (por ejemplo, rotar el objeto sostenido dentro de la pinza) reorientando el efector final basándose en la retroalimentación táctil.

Significado y Reivindicaciones

El artículo afirma que CoStream demuestra un régimen donde la manipulación compleja se logra no mediante un único controlador complejo, sino mediante la composición de comportamientos simples e independientes.

Generalización sin Reentrenamiento: El mismo conjunto de comportamientos manejó diversas restricciones físicas (desde el asiento delicado de una CPU hasta el bloqueo de alta fuerza de una RAM) y se transfirió a tareas cotidianas sin reentrenamiento de la política ni rediseño de módulos.
Precisión mediante Composición: Al separar el "qué" (semántico), el "dónde" (predictivo) y el "cómo" (reactivo), el sistema logra una precisión de milímetros en escenarios ricos en contacto donde las políticas monolíticas fallan.
Alcance Modesto: Los autores reconocen limitaciones, señalando que el sistema depende de la percepción ascendente (estimaciones de pose) y que actualmente está limitado a la manipulación de objetos rígidos estructurados. Aún no maneja objetos deformables, manipulación hábil dentro de la mano (in-hand) o metas ambiguas. El comportamiento reactivo también está limitado por la cobertura táctil y la precisión de la estimación de la wrench.

En resumen, CoStream propone que la descomposición de la manipulación en flujos semánticos, predictivos y reactivos, compuestos mediante una interfaz SE(3) compartida, ofrece un camino robusto hacia la manipulación robótica de alta precisión y generalizable.