🤖 machine learning

RoboTTT: Context Scaling for Robot Policies

El artículo presenta RoboTTT, un marco de política robótica que integra el Entrenamiento en Tiempo de Prueba para escalar el contexto visuomotor a 8.000 pasos de tiempo, permitiendo la imitación de un solo disparo, la mejora sobre la marcha y un rendimiento significativamente superior en tareas de largo horizonte mediante la compresión del historial en pesos rápidos sin aumentar la latencia de inferencia.

Autores originales: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots son como chefs increíblemente talentosos pero con visión de corto alcance. Pueden picar una zanahoria o dar la vuelta a una hamburguesa perfectamente si les dices exactamente qué hacer ahora mismo, pero si les pides que horneen un pastel complejo desde cero, a menudo olvidan el primer paso para cuando llegan al segundo. Este es el estado actual de los "modelos fundacionales de robots": los cerebros inteligentes detrás de los robots modernos. Por lo general, solo miran lo último que vieron antes de realizar un movimiento, como intentar navegar por un laberinto mirando solo el suelo directamente debajo de tus pies. Si bien esto funciona para tareas sencillas, falla estrepitosamente cuando un robot necesita recordar una secuencia larga de eventos, como ensamblar un coche de juguete o reparar una placa de circuito, especialmente si algo inesperado ocurre en el camino. Los científicos se han preguntado durante mucho tiempo: ¿qué pasaría si un robot pudiera recordar todo lo que acaba de hacer, no solo el último segundo, y usar esa memoria larga para aprender y adaptarse sobre la marcha?

Presentamos RoboTTT, un nuevo tipo de cerebro robótico desarrollado por investigadores de NVIDIA, Stanford y la Universidad de Texas en Austin. Piensa en RoboTTT no como un robot que simplemente "recuerda" una larga lista de pasos, sino como un robot que tiene un cuaderno mágico y de autoactualización. Mientras que los robots tradicionales tienen un cerebro estático que permanece igual una vez construido, RoboTTT tiene un sistema especial de "pesos rápidos". Imagina que cada vez que el robot ve algo nuevo o realiza un movimiento, escribe instantáneamente una pequeña nota en su cuaderno, cambiando su propio cableado interno lo justo para comprender mejor la situación actual. Esto sucede en tiempo real, incluso mientras el robot trabaja. Al escalar este "cuaderno" para que contenga una cantidad masiva de historia —hasta 8,000 pasos de tiempo (que son unos cinco minutos de acción continua a alta velocidad)—, RoboTTT desbloquea superpoderes que los robots anteriores ni siquiera podían soñar. Puede observar a un humano realizar una tarea una sola vez y copiarla perfectamente sin ningún entrenamiento previo en esa configuración específica. También puede corregir sus propios errores instantáneamente si un humano lo golpea o si se le cae una pieza, todo mediante la observación de su propio historial reciente para descubrir qué salió mal.

Los investigadores descubrieron que dotar a los robots de esta memoria de contexto largo no es solo una pequeña mejora; es un cambio de juego. En sus pruebas, RoboTTO fue capaz de completar una tarea de ensamblaje compleja de diez etapas que tomó cinco minutos para terminar—una tarea que ningún otro modelo de robot, incluso los mejores con memorias cortas, podría haber terminado jamás. Mientras que los robots estándar fallaron al no pasar los primeros pasos, RoboTTT tuvo éxito en 6 de cada 10 ensayos de imitación de un solo paso (copiando un video humano que nunca había visto antes) y se recuperó de golpes externos con una tasa de éxito del 83%, en comparación con solo el 53% del mejor robot de memoria corta. El artículo sugiere que simplemente hacer que la memoria del robot sea más larga es una nueva forma de hacerlos más inteligentes, mostrando mejoras constantes a medida que la memoria crecía de unos pocos segundos a más de cuatro minutos.

Uno de los trucos más geniales que ejecuta RoboTTT es algo llamado "Destilación DAgger". Imagina a un estudiante aprendiendo a montar en bicicleta. Si se cae, un padre podría atraparlo y guiarlo de nuevo por el camino. Un robot normal podría simplemente olvidar la caída e intentar montar de nuevo, cometiendo el mismo error. RoboTTT, sin embargo, trata la caída y la corrección como una sola historia. Aprende del error (la caída) observando la corrección (la ayuda del padre) y actualiza su "cuaderno" interno para recordar: "Cuando me inclino de esta manera, necesito girar de aquella otra". Esto le permite mejorar su propio rendimiento sobre la marcha, sin necesidad de que un humano le enseñe de nuevo. El estudio muestra que este método ayuda al robot a recuperarse de los errores un 36% mejor que los modelos que no utilizan esta técnica.

El artículo también descarta algunas ideas comunes sobre cómo solucionar la memoria de los robots. Por ejemplo, pegar simplemente una larga lista de imágenes pasadas en el cerebro del robot (como una transmisión de video larga) no funciona bien; de hecho, confunde al robot y hace que su rendimiento empeore. Del mismo modo, usar una memoria "recurrente" estándar (como un bucle simple que actualiza un estado) no es suficiente. Los investigadores descubrieron que la clave es la forma en que la memoria se actualiza: necesita ser un sistema flexible y no lineal que cambie sus propios parámetros utilizando un proceso similar a cómo los humanos aprenden de la experiencia (descenso de gradiente), en lugar de simplemente desplazar un estado estático.

Al final, RoboTTT sugiere que el futuro de la inteligencia robótica podría no tratarse solo de hacer el cerebro del robot más grande o más inteligente en un sentido estático, sino de darle la capacidad de aprender y adaptarse continuamente mientras trabaja. Al escalar el contexto a 8,000 pasos de tiempo, los investigadores demostraron que los robots pueden volverse mucho más robustos, capaces de manejar tareas largas y complejas, e incluso aprender de una sola demostración humana. Aunque el artículo señala que entrenar estos modelos es costoso y que todavía no pueden manejar cada posible fallo, los resultados sugieren fuertemente que el "contexto largo" es un nuevo y poderoso eje para escalar la inteligencia robótica, convirtiendo máquinas torpes y con visión corta en solucionadores de problemas adaptables y a largo plazo.

Resumen Técnico: RoboTTT – Escalamiento de Contexto para Políticas Robóticas

Declaración del Problema

Los modelos fundacionales robóticos actuales, particularmente las políticas de Visión-Lenguaje-Acción (VLA), operan típicamente con contextos visuomotores de un solo paso o de historial corto (por ejemplo, 2 a 8 pasos de tiempo). Mientras que los grandes modelos de lenguaje han escalado con éxito la longitud del contexto para desbloquear un razonamiento complejo, la robótica ha dependido en gran medida de bancos de memoria externos para el razonamiento a largo plazo o de políticas de contexto corto que tienen dificultades con tareas de largo horizonte. Esta limitación obstaculiza capacidades tales como la imitación de un solo disparo (one-shot) a partir de demostraciones en video humano, la mejora de la política sobre la marcha a partir del propio historial de despliegue del robot, o la robustez ante perturbaciones externas en tareas de ensamblaje de múltiples etapas. El desafío central es cómo construir políticas visuomotores que puedan aprender de y explotar contextos arbitrariamente largos sin incurrir en costos prohibitivos de latencia de inferencia o de memoria.

Metodología: RoboTTT

Los autores introducen RoboTTos (Políticas Robóticas de Entrenamiento en Tiempo de Prueba), un marco que escala el contexto visuomotor a 8,000 pasos de tiempo (aproximadamente cinco minutos de operación a 30 Hz) integrando el Entrenamiento en Tiempo de Prueba (TTT - Test-Time Training) en los modelos fundacionales robóticos.

Arquitectura Central

RoboTTT se instancia sobre el modelo VLA GR00T N1.7, utilizando una cabeza de acción de Transformador de Difusión (DiT). La innovación arquitectónica clave es la inserción de capas TTT después de las capas de auto-atención y de atención cruzada.

Pesos Rápidos (Fast Weights): A diferencia de los "pesos lentos" estándar (parámetros del modelo congelados), RoboTTT emplea "pesos rápidos" (parámetros de una red neuronal pequeña, por ejemplo, un MLP) que se actualizan mediante descenso de gradiente tanto durante el entrenamiento como durante la inferencia.
Mecanismo: En cada paso de tiempo, el modelo procesa la observación actual y el historial. La capa TTT actualiza los pesos rápidos para asociar el contexto actual (claves) con sus proyecciones de valor, comprimiendo efectivamente el historial en el espacio de los pesos. Los pesos actualizados se utilizan luego para generar la salida (acciones) para el paso actual.
Puerta (Gating): Para preservar el conocimiento del backbone VLA preentrenado, se utiliza un mecanismo de puerta tanh aprendible. Esto asegura que la contribución de TTT comience de forma pequeña y crezca a medida que el modelo aprende a ajustar su dependencia de los pesos rápidos sin abrumar la computación del modelo preentrenado.

Receta de Entrenamiento

Para escalar el entrenamiento a 8K pasos de tiempo sin que la memoria de la GPU explote, los autores emplean una estrategia de entrenamiento específica:

Forzado de Acción Secuencial (Sequence Action Forcing): En el entrenamiento secuencial, los niveles de ruido para el flow-matching se muestrean independientemente para cada bloque de acción dentro de una secuencia. Esto evita que toda la secuencia se vuelva uniformemente fácil o difícil de aprender, estabilizando el entrenamiento.
Retropropagación a través del Tiempo Truncada (TBPTT - Truncated Backpropagation Through Time): La secuencia de entrada se divide en segmentos. Los gradientes fluyen solo dentro de cada segmento para limitar el uso de memoria, pero los pesos rápidos se transportan a través de los límites de los segmentos. Esto permite que el mecanismo TTT mantenga un estado continuo sobre el contexto completo de 8K mientras mantiene un uso de memoria constante relativo a la longitud del segmento.
Meta-Aprendizaje: Las matrices de proyección y la inicialización de los pesos rápidos ( $W_0$ ) se optimizan mediante gradientes de gradientes, adaptando la dinámica de actualización específicamente para trayectorias robóticas.

Estrategias de Adaptación en Contexto

RoboTTT permite dos formas novedosas de adaptación al desacoplar las actualizaciones de los pesos rápidos de los objetivos de imitación:

Imitación de un Solo Disparo (One-Shot Imitation): El modelo puede condicionarse a una demostración de video humano. Durante el entrenamiento, la parte del video actualiza los pesos rápidos (pérdida enmascarada), mientras que la trayectoria del robot utiliza estos pesos actualizados para generar acciones. Esto permite al robot aprender una nueva configuración de tarea a partir de un solo video en el tiempo de prueba.
Destilación DAgger: En lugar de descartar las acciones subóptimas del robot como en un DAgger estándar, RoboTTT utiliza el historial completo de interacción (incluyendo fallos) para actualizar los pesos rápidos, mientras que solo las correcciones humanas sirven como objetivo de imitación. Esto destila el mapeo de "fallo-a-corrección" en los pesos rápidos, permitiendo que la política se recupere de sus propios errores sobre la marcha.

Resultados Clave

Los experimentos se realizaron en tres tareas de ensamblaje de largo horizonte y bimanuales: Pup Go Car (2 min), Circuit (1 min) y Gear Bot (5 min).

Ganancias de Rendimiento: RoboTTT (contexto de 8K) logró una puntuación promedio de finalización de tarea del 79%, lo que representa una mejora del 87% sobre la línea base de contexto de un solo paso (GR00T N1.7, 42%) y una mejora del 41% sobre la mejor línea base de contexto corto (GDN, 56%).
Éxito de Largo Horizonte: En la tarea de 5 minutos Gear Bot, RoboTTT logró 2/10 ensayos completamente exitosos, mientras que ninguna línea base alcanzó un solo éxito completo.
Ley de Escalamiento: Los autores observaron un aumento constante y no saturante en el rendimiento de bucle cerrado a medida que la longitud del contexto de preentrenamiento aumentaba de 128 a 8K pasos de tiempo. RoboTTT-8K superó al mismo modelo preentrenado con 1K de contexto en un 63%.
Imitación de un Solo Disparo: En la tarea Circuit con configuraciones no vistas, RoboTTT tuvo éxito en 6/10 ensayos basados en una sola demostración de video humano, mientras que la línea base GDN falló por completo (0/10).
Robustez: Bajo perturbaciones externas (por ejemplo, remover una pieza después de la instalación), RoboTTT se recuperó en 15/20 ensayos de perturbación de techo, superando significativamente a las líneas base de contexto corto (máximo 10/20).
Mejora Sobre la Marcha: A través de la Destilación DAgger, RoboTTT mejoró su puntuación de finalización de tarea en un 36% en comparación con el ajuste fino de DAgger estándar, demostando la capacidad de aprender estrategias de recuperación a partir de su propio historial de fallos.

Significado y Reivindicaciones

El artículo afirma que la longitud del contexto es un nuevo eje de escalamiento para los modelos fundacionales robóticos, distinto del tamaño del modelo o el volumen de datos. Al integrar el Entrenamiento en Tiempo de Prueba, RoboTTT demuestra que:

El condicionamiento de contexto largo desbloquea capacidades previamente inaccesibles para las políticas estándar, específicamente la imitación de un solo disparo y la mejora dinámica de la política.
Los pesos rápidos actualizados mediante descenso de gradiente durante la inferencia proporcionan un mecanismo más expresivo para comprimir y recuperar información de flujos robóticos densos y repetitivos en comparación con los estados recurrentes lineales (como los Gated DeltaNets).
El entrenamiento en secuencias largas produce ganancias de rendimiento constantes, lo que sugiere que la capacidad de retener y utilizar un historial visuomotor a largo plazo es crítica para tareas de manipulación complejas y de múltiples etapas.

Los autores concluyen que, si bien persisten desafíos respecto a los costos de entrenamiento y el manejo de todos los modos de fallo, RoboTTT establece un nuevo paradigma donde las políticas pueden adaptarse y mejorar continuamente aprovechando su propio historial operativo como contexto.