🤖 machine learning

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue es un modelo fundacional de valor robótico de código abierto que escala a millones de clips condicionados por instrucciones utilizando la distancia temporal como objetivo de supervisión, superando a los métodos basados en preferencias en la evaluación y aumentando significativamente el éxito de las políticas en el mundo real sin requerir anotaciones explícitas de recompensa o progreso.

Autores originales: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot cómo cocinar una comida, pero en lugar de darle una receta, solo le dices: "¡Hazlo bien!" y esperas que él resuelva el resto. Este es el mundo del aprendizaje robótico, una rama de la ciencia donde los ingenieros intentan enseñar a las máquinas a moverse e interactuar con el mundo físico. El mayor obstáculo no suele ser el cerebro del robot (su capacidad para moverse); es la recompensa. En el mundo de la IA, una "recompensa" es como una tarjeta de puntuación o un "choca esos cinco" que le dice al robot: "¡Buen trabajo!" o "Inténtalo de nuevo". El problema es que darle a un robot una tarjeta de puntuación perfecta para cada movimiento individual es increíblemente difícil. Si la tarjeta es demasiado vaga, el robot se confunde. Si es demasiado específica para una tarea, el robot no puede aprender nada nuevo. Los científicos han estado intentando construir una tarjeta de puntuación de "propósito general" que funcione para cualquier robot realizando cualquier tarea, pero se han quedado estancados en cómo crearla sin necesidad de que un humano califique manualmente cada intento.

Aquí es donde entra una nueva idea llamada RynnValue. Piensa en esto como una nueva forma de calificar el desempeño de un robot. En lugar de preguntar "¿Qué tan cerca estás de la línea de meta?" (lo cual es difícil de medir si la línea de meta se ve diferente para cada tarea), RynnValue pregunta: "¿Cuánto tiempo queda para que termines?". Trata el viaje del robot como un temporizador de cuenta regresiva. Si el robot está lejos de la meta, el temporizador es alto. Si está cerca, el temporizador es bajo. La magia de este artículo es que demuestra que no necesitas a un humano presionando un botón y diciendo "Buen trabajo" para crear este temporizador. Simplemente puedes mirar el reloj. Si un video de un robot cocinando comienza en 10 minutos y termina en 0, la computadora puede calcular automáticamente que, en la marca de los 5 minutos, al robot le quedaban 5 minutos. Este simple truco permite que el robot aprenda de miles de horas de videos sin que nadie necesite calificarlos manualmente.

El Problema: La Trampa del "Progreso"

Durante mucho tiempo, los científicos intentaron enseñar a los robots midiendo el "progreso". Imagina a un robot intentando apilar bloques. Un modelo de progreso intentaría adivinar si el robot ha completado el 10%, el 50% o el 90%. Pero aquí está el detalle: "50% completado" se ve totalmente diferente para apilar bloques que para verter agua. Un robot podría estar a la mitad por altura, mientras que otro lo estaría por tiempo. Esto hace que sea muy difícil entrenar a un robot para que pueda hacer muchas cosas diferentes, porque la definición de "progreso" cambia cada vez que la tarea cambia. Es como intentar enseñarle matemáticas a un estudiante diciéndole "¡Ya estás a la mitad!" sin decirle nunca cuál es la respuesta final.

Los autores de este artículo argumentan que este enfoque de "progreso" es un callejón sin salida. Dicen que debemos dejar de intentar adivinar qué tan avanzado está un robot y empezar a contar hacia atrás el tiempo hasta que el trabajo termine. Ellos lo llaman distancia temporal. Es el "costo de llegada", o simplemente, "¿cuánto tiempo me queda?".

La Solorción: RynnValue y el Reloj Mágico

El equipo de la Academia DAMO de Alibaba y Hupan Lab construyó un modelo llamado RynnValue. En lugar de intentar adivinar un porcentaje de progreso, RynnValue observa un video de un robot y una instrucción de texto (como "pon la taza sobre la mesa") y predice exactamente cuántos segundos faltan para que la tarea termine.

Aquí está la parte ingeniosa: no necesitaron que los humanos escribieran "faltan 5 segundos" para cada video. Simplemente usaron las marcas de tiempo (timestamps) que ya estaban en los archivos de video. Si un video comienza en 0:00 y el robot termina en 0:10, la computadora sabe que en el segundo 0:05, al robot le quedaban 5 segundos. Esto significa que pudieron entrenar el modelo con una biblioteca masiva de más de 7,000 horas de videos de robots —aproximadamente 3 millones de clips— sin necesidad de que un solo humano los calificara manualmente. Es como enseñarle a un estudiante a leer dejándolo ver miles de películas con subtítulos, en lugar de tener a un profesor calificando cada oración que lee.

Los Trucos Tramposos (y Cómo los Detuvieron)

Podrías pensar: "Si el robot solo aprende a mirar el reloj, ¿no está explotando un atajo?". Los científicos también temían esto. Sabían que si solo mostraban los videos en orden, el robot podría aprender un atajo: "¡Ah, el tercer fotograma del video siempre es la mitad del camino!" o "Si el video dura 10 segundos, el medio siempre son 5 segundos restantes". El robot dejaría de mirar los brazos reales del robot y solo adivinaría basándose en la posición del video.

Para detener esto, añadieron algo de "caos" al entrenamiento:

Muestreo Aleatorio: No le mostraron al robot el video en línea recta. Seleccionaron momentos aleatorios del video, para que el robot no pudiera adivinar el tiempo basándose en el orden de los fotogramas.
Mezcla (Shuffling): A veces mostraron el video hacia atrás o en un orden desordenado. Si el robot veía un estado "finalizado" antes de un estado de "inicio", tenía que darse cuenta de que el estado "finalizado" estaba en realidad más lejos en el tiempo, obligándolo a mirar realmente la imagen del robot, no solo el orden de las imágenes.
Aislamiento: Se aseguraron de que el robot no pudiera echar un vistazo a las respuestas del siguiente fotograma mientras adivinaba el actual. Tenía que resolver cada momento por su cuenta.

Los Resultados: ¿Funciona?

El equipo probó RynnValue en un grupo de diferentes robots y tareas que nunca había visto antes. Los resultados fueron sorprendentemente buenos.

Tareas de Clasificación: Cuando se le pidió clasificar diferentes intentos de robots de "mejor" a "peor", RynnValue obtuvo una puntuación de 0.675. Esto fue mejor que los modelos anteriores que dependían de que los humanos calificaran manualmente los videos (que obtuvieron 0.655).
Robots del Mundo Real: Llevaron el modelo y lo usaron para enseñar a robots reales a realizar tareas complicadas, como poner pan en una cesta o mover un filete con una espátula.
- Con RynnValue, los robots tuvieron éxito el 72.5% de las veces cuando aprendían en línea (mientras se mueven).
- Sin él, usando los mejores métodos anteriores, solo tuvieron éxito el 52.5% de las veces.
- En el aprendizaje fuera de línea (aprendiendo de una base de datos de movimientos pasados), RynnValue aumentó el éxito del 63.8% al 82.5%.

Por Qué Esto Importa

Lo más emocionante de este artículo es que sugiere que no necesitamos ser perfectos calificando robots para enseñarlos. Solo necesitamos saber cuándo terminaron. Al usar el simple y automático "reloj" del tiempo, RynnValue crea un lenguaje universal para las recompensas de los robots. Funciona para un robot con dos brazos, un robot con una rueda o un robot con una mano, siempre y cuando podamos decir cuándo termina el trabajo.

Los autores advierten cuidadosamente que esto no es una varita mágica que resuelve todos los problemas robóticos instantáneamente. Encontraron que para tareas muy complicadas que requieren una alineación precisa (como meter una caja en un cajón), el modelo todavía tuvo dificultades debido a que las pistas visuales eran confusas. Pero, en general, demostraron que la distancia temporal es una forma poderosa y escalable de enseñar a los robots. Convierte el problema desordenado y difícil de "¿qué es un buen movimiento?" en el problema simple y resoluble de "¿cuánto tiempo queda?".

En resumen, RynnValue es como darle a un robot un cronómetro en lugar de una boleta de calificaciones. Convierte el mundo caótico del aprendizaje robótico en una cuenta regresiva simple, y parece estar funcionando mejor que los métodos antiguos.

Resumen Técnico: RynnValue – Escalamiento de Modelos de Valor Robótico Fundacionales mediante la Distancia Temporal

Declaración del Problema

Las políticas robóticas de propósito general se entrenan cada vez más mediante aprendizaje por refuerzo (RL), pero el escalamiento de este ciclo se ve obstaculizado por la supervisión de recompensas. Las recompensas diseñadas a mano no logran generalizarse a tareas abiertas, mientras que las señales de éxito dispersas ofrecen una guía insuficiente para comportamientos de largo horizonte. Los modelos de recompensa de propósito general existentes dependen de anclajes internos de la tarea, como las preferencias humanas, demostraciones de referencia o el progreso normalizado. Estos enfoques vinculan la supervisión a trayectorias o conjuntos de comparación específicos, lo que dificulta su transferencia entre fuentes de datos, embodiment (encarnación) y puntos de vista heterogéneos. Además, el progreso normalizado (por ejemplo, escalas [0, 1]) es una coordenada intra-trayectoria en lugar de un costo-a-ir condicionado al objetivo, lo que genera inconsistencias entre duraciones y estructuras de tareas variables.

Metodología: RynnValue

Los autores presentan RynnValue, un modelo fundacional de valor de código abierto que replantea el problema del modelado de recompensas. En lugar de calificar anclajes a nivel de trayectoria, RynnValue predice la distancia temporal: el costo-a-ir dirigido y condicionado al objetivo desde una observación hacia un objetivo especificado en lenguaje.

1. Receta de Datos y Etiquetado

RynnValue se entrena con una mezcla masiva y heterogénea de más de 7,000 horas de datos robóticos, que comprenden aproximadamente 3 millones de clips de trayectoria condicionados por instrucción. Este conjunto de datos abarca diversos embodiments (brazo único, doble brazo, móvil, manos diestras), puntos de vista y familias de tareas (mundo real, simulado y egocéntrico).

Derivación de Etiquetas: A diferencia de los métodos basados en preferencias, RynnValue no requiere pares de preferencias ni anotaciones de progreso. Las etiquetas se derivan directamente de los marcas de tiempo (timestamps). Al identificar un punto de corte de finalización (mediante segmentación de subtareas y relabelado), el modelo aprende el tiempo restante para la finalización de cualquier observación.
Señal de Supervisión: El modelo predice la distancia temporal absoluta hasta la finalización de la tarea y el desplazamiento temporal relativo con signo entre observaciones consecutivas.

2. Arquitectura del Modelo

Construido sobre RynnBrain, RynnValue es un modelo visual condicionado por lenguaje que procesa secuencias multimodales intercaladas de instrucciones, observaciones y tokens de consulta (query tokens).

Consultas Temporales Agrupadas: Para superar los cuellos de botella de información, cada predicción temporal se representa mediante un grupo de $N=8$ tokens de consulta repetidos. Estos tokens interactúan mediante atención bidireccional antes de ser concatenados para formar una representación robusta.
Cabezales Distribucionales Duales: El modelo emplea dos cabezales especializados:
- Cabezal Absoluto: Predice el tiempo restante para la finalización ( $v_t$ ).
- Cabezal Relativo: Predice el desplazamiento temporal con signo entre observaciones adyacentes ( $\Delta_t$ ).
- Ambos cabezales utilizan un escalonamiento symlog (256 bins) y objetivos two-hot para manejar el amplio rango dinámico de las distancias temporales, convirtiendo la regresión en un problema de clasificación estable.
Rama de Lenguaje Natural: Una rama auxiliar genera descripciones de video, juicios de concordancia entre instrucción y video, y predicciones de éxito, proporcionando fundamentación semántica sin interferir con los cabezales de valor temporal.

3. Estrategias de Supresión de Atajos (Shortcut Suppression)

Para asegurar que el modelo fundamente sus predicciones en evidencia visual en lugar de explotar regularidades de los datos, los autores introducen tres mecanismos clave:

Muestreo Temporal Aleatorio: Las observaciones se muestan en marcas de tiempo irregulares para romper los patrones de valores aritméticos inducidos por el muestreo uniforme.
Reordenamiento del Orden Temporal: El orden cronológico de las observaciones muestreadas se desordena (con una probabilidad de "rebobinado") durante el entrenamiento. Esto evita que el modelo infiera el progreso basándose únicamente en la posición de la secuencia.
Atención de Aislamiento de Valor (Value-Isolation Attention): Una estrategia de enmascaramiento donde los grupos de consulta de valor asociados con diferentes observaciones no pueden atenderse entre sí. Esto evita que el modelo extrapole valores de consultas previas, obligando a cada predicción a depender de su contexto visual específico.
Aumento por Desajuste de Instrucción: El 10% de las muestras de entrenamiento utilizan instrucciones desajustadas para enseñar al modelo a detectar inconsistencias y evitar asumir un progreso fluido hacia un objetivo incorrecto.

4. Interfaz de Inferencia y Recompensa

En la inferencia, RynnValue emite una estimación de la distancia temporal $v_t$ . Para servir como señal de recompensa, esto se convierte en una recompensa basada en potencial mediante la inversión del signo: $\Phi_t = -v_t$ . Esto crea una interfaz de recompensa densa donde los estados más cercanos a la finalización tienen un potencial mayor (más cercano a cero), preservando la escala temporal sin normalizar a un intervalo [0, 1] específico de la tarea.

Resultados Clave

Rendimiento en Benchmarks (RBM-EVAL-OOD)

Evaluado en la suite de clasificación de trayectorias RBM-EVAL-OOD (976 trayectorias a través de 6 conjuntos de datos OOD):

RynnValue-8B alcanzó un promedio de Kendall's $\tau_a$ de 0.675, superando al estado del arte basado totalmente en supervisión de preferencias (Robometer, 0.655) y más que duplicando a su contraparte de solo progreso (0.292).
Incluso la variante RynnValue-4B (0.670) superó al baseline supervisado por preferencias, lo que sugiere que las ganancias provienen de la formulación de distancia temporal más que de la escala bruta del modelo.
Las variantes de RynnValue lograron los mejores resultados en los seis conjuntos de datos entre los métodos entrenados sin supervisión explícita de preferencias a nivel de trayectoria.

Alineación Instrucción-Trayectoria

En los análisis de matrices de confusión, RynnValue demostró la estructura diagonal más clara (margen diagonal normalizado de 0.79), superando significativamente a los baselines (0.67). Esto indica que el modelo distingue eficazmente los pares de instrucción-trayectoria coincidentes de los desajustados, fundamentando las recompensas en el objetivo especificado por el lenguaje en lugar de un progreso visual genérico.

Aprendizaje de Políticas en el Mundo Real

RynnValue se desplegó como un anotador de recompensa zero-shot para RL online y offline en cuatro tareas desafiantes del mundo real (Colocación de cesta de pan, Servicio de filete, Caja en cajón, Transferencia bimanual de caja) sin ajuste fino del dominio objetivo.

RL Online: RynnValue mejoró las tasas de éxito del 52.5% (Robometer) al 72.5%.
RL Offline: RynnValue mejoró las tasas de éxito del 63.8% (Robometer) al 82.5%.
Notablemente, RynnValue permitió el RL exitoso en tareas (Caja en cajón, Transferencia bimanual de caja) donde el baseline de SFT logró un 0% de éxito.

Análisis de Escalamiento

Los experimentos que separan la cantidad de datos de la diversidad mostraron que la diversidad de tareas produce una reducción de error consistentemente más pronunciada que el volumen de episodios. Simplemente añadir más datos de las mismas tareas conduce a una saturación temprana, mientras que aumentar la variedad de tareas impulsa una mejora continua en la generalización.

Significado y Reivindicaciones

El artículo afirma que la distancia temporal es un objetivo de supervisión escalable y libre de preferencias que unifica datos robóticos heterogéneos bajo una única interfaz. Al derivar las etiquetas directamente de las marcas de tiempo, RynnValue evita la necesidad de costosas anotaciones de preferencias o la normalización de progreso específica de cada dataset.

Los autores aseguran que RynnValue establece un camino práctico para entrenar políticas robóticas generalistas:

Escalabilidad: Aprovecha conjuntos de datos masivos y heterogéneos sin el cuello de botella de la etiquetación de preferencias humanas.
Robustez: A través del reordenamiento temporal y la atención de aislamiento de valor, aprende valores fundamentados en la evidencia visual, lo que lo hace sensible a fallos y regresiones.
Utilidad: Sirve como una interfaz de recompensa densa efectiva que mejora significativamente tanto el aprendizaje de políticas online como offline en entornos del mundo real, superando a fuertes baselines entrenados con supervisión de preferencias.

El trabajo concluye que la distancia temporal ofrece una ruta más escalable para el aprendizaje de valor robótico de propósito general en comparación con los enfoques tradicionales basados en preferencias o de progreso normalizado.