💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

Este artículo propone el Aprendizaje por Refuerzo de Espacio Latente Dual (DLSRL, por sus siglas en inglés), un nuevo marco que mejora las políticas robóticas generativas preentrenadas mediante la combinación de la dirección del ruido inicial con la modulación de características intermedias a través de un generador congelado, permitiendo así una adaptación en línea eficiente sin actualizar la política base.

Autores originales: Pengfei Zhang, Teng Sun, Xianchao Xiu

Publicado 2026-09-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pengfei Zhang, Teng Sun, Xianchao Xiu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden aprender observando a los humanos realizar tareas ya no son ciencia ficción; son una realidad en rápido crecimiento en el campo de la inteligencia artificial. Estos sistemas, a menudo llamados modelos de visión-lenguaje-acción, actúan como estudiantes que han leído una vasta biblioteca de videos instructivos y manuales antes de tocar siquiera una herramienta. Al estudiar millones de ejemplos, aprenden un sentido general de cómo mover sus brazos, agarrar objetos y seguir instrucciones. Sin embargo, tal como un estudiante podría tener dificultades cuando se le pide realizar una tarea familiar en una habitación ligeramente diferente o con una herramienta nueva, estos robots a menudo fallan cuando el mundo real no coincide perfectamente con los datos con los que fueron entrenados. Cuando un robot encuentra una situación que nunca ha visto antes, necesita adaptarse rápidamente. El desafío para los científicos es cómo enseñar a estos sistemas masivos y preentrenados a ajustarse a nuevos entornos sin tener que reentrenarlos desde cero, un proceso que sería demasiado lento y computacionalmente costoso para un uso práctico.

Durante algún tiempo, los investigadores han intentado guiar a estos robots ajustando el mismísimo comienzo de su proceso de toma de decisiones. Imagine un robot que genera una secuencia de movimientos comenzando con un patrón aleatorio de ruido y refinándolo gradualmente hasta convertirlo en un movimiento suave. Los métodos existentes se han centrado en cambiar ese patrón aleatorio inicial para dirigir al robot hacia un mejor resultado. Si bien esto ayuda, es un poco como intentar dirigir un coche ajustando únicamente la posición inicial de las ruedas; una vez que el coche está en movimiento, el conductor no tiene una forma directa de corregir el vehículo si este comienza a desviarse del curso. Los "pensamientos" internos del robot sobre cómo moverse permanecen fijos, y el ajuste inicial no puede corregir fácilmente errores pequeños y precisos que ocurren más tarde en el movimiento. Esta limitación significa que, incluso con guía, el robot podría seguir fallando en tareas que requieren alta precisión, como colocar una taza sobre un platillo o atornillar un perno.

Para resolver esto, un equipo de investigadores de la Universidad de Shanghai ha desarrollado un nuevo enfoque llamado Aprendizaje por Refuerzo de Espacio Latente Dual. En lugar de solo ajustar el punto de partida del movimiento del robot, su sistema aprende a dar pequeños empujones a los pensamientos internos del robot mientras el plan se está creando. Los investigadores construyeron un módulo de control ligero que trabaja junto al cerebro preentrenado y congelado del robot. Este módulo hace dos cosas simultáneamente: selecciona el patrón de inicio inicial, como hacían los métodos anteriores, pero también genera una segunda señal que se inyecta directamente en las capas intermedias de la red de procesamiento del robot. Piense en esto como tener un copiloto que no solo ayuda a establecer el destino, sino que también estira la mano para realizar pequeños ajustes en tiempo real al volante y a los pedales mientras el coche conduce, asegurando que el vehículo se mantenga en el camino exacto necesario.

Los investigadores probaron este método en una variedad de tareas robóticas, incluyendo levantar objetos, mover latas y apilar bloques en entornos simulados. Compararon su nuevo sistema contra los mejores métodos existentes que solo ajustaban el punto de partida. Los resultados mostraron que el sistema de control dual permitió a los robots aprender mucho más rápido. En tareas que requieren alta precisión, como mover una lata hacia un lugar específico, el nuevo método alcanzó una tasa de éxito de casi el 99 por ciento, mientras que los métodos antiguos luchaban por superar el 90 por ciento. Los robots se adaptaron a nuevos desafíos con menos intentos, lo que significa que pudieron aprender de sus errores de manera más eficiente. El estudio también demostró que este enfoque funciona con diferentes tipos de cerebros robóticos, no solo con un diseño específico, lo que sugiere que es una herramienta versátil para mejorar el rendimiento robótico.

Una parte clave del descubrimiento fue comprender cuánta influencia debería tener este empujón interno. Los investigadores descubrieron que si presionaban demasiado los pensamientos internos del robot, los movimientos se volvían inestables y erráticos. Sin embargo, si aplicaban la cantidad justa de presión suave, el rendimiento del robot mejoraba de manera constante y fluida. Este equilibrio permitió al robot mantener las habilidades generales que ya había aprendido mientras realizaba las correcciones específicas y finas necesarias para la nueva tarea. El sistema logró estos resultados sin cambiar el modelo masivo preentrenado en sí, manteniendo intacto el cerebro central del robot y actualizando únicamente el módulo de control pequeño y ligero. Esto significa que el robot puede ser desplegado en nuevas situaciones y aprender a adaptarse sobre la marcha sin necesidad de una revisión completa de su inteligencia subyacente.

Las implicaciones de este trabajo son significativas para el futuro de la robótica. Al permitir que los robots realicen ajustes precisos durante la generación de sus movimientos, este método cierra la brecha entre el conocimiento general amplio y las acciones específicas y delicadas requeridas en el mundo real. Los investigadores confirmaron sus hallazgos mediante extensas simulaciones, mostrando que el enfoque superó consistentemente a las técnicas anteriores en múltiples tareas. Aunque el trabajo se realizó en una simulación por computadora, la velocidad y eficiencia de la adaptación sugieren que estos robots pronto podrían ser desplegados en entornos del mundo real, aprendiendo a manejar nuevos objetos y entornos con un nivel de destreza que anteriormente era difícil de lograr. El estudio concluye que, al dar a los robots una forma de dirigir sus representaciones internas, podemos crear máquinas que no solo sean inteligentes, sino también flexibles y preparadas para la naturaleza impredecible del mundo físico.

Resumen Técnico: Aprendizaje por Refuerzo de Espacio Latente Dual para Políticas Robóticas Generativas

Declaración del Problema

Las políticas robóticas generativas preentrenadas, como las Políticas de Difusión y los modelos de flujo-emparejamiento (flow-matching), aprovechan conjuntos de datos a gran escala para aprender prioris de acción expresivas. Sin embargo, estos modelos suelen tener dificultades cuando las tareas descendentes se desvían de la distribución de preentrenamiento, particularmente en tareas de largo horizonte donde pequeños errores espaciales o temporales conducen al fallo. Si bien la adaptación en línea es necesaria, el ajuste fino (fine-tuning) completo de modelos con miles de millones de parámetros es computacionalmente prohibitivo.

Los métodos existentes de adaptación eficiente de parámetros, como el direccionamiento basado en Aprendizaje por Refuerzo (RL), operan típicamente solo en los límites de la generación de acciones. Por ejemplo, el Direccionamiento de Difusión mediante RL (DSRL) aprende una política de ruido inicial condicionada a la observación para dirigir un generador congelado. Aunque es efectivo, este enfoque solo influye en el punto de partida del proceso de generación. No logra modular las representaciones de acción intermedias, lo que limita su capacidad para realizar correcciones precisas en ubicaciones de contacto, magnitudes de acción o trayectorias locales durante el proceso de generación. Por el contrario, las políticas residuales aplican correcciones después de la generación de la acción, fallando en moldear la evolución interna de las representaciones de acción. Existe una falta de un mecanismo de RL que combine la selección de comportamiento global con la modulación directa de las representaciones de acción intermedias dentro de un generador congelado.

Metodología: Aprendizaje por Refuerzo de Espacio Latente Dual (DLSRL)

Para abordar estas limitaciones, los autores proponen el Aprendizaje por Refuerzo de Espacio Latente Dual (DLSRL). Este marco introduce una interfaz de control novedosa que complementa el direccionamiento del ruido inicial con el control a nivel de representación dentro de una política generativa congelada.

1. Actor de Espacio Latente Dual

A diferencia de los métodos tradicionales de RL en el espacio de ruido que solo predicen un vector de ruido inicial ( $z_t$ ), el actor de DLSRL predice dos variables latentes distintas condicionadas a la observación actual ( $o_t$ ):

Variable latente de ruido inicial ( $z_t$ ): Dirige la generación del comportamiento general, de manera similar a los métodos existentes.
Variable latente de representación de acción ( $u_t$ ): Diseñada para la modulación de características intermedias.

El actor está parametrizado como $\pi_\theta(\cdot | o_t)$ , produciendo la distribución conjunta $(z_t, u_t)$ .

2. Mapeo de Características del Adaptador e Inyección Residual

La variable latente de representación de acción $u_t$ es procesada a través de un mapeador de características del adaptador ligero $A_\omega$ para producir las características del adaptador $f_t$ :
$f_t = A_\omega(u_t)$

Estas características se inyectan luego en la política base congelada $G_\phi$ . Específicamente, las características del adaptador se escalan por una fuerza de inyección $\lambda_{inj}$ y se añaden residualmente a los estados ocultos de los tokens de acción dentro de bloques Transformer congelados seleccionados:
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
donde $H^{(l)}_{t,k}$ representa los estados ocultos del token de acción en la capa $l$ y el paso de generación $k$ . Este diseño permite el ajuste directo de las representaciones de acción sin actualizar los parámetros de la política base ni alterar la arquitectura de la red. La política base genera la acción final en bloque (chunk):
$a_t = G_\phi(o_t, z_t, f_t)$

3. Optimización de la Política de Espacio Latente Dual

El marco de entrenamiento emplea un mecanismo de destilación de valores para optimizar el actor de espacio latente dual sin retropropagar a través del generador congelado:

Crítico de Espacio de Acción ( $Q^{act}_\psi$ ): Entrenado con datos de interacción en línea utilizando aprendizaje de diferencia temporal fuera de política estándar para estimar el retorno de los bloques de acción.
Crítico de Espacio Latente ( $Q^{lat}_\nu$ ): Optimizado mediante un objetivo de destilación para coincidir con los valores predichos por el crítico de espacio de acción. Este crítico aprende el efecto conjunto de $z_t$ y $f_t$ sobre los retornos de la tarea.
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
Actualización del Actor: El actor de espacio latente dual se actualiza utilizando un objetivo regularizado por entropía que maximiza el valor del espacio latente:
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

Durante el despliegue, solo se conservan el actor y el mapeador del adaptador; los críticos se descartan.

Contribuciones Clave

El artículo describe tres contribuciones primarias:

Marco Novedoso: La introducción de un marco de RL de espacio latente que optimiza simultáneamente las variables latentes de ruido inicial y de representación de acción, extendiendo el direccionamiento de la política desde la fase de inicialización del muestreo hasta la fase de representación intermedia.
Mecanismo de Modulación Ligero: El desarrollo de un mecanismo de modulación residual que mapea los latentes de representación de acción en características del adaptador alineadas con los tokens de acción, inyectándolas en los estados ocultos de los Transformers sin requerir actualizaciones de la política base.
Validación Empírica: Una serie de experimentos a través de políticas de difusión y de flujo-emparejamiento que demuestran que DLSRL acelera la velocidad de adaptación en línea manteniendo un rendimiento final competitivo.

Resultados Experimentales

Los experimentos se realizaron en los entornos RoboMimic (Levantar, Lata, Cuadrado) y LIBERO (seis tareas incluyendo Encender-Estufa, Plato-Cajón-Bol, etc.) utilizando políticas de difusión basadas en Transformers congelados y la política de flujo-emparejamiento $\pi_0$ .

Velocidad de Adaptación: DLSRL demostró consistentemente una mejora de rendimiento más rápida durante las etapas temprana e intermedia de entrenamiento en comparación con los modelos de referencia como DSRL, DPPO y JSRL.
Tasas de Éxito:
- En la tarea Can (RoboMimic), DLSRL alcanzó aproximadamente un 99% de éxito en las etapas finales, superando a DSRL (~90%).
- En las tareas de LIBERO, DLSRL alcanzó el rendimiento de saturación con menos interacciones con el entorno que DSRL.
Eficiencia: La Tabla I muestra que DLSRL logró longitudes de episodio promedio más cortas en todas las seis tareas de LIBERO, con reducciones que oscilan entre el 15.27% y el 25.40% en comparación con DSRL.
Estudios de Ablación:
- Eliminar el direccionamiento del ruido inicial (DLSRL-Rep) aún mejoró las tasas de éxito de ~27% a ~52% en la tarea Can, confirmando que la modulación a nivel de representación por sí sola contribuye a la adaptación.
- El análisis de la fuerza de inyección ( $\lambda_{inj}$ ) reveló que, si bien los valores más altos ($0.09$) ofrecieron ganancias iniciales rápidas, causaron inestabilidad. Un valor moderado ($0.06$) proporcionó el mejor equilibrio, logrando un 100% de éxito.

Significado y Reivindicaciones

Los autores afirman que DLSRL representa el primer trabajo que integra el direccionamiento de ruido inicial con la modulación de los estados ocultos de los tokens de acción. El significado de este trabajo radica en su capacidad para proporcionar una interfaz de control adicional dentro de un generador congelado, permitiendo correcciones precisas de las ubicaciones de contacto y las trayectorias sin el costo computacional de realizar el ajuste fino de grandes modelos generativos.

El artículo concluye que DLSRL acelera eficazmente la adaptación de la política robótica en línea. Si bien el método muestra una velocidad de adaptación superior, los autores señalan modestamente que la ventaja es más pronunciada en tareas que requieren alta precisión de acción (ej. Lata, Cuadrado) en comparación con tareas más simples donde otros métodos pueden eventualmente converger a tasas de éxito similares. Se planea trabajo futuro para evaluar el marco en entornos del mundo real e investigar los efectos de elecciones arquitectónicas específicas (capas de inyección, pasos, fuerzas) en el rendimiento.