💻 computer science

StructRL: Structured Action-Space Exploration for Flow-Based VLAs

El artículo introduce StructRL, un marco de aprendizaje por refuerzo para modelos de Visión-Lenguaje-Acción basados en flujo que supera el problema de la "Dilución de Ruido Estructurado" de los métodos existentes mediante la reubicación de la estocasticidad estructurada directamente al espacio de acción a través de un decodificador ODE determinista y la repetición del último paso, mejorando significativamente la eficiencia de exploración y el rendimiento fuera de la distribución en tareas de manipulación robótica.

Autores originales: Jiarui Yang, Bin Zhu, Jingjing Chen, Na Zou, Yanwei Fu, Jianggang Zhu, Yu-Gang Jiang

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiarui Yang, Bin Zhu, Jingjing Chen, Na Zou, Yanwei Fu, Jianggang Zhu, Yu-Gang Jiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden entender el lenguaje humano y seguir instrucciones complejas ya no son solo un sueño de la ciencia ficción; se están convirtiendo en una realidad en laboratorios de todo el mundo. Estos sistemas, conocidos como modelos de Visión-Lenguaje-Acción, actúan como el cerebro de un robot, recibiendo lo que el robot ve y lo que un humano dice, para luego decidir exactamente cómo mover sus brazos y manos para completar una tarea. Para que estos movimientos sean suaves y precisos, los investigadores suelen utilizar una técnica que funciona como un escultor que refina un bloque de arcilla. La computadora comienza con una suposición bruta y ruidosa de lo que el robot debería hacer y la limpia gradualmente, paso a paso, hasta que emerge un movimiento perfecto y fluido. Este proceso es increíblemente poderoso, pero choca con un muro cuando el robot intenta aprender nuevas tareas por sí mismo. Para aprender, un robot debe explorar, probando diferentes acciones para ver qué funciona y qué falla. Sin embargo, si el robot intenta aprender añadiendo temblores aleatorios a sus movimientos durante este proceso de limpieza, el muy mismo acto de limpiar esos movimientos puede suavar accidentalmente los temblores antes de que el robot llegue a probarlos. El robot termina explorando de una manera que es demasiado aleatoria para ser útil o demasiado caótica para ser segura.

Un equipo de investigadores ha descubierto una mejor manera de enseñar a estos robots cómo aprender de sus propios errores. Descubrieron que el problema no era la idea de añadir ruido para fomentar la exploración, sino dónde se estaba añadiendo ese ruido. En los métodos anteriores, las variaciones aleatorias se inyectaban temprano en el proceso de limpieza, solo para ser parcialmente borradas por los pasos subsiguientes que refinaban el movimiento. Los investigadores llaman a este fenómeno "dilución de ruido estructurado", donde los patrones específicos y útiles de exploración se lavan antes de que puedan influir en el comportamiento real del robot. Para resolver esto, desarrollaron un nuevo enfoque llamado StructRL. En lugar de añadir ruido mientras la computadora aún está descifrando el movimiento, dejan que la computadora termine su trabajo primero, produciendo un plan de movimiento limpio y perfecto. Solo después de que ese plan está completo, añaden las variaciones necesarias directamente al movimiento final. Esto asegura que el robot realmente pruebe esas acciones nuevas y ligeramente diferentes, en lugar de que sean suavizadas por los cálculos internos de la computadora.

La clave para que esto funcionara fue darse cuenta de que los movimientos de un robot tienen una estructura específica que el ruido aleatorio a menudo ignora. El brazo de un robot se mueve de tres maneras distintas: desplaza su posición en el espacio, rota su orientación y abre o cierra su pinza. Estos tres tipos de movimiento son diferentes entre sí; un pequeño desplazamiento en la posición podría ser seguro, mientras que una rotación de tamaño similar podría ser peligosa, y la pinza necesita un tipo de control completamente diferente. Los investigadores diseñaron su nuevo método para respetar estas diferencias. Añadieron un ruido que fuera suave a través del tiempo, para que el robot no tuviera sacudidas constantes, y escalaron el ruido de manera diferente para cada parte del movimiento. Esto significó que el robot podía explorar nuevas posiciones con un rango de movimiento generoso, mientras mantenía sus rotaciones y las acciones de la pinza mucho más cuidadas y controladas. Al mantener el proceso de limpieza interna de la computadora determinista y predecible, y solo introducir la aleatoriedad necesaria al final, los investigadores aseguraron que la exploración del robot fuera tanto segura como efectiva.

El equipo probó este nuevo método en una variedad de tareas simuladas y en un brazo robótico real en un laboratorio. En las simulaciones, se les pidió a los robots que realizaran tareas de manipulación complejas, como recoger objetos, moverlos a ubicaciones específicas y ensamblar piezas. Los resultados mostraron una clara ventaja para el nuevo enfoque. En un conjunto de tareas desafiantes de largo alcance, los robots que utilizaban el nuevo método lograron una tasa de éxito de casi el 99 por ciento, superando significativamente a los métodos antiguos que añadían ruido durante el proceso de limpieza. La mejora fue aún más notable cuando los robots se enfrentaron a situaciones que nunca habían visto, como objetos colocados en nuevas ubicaciones o bajo diferentes condiciones de iluminación. Los robots entrenados con el nuevo método fueron capaces de adaptarse mucho más rápido, aprendiendo a manejar estos cambios inesperados con menos intentos. Esto sugiere que preservar la estructura de la exploración es crucial para ayudar a los robots a generalizar sus habilidades al mundo real, que es desordenado e impredecible.

Para demostrar que esto funcionaba fuera de la computadora, los investigadores instalaron su mejor modelo en un brazo robótico físico en un laboratorio real. Le dieron al robot dos desafíos específicos: recoger un plátano y conectar un cargador a un enchufe de pared. Inicialmente, el robot solo había visto unas pocas demostraciones de estas tareas y falló por completo cuando se le pidió que las hiciera por su cuenta. Los investigadores luego dejaron que el robot aprendiera mediante el ensayo y error, utilizando el nuevo método de exploración estructurada. Para la tarea del plátano, el robot aprendió a recoger la fruta con éxito el 84 por ciento de las veces tras solo una hora de aprendizaje en línea, mientras que un robot que utilizaba el método antiguo, menos estructurado, solo tuvo éxito el 56 por ciento de las veces. Para la tarea del cargador, que requería habilidades motoras finas para alinear el enchufe con la toma, el nuevo método permitió al robot alcanzar un estado de éxito estable aproximadamente cinco minutos más rápido que el método anterior. Estos resultados en el mundo real confirmaron que las mejoras teóricas se tradujeron directamente en un aprendizaje más rápido y fiable para las máquinas físicas.

El éxito de este trabajo resalta un cambio fundamental en cómo podemos enseñar a los robots a aprender. Demuestra que la forma en que un robot explora su entorno es tan importante como la inteligencia que utiliza para tomar decisiones. Al comprender que el proceso de "pensamiento" interno del robot debe permanecer constante y predecible, mientras que el proceso de "actuar" es donde ocurre la experimentación, los investigadores pueden crear sistemas que aprendan de manera más eficiente y segura. Los hallazgos sugieren que, para que los robots dominen realmente los movimientos complejos y continuos requeridos para las tareas del mundo real, debemos dejar de tratar sus acciones como una serie de conjetzas aleatorias y empezar a tratarlas como experimentos estructurados y con propósito. Este enfoque no solo hace que los robots sean mejores siguiendo instrucciones; les otorga la capacidad de descifrar nuevas instrucciones por sí mismos, un paso crítico hacia máquinas que puedan asistirnos verdaderamente en nuestra vida diaria.

Resumen Técnico: StructRL

Planteamiento del Problema
Los modelos de Visión-Lenguaje-Acción (VLA) basados en flujo, como $\pi^0$ , $\pi^{0.5}$ y GR00T, se han convertido en el estándar para la manipulación robótica continua debido a su capacidad de inferencia eficiente en pocos pasos. Sin embargo, estos modelos suelen entrenarse mediante aprendizaje por imitación (behavior cloning), lo que limita su rendimiento a la calidad y cobertura de las demostraciones offline. Para adaptar estas políticas a nuevas tareas o escenarios fuera de la distribución (OOD), se requiere un Aprendizaje por Refuerzo (RL) online.

El desafío central identificado en este trabajo es la Dilución de Ruido Estructurado (Structured Noise Dilution). Los métodos de RL existentes para los VLA basados en flujo suelen inyectar estocasticidad (ruido) dentro de la cadena de eliminación de ruido (los pasos intermedios del proceso de flow matching). Los autores argumentan que este enfoque no logra preservar la estructura pretendida de la exploración. Cuando el ruido estructurado (por ejemplo, temporalmente suave o con escala por grupos) se inyecta en un tiempo de flujo intermedio, los pasos de eliminación de ruido restantes del modelo pre-entrenado mapean la muestra perturbada de vuelta hacia el manifold de acción de la Supervisión de Ajuste Fino (SFT). En consecuencia, las correlaciones temporales y las escalas de grupos de acción especificadas por el ruido inyectado se debilitan o se sobrescriben antes de que se ejecute la acción. Este fenómeno impide que la política explore eficazmente el espacio de acciones de una manera compatible con el robot (es decir, bloques de acción suaves con escalas apropiadas para posición, rotación y pinza/gripper).

Metodología: StructRL
Para abordar la Dilución de Ruido Estructurado, los autores proponen StructRL, un marco de RL en el espacio de la acción que reubica la estocasticidad de la política de la cadena de eliminación de ruido al output de la acción final. El marco se basa en tres decisiones de diseño acopladas:

Decodificador ODE Determinista: El decodificador de flujo se ejecuta como una Ecuación Diferencial Ordinaria (ODE) determinista para predecir un bloque de acción "limpio" ( $x^{clean}_0$ ) a partir del ruido inicial. Esto asegura que la política base permanezca estable y no se vea contaminada por la estocasticidad intermedia.
Inyección de Ruido Estructurado en el Espacio de la Acción: En lugar de perturbar los estados intermedios, StructRL muestrea el ruido estructurado ( $\Delta_0$ $Δ_{0}$ ) directamente en el espacio de la acción y lo suma al output limpio: $a = x^{clean}_0 + \Delta_0$ $a = x_{0}^{c l e an} + Δ_{0}$ . Este ruido está diseñado con dos propiedades específicas:
- Correlación Temporal: Se utiliza un proceso AR(1) para generar secuencias de ruido temporalmente suaves dentro de un bloque de acción, evitando el jitter.
- Escalamiento Consciente de Grupos: Se aprenden escalas de ruido separadas para diferentes grupos de acción (posición, rotación, pinza) utilizando un cabezal MLP ligero, reconociendo que estas dimensiones tienen diferentes unidades, rangos y sensibilidades de seguridad.
Replay del Último Paso (Last-Step Replay): Para permitir actualizaciones de gradiente de política sin definir verosimilitudes para los estados de eliminación de ruido intermedios (lo cual sería intratable o desalineado con el ruido en el espacio de la acción), los autores introducen un mecanismo de "replay del último paso". Durante el entrenamiento, el sistema almacena un estado de eliminación de ruido tardío ( $x_{t_n}$ ) y la acción ejecutada. Durante las actualizaciones, el salto determinista de $t_n$ a 0 se reproduce para calcular la acción limpia ( $\hat{x}^{clean}_0$ ). La verosimilitud de la política se evalúa entonces basándose en la diferencia entre la acción ejecutada y esta acción limpia reproducida ( $\Delta^\theta_0 = a - \hat{x}^{clean}_0$ ). Esto permite que el decodificador de flujo se actualice mediante la log-probabilidad del ruido en el espacio de la acción, evitando la necesidad de verosimilitudes a nivel de cadena.

Contribuciones Clave

Identificación de la Dilución de Ruido Estructurado: El artículo demuestra empíricamente que la inyección de ruido estructurado dentro de la cadena de flujo resulta en la pérdida de la estructura temporal y de grupo pretendida debido a los pasos de eliminación de ruido restantes.
Marco de RL en el Espacio de la Acción: Un nuevo marco para VLA basados en flujo que desacopla la predicción de flujo determinista de la distribución de exploración, utilizando el last-step replay para proporcionar una señal de entrenamiento tratable.
Instanciación de Exploración Estructurada: La implementación de la correlación temporal AR(1) y las escalas de ruido aprendibles y específicas por grupo directamente en el espacio de la acción, alineando la exploración con las restricciones físicas de la manipulación robótica.
Evaluación Exhaustiva: Validación a través de tres backbones de VLA basados en flujo ( $\pi^0$ , $\pi^{0.5}$ , GR00T N1.5) en múltiples entornos simulados (LIBERO, ManiSkill, CALVIN) y dos tareas del mundo real.

Resultados

Benchmarks de Simulación:
- LIBERO: StructRL logró una tasa de éxito promedio del 99.0% en GR00T N1.5, superando al estado del arte anterior (Flow-SDE+PPO) por un 2.5%.
- ManiSkill (OOD): El cambio de la inyección en la cadena a la inyección en el espacio de la acción (incluso con ruido Gaussiano) mejoró significativamente el rendimiento OOD. StructRL mejoró aún más la eficiencia de aprendizaje. En $\pi^0$ , el enfoque de espacio de la acción mejoró el éxito promedio OOD en 28.0 puntos porcentuales en comparación con los métodos de inyección en la cadena.
- Ablaciones: Los experimentos confirmaron que niveles moderados de ruido son óptimos, que el ruido estructurado converge más rápido que el ruido Gaussiano, y que la consistencia entre entrenamiento e inferencia en el mecanismo de replay es crítica para el rendimiento. El marco fue robusto a la variación en el número de pasos de eliminación de ruido ( $T \in \{2, 3, 4, 5\}$ ).
Experimentos en el Mundo Real:
- Desplegado en un robot Franka Emika para las tareas "pick-banana" (recoger banana) y "plug-charger-in" (conectar cargador).
- Partiendo de un 0% de éxito tras la inicialización SFT, StructRL alcanzó una tasa de éxito del 84% en "pick-banana" después de 60 minutos, comparado con el 56% de la línea base Gaussiana.
- En "plug-charger-in", StructRL alcanzó un régimen de éxito estable en aproximadamente 30 minutos, superando los ~35 minutos de la línea base Gaussiana.

Significancia y Reivindicaciones
El artículo sostiene que preservar la estructura en la exploración del espacio de la acción es crítico para la adaptación eficiente y robusta de los VLA basados en flujo mediante RL. Los autores argumentan que la principal fuente de ganancias de rendimiento en escenarios OOD es la reubicación de la exploración al espacio de la acción (evitando la dilución), mientras que la estructuración específica de ese ruido (correlación temporal y escalamiento de grupos) mejora principalmente la eficiencia de aprendizaje. Al evitar la "Dilución de Ruido Estructurado" inherente a los métodos de inyección en la cadena, StructRL permite que los robots exploren de manera más efectiva con menos interacciones, facilitando una adaptación online más rápida a partir de recompensas dispersas tanto en simulación como en entornos del mundo real.

Más como este