Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Resumen Técnico: Adaptación de Políticas Robóticas Generalistas mediante Aprendizaje por Refuerzo Semántico

Planteamiento del Problema
Los modelos de visión-lenguaje-acción (VLA) han demostrado la capacidad de aprender diversos repertorios de habilidades mediante el preentrenamiento a gran escala, sirviendo como potentes priors para el comportamiento robótico. Sin embargo, aprovechar estas políticas generalistas para resolver tareas complejas, novedosas o de largo horizonte sigue siendo un desafío significativo. Las estrategias de despliegue estándar, como el prompting de cero disparos (zero-shot), suelen fallar porque el VLA no puede descomponer correctamente la semántica de tareas complejas en comportamientos atómicos ejecutables ni fundamentar dichos comportamientos en el contexto físico específico del robot.

Los enfoques existentes para mejorar los VLA mediante el Aprendizaje por Refuerzo (RL) operan típicamente de forma directa sobre el espacio de acción de bajo nivel del robot (por ejemplo, posiciones de las articulaciones o del efector final). Estos métodos asumen que la distribución de acciones de la política base ya es cercana a una política de alto rendimiento. Esta suposición se rompe en tareas fuera de la distribución (OOD) donde el comportamiento inicial de la política base es incorrecto o colapsa en modos de falla. En consecuencia, los métodos de RL en el espacio de acción tienen dificultades para explorar de manera efectiva o recuperarse de errores significativos, lo que limita su capacidad para adaptar los VLA a nuevos y complejos escenarios.

Metodología: Aprendizaje por Refuerzo de Acción Semántica (SARL)
Los autores proponen el Aprendizaje por Refuerzo de Acción Semántica (SARL), un marco que desplaza el espacio de optimización del RL desde las acciones robóticas de bajo nivel hacia el espacio semántico de los prompts de lenguaje. La idea central es que, para políticas generalistas suficientemente expresivas, los prompts de lenguaje actúan como un espacio de acción alternativo efectivo. Modular estos prompts permite suscitar habilidades ya presentes en el repertorio de preentrenamiento de la política, permitiendo la composición de habilidades existentes para resolver tareas que van más allá de las capacidades de zero-shot.

La metodología involucra los siguientes componentes clave:

1. Formulación de MDP Semántico: SARL trata el prompt de lenguaje de un VLA como una "acción semántica" ($\ell \in A_{sem}$). En lugar de aprender una política $\pi: S \to A_{robot}$, el sistema aprende una política $\pi_{sem}: S \to A_{sem}$ que selecciona comandos de lenguaje. El VLA actúa como una función de transformación, convirtiendo la acción semántica seleccionada $\ell$ en una acción robótica $a \sim \pi_{vla}(\cdot | s, \ell)$.
2. Bucle de RL en Línea: SARL emplea un bucle de RL en línea para aprender una función Q semántica ($Q_{sem}$). Esta función estima la efectividad de prompts de lenguaje específicos para progresar hacia una recompensa de la tarea. La política selecciona prompts basados en la distribución softmax de estos valores Q, lo que permite al sistema controlar adaptativamente el VLA para dirigirlo hacia el éxito de la tarea.
3. Generación de Candidatos y Almacenamiento en Caché: Para hacer tratable la búsqueda sobre el espacio infinito de posibles prompts de lenguaje, SARL utiliza un Modelo de Lenguaje-Visión (VLM) para generar un conjunto de acciones semánticas candidatas ($A_{sem}^t$) en cada paso, basándose en la observación actual y la tarea. Para restringir aún más el espacio de búsqueda y permitir un aprendizaje eficiente, el sistema almacena en caché un conjunto finito de prompts. El VLM queda entonces restringido a seleccionar candidatos de este caché, lo que permite la codificación one-hot del espacio de acción y un aprendizaje de Q eficiente.
4. Fundamentación (Grounding): Crucialmente, SARL aprende a fundamentar estas acciones semánticas en la experiencia del mundo real. Mediante la interacción con el entorno, el sistema aprende qué comandos de lenguaje específicos inducen realmente comportamientos físicos exitosos, distinguiendo entre instrucciones semánticamente plausibles pero físicamente ineficaces y aquellas que conducen al éxito.

Contribuciones Clave

• Espacio de Acción Semántica: El artículo introduce el concepto de tratar los prompts de lenguaje como el espacio de acción primario para el RL, elevando el problema de aprendizaje desde el control de bajo nivel hacia la dirección semántica. Esto permite una exploración estructurada y semánticamente significativa que aprovecha los priors de comportamiento codificados en los VLA.
• Algoritmo SARL: Los autores presentan SARL, un algoritmo que aprende a optimizar los prompts de los VLA mediante la interacción en línea. Combina los priors semánticos de los VLM para la generación de candidatos con las capacidades de fundamentación del RL para refinar la selección de prompts basada en los resultados físicos.
• Descomposición y Fundamentación: El trabajo demuestra que la adaptación exitosa requiere no solo descomponer metas complejas en subtareas (lo que los VLM pueden hacer), sino también aprender el mapeo fundamentado entre las instrucciones semánticas y los comportamientos físicos que estas inducen (lo que el RL proporciona).

Resultos
Los autores evalúan SARL en entornos simulados (Libero-10) y entornos del mundo real utilizando un robot WidowX. Los experimentos se centran en tareas complejas de largo horizonte que son infactibles para el despliegue de un VLA zero-shot y desafiantes para los métodos de RL existentes.

• Rendimiento: SARL supera significativamente a las líneas base existentes, incluyendo Diffusion Steering via RL (DSRL), Residual RL y enfoques de VLM de Aprendizaje en Contexto (ICL). En tareas del mundo real, SARL mejora la tasa de éxito de un VLA base de casi 0% a aproximadamente 80% dentro de 60–100 episodios en línea.
• Comparación con el RL en el Espacio de Acción: A diferencia de DSRL y Residual RL, que están limitados por la distribución de acción inicial de la política base y a menudo fallan al aprender en tareas donde la política base es significativamente incorrecta, SARL navega con éxito estos modos de falla explorando diferentes prompts semánticos.
• Comparación con las Líneas Base de VLM: Aunque las líneas base de ICL VLM pueden descomponer tareas, frecuentemente seleccionan instrucciones que son semánticamente significativas pero físicamente ineficaces (por ejemplo, usando verbos incorrectos o referencias a objetos erróneas). SARL supera a estas líneas base al aprender a seleccionar prompts que están fundamentados en las capacidades reales del robot y en el entorno específico.

Significancia y Reivindicaciones
El artículo afirma que SARL desbloquea capacidades fundamentalmente nuevas para la adaptación de políticas robóticas generalistas. Al optimizar sobre el espacio de acción semántica, SARL permite que los robots resuelvan tareas complejas de largo horizonte que son infactibles para:

1. Los enfoques de RL existentes que operan al nivel de la acción del robot.
2. El despliegue de VLA de zero-shot.
3. Los VLA desplegados con dirección de lenguaje de alto nivel mediante VLM sin RL en línea.

Los autores enfatizan que la eficiencia de SARL proviene de su capacidad para reutilizar habilidades preentrenadas en lugar de aprender nuevas desde cero, lo que restringe el espacio de búsqueda a comportamientos apropiados para la tarea. Además, el método destaca la importancia crítica de fundamentar las instrucciones semánticas en comportamientos físicos, una capacidad que carecen tanto los enfoques puramente basados en lenguaje como los puramente basados en acción. El trabajo sugiere que las futuras políticas robóticas generalistas podrían diseñarse con capacidades de seguimiento de lenguaje aún más fuertes, y que SARL podría servir como un kit de herramientas estándar para la adaptación autónoma en entornos abiertos.