Resumen Técnico: ExToken: Exploración Estructurada para el Ajuste Fino Eficiente de Refuerzo de Visión-Lenguaje-Acción

1. Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han mostrado potencial en la manipulación robótica, y el Aprendizaje por Refuerzo (RL) ofrece un paradigma para el post-entrenamiento de estos modelos mediante la interacción con el entorno. Sin embargo, la escalabilidad práctica de VLA-RL está severamente limitada por la ineficiencia de muestras. Las arquitecturas VLA a gran escala incurren en costos prohibitivos y riesgos de seguridad cuando se someten a un extenso proceso de ensayo y error en entornos físicos o simulados.

Los autores identifican un cuello de botella específico en los marcos de trabajo actuales de VLA-RL: el estancamiento de la exploración que conduce al colapso del modo de acción. Los mecanismos de muestreo estocástico estándar, a medida que el entrenamiento progresa, causan que las políticas generen trayectorias cada vez más homogéneas. El agente explota repetidamente patrones de acción similares, lo que resulta en una recolección de datos redundante que no logra mejorar la cobertura de estado-acción. El artículo postula que el problema fundamental no es meramente la falta de volumen de datos, sino la falta de diversidad de trayectorias.

2. Metodología: ExToken

Para abordar el estancamiento de la exploración, los autores proponen ExToken (Token de Exploración de RL), un marco que condiciona las políticas VLA en prioridades conductuales discretas derivadas de demostraciones offline para permitir una exploración estructurada. El marco consta de dos componentes primarios:

A. Formulación y Condicionamiento de Tokens

En lugar de depender de ruido estocástico no estructurado, ExToken aprovecha la diversidad conductual inherente en los conjuntos de datos de demostraciones offline.

1. Generación de Tokens: Un codificador de video pre-entrenado extrae características espaciotemporales latentes de un conjunto de datos de demostración $\mathcal{D}$. Se realiza un agrupamiento $K$-means en este espacio latente para identificar $K$ centroides de clúster $\{c_1, \dots, c_K\}$. Cada centroide define un token de exploración discreto correspondiente a un modo conductual distinto.
2. Calentamiento Condicionado por Tokens: Antes del RL, una fase de ajuste fino supervisado (SFT) alinea la política con estos tokens. Cada trayectoria de demostración se empareja con su correspondiente token de clúster, permitiendo que la política aprenda la asociación entre tokens específicos y modos de comportamiento.
   3.Exploración Estructurada durante el RL: Durante la fase de interacción de RL, la política se condiciona a un token de exploración muestreado uniformemente $k \sim \mathcal{U}(1, K)$ que se antepone a la secuencia de entrada. Esto dirige explícitamente al agente hacia diferentes modos de comportamiento, evitando el colapso del modo de acción y mejorando la diversidad de los rollouts.

B. Selector de Tokens Condicionado al Estado

Para cerrar la brecha entre la exploración estocástica del entrenamiento y la inferencia determinista en el despliegue, ExToken incorpora un Selector de Tokens $\phi$.

• Arquitectura: Dada una observación inicial $s_0$ (imagen y lenguaje), un codificador SigLIP pre-entrenado seguido de una cabeza MLP predice una distribución categórica sobre el espacio de tokens.
• Entrenamiento: El selector es optimizado conjuntamente con la política VLA. Mientras que la política se actualiza mediante objetivos estándar de RL, el selector se optimiza a nivel de episodio utilizando REINFORCE. El objetivo maximiza la recompensa esperada de la trayectoria $R(\tau)$ para el token seleccionado, fomentando que el selector prediga el modo de comportamiento más efectivo para un estado inicial dado.
• Inferencia: Durante el despliegue, el selector produce determinísticamente el token más probable ($\arg\max$), asegurando un comportamiento estable y consciente del contexto sin muestreo aleatorio.

3. Contribuciones Clave

El artículo detalla tres contribuciones principales:

1. Perspectiva Empírica: Los autores demuestran que la diversidad de trayectorias es fundamentalmente más crítica para la eficiencia de muestras que la mera cantidad de rollouts recolectados. Muestran que descartar trayectorias homogéneas y entrenar en un subconjunto diverso produce un rendimiento comparable a entrenar con el doble de volumen de rollouts estándar.
2. Marco ExToken: Introducen un marco simple y general que guía a las políticas VLA a explorar modos conductuales estructurados mediante el condicionamiento de tokens discretos. Combina de forma única la exploración condicionada por tokens con un selector de tokens condicionado al estado para la inferencia determinista.
3. Rendimiento Robusto: Experimentos extensos muestran que ExToken acelera consistentemente la convergencia de la política, mejora las tasas de éxito de las tareas y mantiene la robustez bajo presupuestos de interacción altamente restringidos (por ejemplo, recuentos de rollouts limitados) y variaciones ambientales.

4. Resultados Experimentales

Los autores evaluaron ExToken tanto en tareas de manipulación robótica simuladas como en el mundo real.

Simulación (Benchmark LIBERO)

• Configuración: ExToken fue probado en cuatro suites de tareas de LIBERO (Spatial, Object, Goal, Long) utilizando OpenVLA-OFT como política base y GRPO para la optimización. El presupuesto de interacción se limitó estrictamente a 512 trayectorias por paso.
• Rendimiento: ExToken alcanzó una tasa de éxito promedio del 98.2%, superando al fuerte baseline RLinf-GRPO (96.8%) bajo el mismo presupuesto exacto.
• Eficiencia: Las curvas de aprendizaje indicaron que ExToken converge más rápido que los baselines. Notablemente, en la desafiante suite LIBERO-Long, ExToken mejoró las tasas de éxito del 95.2% al 97.8%.
• Ablación: Entrenar con 512 rollouts diversificados (vía ExToken) igualó el rendimiento de 1024 rollouts estándar, validando la hipótesis de que la diversidad pesa más que el volumen.

Experimentos en el Mundo Real

• Tareas: Se evaluaron cuatro tareas: Doblar ropa (Fold clothes), Limpiar mesa (Wipe table), Verter agua (Pour water) y Insertar bolígrafo (Insert pen).
• Presupuesto: Los experimentos se realizaron bajo restricciones estrictas (20 rollouts por iteración).
• Resultados: ExToken superó al baseline Evo-RL en un promedio de 6.25% en las configuraciones originales.
• Generalización: Crucialmente, ExToken demostró una robustez superior a las variaciones ambientales (objetos no vistos, cambios de fondo, iluminación). Mientras que los baselines sufrieron caídas de rendimiento del 10–25%, la degradación de ExToken se limitó al 5–15%, atribuido a la exposición de la política a patrones de interacción variados durante el entrenamiento.

Análisis

• Clustering de Tokens: La visualización confirmó que los tokens capturaron modos conductuales distintos (por ejemplo, el enderezado correctivo frente al suavizado en el doblado de tela).
• Espacio de Exploración: El análisis de la posición 3D del efector final mostró que la exploración condicionada por tokens cubrió una región espacial significativamente mayor en comparación con la exploración estocástica estándar.
• Restricciones: ExToken se mantuvo robusto incluso cuando el presupuesto de rollout se redujo de 512 a 256, superando a los baselines que requerían el doble de datos para lograr resultados similares.

5. Significación y Reivindicaciones

El artículo afirma que ExToken aborda un cuello de botella fundamental en VLA-RL: el compromiso entre el costo de exploración y la eficiencia de muestras. Al cambiar el enfoque de "recolectar más datos" a "recolectar datos más diversos" mediante el condicionamiento de tokens estructurado, ExToken permite una optimización de política eficiente bajo presupuestos de interacción ajustados.

Los autores posicionan a ExToken como un marco ligero y ampliamente compatible que puede integrarse en diversas arquitecturas VLA y paradigmas de RL (online e iterativo offline). Enfatizan que el método no requiere cambios arquitectónicos complejos, sino que aprovecha el condicionamiento de la entrada para dirigir la exploración.

Limitaciones y Trabajo Futuro:
Los autores señalan modestamente que el diseño actual es una validación simplificada de la hipótesis central. Las direcciones futuras incluyen:

• Optimizar conjuntamente las representaciones de los tokens con la política.
• Introducir el dropout de tokens probabilístico para el ensembling implícito.
• Pasar de tokens de estado inicial único a tokens condicionados temporalmente para manejar tareas complejas de largo horizonte donde las estrategias de exploración necesitan cambiar dinámicamente.