Resumen Técnico: Aprendizaje por Refuerzo de Consultas Elásticas (EQRL)

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han emergido como generadores potentes para la manipulación robótica, utilizando típicamente arquitecturas basadas en flujo o difusión para producir fragmentos de acción (action chunks) temporalmente coherentes. Sin embargo, las interfaces de ejecución actuales son rígidas: emplean presupuestos de eliminación de ruido (pasos de muestreo) y longitudes de fragmentos de acción fijos, independientemente de la dificultad del estado. Esta rigidez conduce a la ineficiencia; los estados fáciles (por ejemplo, movimiento en espacio libre) suelen recibir un cómputo excesivo y un replanteamiento frecuente, mientras que los estados difíciles (por ejemplo, alineación rica en contacto o recuperación) pueden sufrir de una retroalimentación y recursos computacionales insuficientes. Los métodos de post-entrenamiento existentes que adaptan los VLA mediante el direccionamiento en el espacio latente dejan el esquema de ejecución (presupuesto de muestreo y longitud del fragmento) como hiperparámetros manuales, lo que impide que la política asigne dinámicamente el cómputo basado en la dificultad del estado.

Metodología: Marco de Trabajo EQRL

Los autores proponen el Aprendizaje por Refuerzo de Consultas Elásticas (EQRL), un marco que trata la ejecución del VLA como un problema de decisión conjunta sobre el direccionamiento latente, el presupuesto de eliminación de ruido y la longitud del fragmento de acción, sin realizar un ajuste fino (fine-tuning) del modelo VLA subyacente congelado.

1. Acciones de Consulta de Programación Latente

En cada consulta $j$, un adaptador de aprendizaje por refuerzo ligero (actor) observa el estado actual $o_{t_j}$ y genera una acción conjunta $u_j = (w_j, z^K_j, z^C_j)$:

• $w_j$: Una variable de direccionamiento latente que guía al muestreador del VLA congelado.
• $z^K_j, z^C_j$: Variables de programación continuas que representan residuales alrededor de los esquemas base para el presupuesto de eliminación de ruido ($K$) y la longitud del fragmento ($C$).

2. Parametrización de Programación Guiada por la Dificultad

Para asegurar que la programación sea consciente de la dificultad del estado, EQRL emplea un conjunto de críticos $\{Q^{(i)}_\psi\}$ entrenado sobre el espacio de acción conjunto de latencia-programación.

• Señal de Dificultad: El sistema deriva una señal de dificultad de estado $s(o)$ a partir del desacuerdo (desviación estándar) de las predicciones del conjunto de críticos en el esquema base. Un alto desacuerdo indica una alta dificultad.
• Prior de Programación: Esta señal genera un "prior de programación" que asigna más pasos de eliminación de ruido ($K$) y fragmentos más cortos ($C$) a los estados difíciles, y menos pasos/fragmentos más largos a los estados fáciles.
• Programación Final: Los parámetros de ejecución finales son una combinación de este prior derivado de la dificultad y los residuales aprendidos por el actor, recortados a rangos enteros válidos.

3. Objetivo de Aprendizaje a Nivel de Consulta

EQRL formula el problema como aprendizaje por refuerzo de macro-acciones a nivel de consulta:

• Macro-Transiciones: La ejecución de un fragmento de longitud $C$ induce una macro-transición en el entorno. El respaldo de Bellman utiliza un factor de descuento dependiente del fragmento $\gamma^L$ (donde $L$ es los pasos realmente ejecutados).
• Estructura de Recompensa:
  • Recompensa de Tarea: Se asigna un bono de éxito terminal a la consulta final de un episodio exitoso.
  • Costo de Cómputo: Se impone un presupuesto de Número de Evaluaciones de Función (NFE) amortizado por episodio. El costo se define como la relación entre el total de pasos de eliminación de ruido y el total de acciones ejecutadas ($\sum K / \sum C$). Los episodios que exceden una banda de presupuesto incurren en penalizaciones, mientras que aquellos dentro de la banda reciben un bono de ahorro.
• Optimización: El actor se optimiza utilizando un objetivo de máxima entropía (estilo SAC) para maximizar el valor Q del crítico mientras se mantiene la entropía. Una pérdida de alineación auxiliar fomenta que la asignación de cómputo local del actor coincida con la señal de dificultad derivada del crítico.

Contribuciones Clave

1. Formulación de la Ejecución Elástica: El artículo formula la ejecución de un VLA congelado como un problema de RL a nivel de consulta donde la política selecciona conjuntamente el direccionamiento latente, el presupuesto de eliminación de ruido y la longitud del fragmento de acción.
2. Guía de Dificultad Derivada del Crítico: Introduce un mecanismo para derivar señales de asignación de cómputo dependientes del estado a partir del desacuerdo del conjunto de críticos, permitiendo que la política "sepa" cuándo gastar más cómputo.
3. RL de Macro-Acciones de Longitud Variable: Los autores desarrollan un marco de entrenamiento para fragmentos de longitud variable utilizando descuentos dependientes del fragmento y un objetivo de NFE amortizado por episodio para equilibrar el rendimiento y la eficiencia.

Resultados Experimentales

Los autores evaluaron EQRL en los entornos de simulación LIBERO y ALOHA, así como en tareas de manipulación de robot real tanto offline como online (usando plataformas DISCOVER Robotics).

• Rendimiento en Simulación: EQRL logró tasas de éxito de nivel estado del arte o mejoradas en comparación con las líneas base (DSRL, RLinf-Noise, RLinf-SDE) mientras reducía significativamente los costos de inferencia.
  • En LIBERO-4Tasks, EQRL mejoró el AUC de éxito en 0.04 y redujo el NFE relativo en un 24.3%.
  • En ALOHA-Cube, EQRL logró un éxito final del 100% (frente al 0.94 de DSRL) y redujo el NFE relativo en un 20.0%.
• Rendimiento en Robot Real: Tanto en entornos offline como online, EQRL mantuvo un éxito de tarea comparable o superior mientras reducía el NFE relativo en aproximadamente un 32% y reducía el tiempo de trayectoria de pared (wall-clock time) en un 11–17%.
• Estudios de Ablación: Los experimentos en la tarea "Put Cheese" demostraron que las ganancias no se deben simplemente a la reducción del presupuesto de cómputo promedio. Las variantes que solo ajustaban los pasos, solo ajustaban los fragmentos, o usaban un presupuesto fijo sin conciencia de la dificultad, tuvieron un desempeño inferior. Esto confirma la necesidad de la programación conjunta y la conciencia de la dificultad derivada del crítico.

Significado y Reivindicaciones

El artículo sostiene que la ejecución de un VLA es fundamentalmente un problema de asignación de recursos dependiente del estado. EQRL demuestra que la política de un VLA congelado puede hacerse "elástica" mediante un adaptador ligero que aprende a asignar recursos computacionales dinámicamente.

• Eficiencia sin Ajuste Fino: El método preserva los sesgos conductuales del VLA pre-entrenado mientras adapta la eficiencia de la ejecución, evitando el costo de un ajuste fino completo del modelo.
• Ejecución Adaptativa: Al gastar más cómputo y retroalimentación en fases difíciles (por ejemplo, alineación de contacto) y menos en fases fáciles (por ejemplo, aproximación en espacio libre), EQRL mejora la relación entre el costo de inferencia y el éxito de la tarea.
• Practicidad: Los resultados sugieren que la consulta elástica es una interfaz viable para el aprendizaje robótico en el mundo real, traduciendo los ahorros computacionales en mejoras prácticas de velocidad y mejores compromisos de tiempo de contacto.

Los autores reconocen limitaciones, señalando que el entrenamiento offline no puede observar perfectamente los efectos causales de diferentes programas sin la retroalimentación del entorno, y que la adaptación actual en robots reales requiere un ajuste fino por tarea, lo que limita la generalización a través de habilidades de manipulación muy distintas.