Resumen Técnico: RankQ - Aprendizaje por Refuerzo de Offline a Online mediante Clasificación de Acciones Auto-supervisada

Declaración del Problema

El aprendizaje por refuerzo (RL) de offline a online busca mejorar la eficiencia de las muestras aprovechando conjuntos de datos pre-recopilados antes de interactuar en línea. Un desafío principal en este paradigma es aprender un crítico (función de valor) preciso en grandes espacios de estado-acción donde la cobertura del conjunto de datos es limitada. Los métodos existentes abordan a menudo la sobreestimación del valor para acciones fuera de distribución (OOD) imponiendo pesimismo, lo que efectivamente reduce el peso de las acciones OOD en relación con las acciones del conjunto de datos (por ejemplo, Conservative Q-Learning [3] y Calibrated Q-Learning [2]).

Aunque el pesimismo estabiliza el entrenamiento, el artículo argumenta que actúa como un "ancla de clonación de comportamiento". Al penalizar uniformemente las acciones no vistas, estos métodos sesgan la política hacia la distribución del conjunto de datos. Esto se vuelve problemático cuando el conjunto de datos offline contiene trayectorias subóptimas o de fallo; la restricción pesimista puede obstaculizar la mejora de la política en línea aguas abajo al impedir que el agente explore acciones potencialmente superiores que no estaban presentes en los datos. La pregunta central abordada es cómo dar forma a las funciones de valor más allá del conjunto de datos para permitir una mejora en línea efectiva sin depender del pesimismo uniforme.

Metodología: RankQ

Los autores proponen RankQ, un objetivo de aprendizaje Q de offline a online que complementa el aprendizaje estándar de diferencia temporal (TD) con una pérdida de clasificación multi-término auto-supervisada. En lugar de penalizar uniformemente las acciones OOD, RankQ modela explícitamente la calidad relativa de las acciones para imponer un orden estructurado en el paisaje de valores Q.

Mecanismo Central

El método divide el conjunto de datos $D$ en trayectorias de éxito ($D_{success}$) y de fallo ($D_{failure}$). Construye clases específicas de acciones subóptimas para crear restricciones de clasificación por pares:

1. Acciones ruidosas ($a_\epsilon$): $a + \epsilon$, donde $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. Acciones muy ruidosas ($a_{2\epsilon}$): $a + 2\epsilon$.
3. Acciones aleatorias ($a_r$): Acciones muestreadas uniformemente.
4. Acciones permutadas ($a_p$): Acciones muestreadas de estados no relacionados.

La pérdida de RankQ impone el siguiente orden estructurado:

• Preferencia de Éxito: Para las transiciones exitosas, el valor Q de la acción óptima debe ser mayor que el de todas las variantes subóptimas: $Q(s, a) > Q(s, a')$ para $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$.
• Calidad Relativa entre Acciones Subóptimas: El método impone una jerarquía basada en la proximidad a la acción óptima: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. Esto asegura que los gradientes del paisaje Q ($\partial Q/\partial a$) apunten hacia regiones de mayor calidad en lugar de simplemente alejarse del conjunto de datos.
• Supervisión de Fallo: Para las trayectorias de fallo, el método impone que la acción del conjunto de datos siga siendo preferible a las acciones aleatorias ($Q(s, a) > Q(s, a_r)$), pero evita imponer restricciones de orden más fuertes debido a la falta de una noción significativa de calidad relativa entre fallos.

El objetivo final combina estas pérdidas de clasificación con la pérdida TD estándar:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

Contribuciones Clave

1. Rendimiento en Puntos de Referencia: RankQ logra un rendimiento competitivo o superior a siete métodos anteriores (incluyendo CQL, Cal-QL y Hybrid RL) en cuatro entornos antmaze y tres entornos adroit de recompensa escasa en el punto de referencia D4RL.
2. Ajuste Fino de VLA con Pocos Datos: En un régimen desafiante de pocos datos (200 rodadas offline, 8 rodadas online por actualización), RankQ es el único método que mejora significativamente el modelo base de Visión-Lenguaje-Acción (VLA). Logra una tasa de éxito promedio un 42.7% mayor que el siguiente mejor método en tres tareas de manipulación (zanahoria-en-plato, apilamiento de cubos, cuchara-en-bowl).
3. Rendimiento con Muchos Datos y Transferencia Sim-a-Real: En un entorno de muchos datos con aleatorización de dominio extensa, RankQ mejora las tasas de éxito en simulación en un 13.7% y la velocidad de finalización de tareas en un 25.7% sobre el siguiente mejor método. Crucialmente, demuestra una transferencia exitosa de simulación a realidad, aumentando el éxito de apilamiento de cubos en el mundo real de un 43.1% a un 84.7% en comparación con el rendimiento inicial del VLA.
4. Análisis del Paisaje Q: Los autores proporcionan un análisis extenso que muestra que RankQ da forma al paisaje de valores Q de tal manera que los gradientes de acción se dirigen hacia comportamientos de mayor calidad, evitando el pesimismo ilimitado y los picos de gradiente excesivos observados en CQL y Cal-QL.

Resultados Experimentales

• Puntos de Referencia D4RL: RankQ iguala a las líneas base más fuertes en tareas más fáciles (por ejemplo, antmaze-medium, adroit-pen) y supera a todas las líneas base en tareas difíciles y de largo horizonte como antmaze-large y adroit-relocate, donde otros métodos a menudo fallan en aprender políticas significativas.
• VLA con Pocos Datos: Con solo 800 rodadas online en total, RankQ empuja consistentemente la política más allá de su línea base de imitación, mientras que otros métodos (CQL, Cal-QL, SAC+OFF) se estancan en gran medida cerca de su rendimiento inicial.
• VLA con Muchos Datos y Sim-a-Real: Las políticas entrenadas con RankQ no solo logran tasas de éxito más altas, sino que también ejecutan las tareas más rápido (aproximadamente 8 segundos frente a 10.5–12.5 segundos para las líneas base). En ensayos del mundo real, la política de RankQ mejoró la tasa de éxito de apilar cubos del 43.1% al 84.7% en 144 ensayos, reduciendo también la varianza en el tiempo de ejecución.

Significado y Afirmaciones

El artículo afirma que modelar explícitamente el orden relativo de las acciones proporciona una alternativa efectiva al pesimismo uniforme utilizado en los métodos de estado del arte de offline a online. Al dar forma a la función Q para guiar los gradientes de acción hacia comportamientos de mayor calidad en lugar de simplemente suprimir las acciones no vistas, RankQ permite una mejora de política más efectiva tanto durante el preentrenamiento offline como el ajuste fino en línea.

Los autores sugieren que este enfoque es particularmente valioso en entornos de recompensa escasa y con pocos datos, donde los métodos pesimistas pueden volverse demasiado restrictivos y fallar en extraer señales de aprendizaje de los abundantes datos de fallo. La transferencia exitosa de simulación a realidad de la política de RankQ demuestra que la formación de valores estructurada puede facilitar el RL escalable de offline a online y el aprendizaje de robots en el mundo real, incluso cuando el conjunto de datos inicial está dominado por trayectorias subóptimas o de fallo.