Drift Q-Learning

Resumen Técnico: Drift Q-Learning (DriftQL)

Planteamiento del Problema
El Aprendizaje por Refuerzo (RL) fuera de línea (offline) tiene como objetivo aprender políticas óptimas a partir de conjuntos de datos fijos sin interacciones adicionales con el entorno. Un desafío central en este escenario es el problema de la "fuera de distribución" (OOD): las funciones de valor entrenadas con datos estáticos producen estimaciones poco fiables para acciones que no están presentes en el conjunto de datos. Para mitigar esto, se requiere una regularización del comportamiento que restrinja la política aprendida hacia la distribución de los datos, permitiendo al mismo tiempo la mejora hacia acciones de alto valor.

Las soluciones existentes que utilizan modelos generativos expresivos, como las políticas basadas en difusión y flujo, modelan eficazmente la estructura multimodal de las distribuciones de comportamiento. Sin embargo, sufren limitaciones prácticas significativas: requieren un proceso de eliminación de ruido iterativo o integraciones de solvers pesados durante la inferencia, lo que conduce a una ejecución lenta. Aunque existen alternativas basadas en la destilación para acelerar la inferencia, estas introducen complejidad al requerir redes adicionales y procesos de entrenamiento de dos etapas.

Metodología
Los autores proponen Drift Q-Learning (DriftQL), un método generativo de un solo paso que combina un regularizador de comportamiento basado en deriva (drift) con una mejora de la política impulsada por el crítico. DriftQL se basa en el marco de los "Modelos de Deriva" (Drifting Models), que aprenden un mapa de empuje directo de un paso desde el ruido previo y las señales de condicionamiento hacia los datos.

El núcleo de DriftQL es una red de actor estocástica $f_\theta(s, \epsilon)$ que mapea un estado $s$ y un ruido gaussiano $\epsilon$ hacia una acción $a$. El objetivo de entrenamiento unifica el modelado de la distribución con la búsqueda de recompensas a través de dos mecanismos primarios:

1. Campo de Deriva Condicional: La política es supervisada por un campo de deriva condicionado al estado compuesto por dos fuerzas opuestas:

   • Atracción ($V^+$): Atrae las acciones generadas hacia las acciones observadas en el conjunto de datos (clonación de comportamiento). En el entorno de RL fuera de línea, donde típicamente hay una acción observada por estado, esto se simplifica a una diferencia directa de vectores entre la acción generada y la acción del conjunto de datos.
   • Repulsión ($V^-$): Aleja las acciones generadas unas de otras. Esto evita que la política colapse en un único modo (la acción del conjunto de datos) y mantiene un conjunto diverso de candidatos dentro de regiones de alto valor. La repulsión se calcula mediante un desplazamiento de media ponderado por kernel sobre las $N$ acciones candidatas generadas para un solo estado.

2. Mejora Impulsada por el Crítico: A diferencia de los modelos de deriva estándar utilizados para la generación incondicional, DriftQL incorpora un objetivo basado en el valor. Un crítico de doble Q recortado (clipped double-Q) estima el valor de las acciones. El actor minimiza una pérdida combinada:
   $$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$$
   donde $L_{drift}$ es la pérdida de deriva (regresión de acciones hacia el objetivo de deriva) y $L_Q$ es el valor Q negativo esperado. El gradiente de valor sesga la política hacia regiones de alto valor dentro del soporte de los datos, permitiendo que la política se concentre en múltiples modos de alto valor si estos existen en los datos.

Contribuciones Clave

• Política Generativa de un Solo Paso: DriftQL genera acciones en una sola pasada hacia adelante, eliminando la necesidad de cadenas de eliminación de ruido iterativas, solvers de ODE o etapas de destilación requeridas por los métodos basados en difusión y flujo.
• Objetivo de Entrenamiento Unificado: El método integra la regularización del comportamiento (vía el campo de deriva) y la mejora de la política (vía el crítico Q) en una sola red con una pérdida unificada, evitando la complejidad de los procesos de entrenamiento de múltiples etapas.
• Selección de Modos y Diversidad: La combinación de atracción (hacia los datos) y repulsión (entre candidatos) permite que la política mantenga masa a través de los candidatos durante el entrenamiento mientras converge hacia los modos de alto valor, evitando el colapso hacia una acción determinista única o la dispersión en regiones no soportadas.

Resultados Experimentales
DriftQL fue evaluado en los benchmarks D4RL y OGBench, cubriendo tareas de control continuo, navegación y manipulación.

• Rendimiento: DriftQL supera consistentemente o iguala a los baselines de vanguardia basados en difusión y flujo (p. ej., Diffusion-QL, FQL, IDQL) en 78 tareas de aprendizaje fuera de línea. Muestra ganancias particularmente fuertes en tareas de navegación de largo horizonte (p. ej., antmaze-large-st, antmaze-giant-st) y tareas complejas de manipulación.
• Robustez: Bajo una calidad de datos degradada (simulada reemplazando una fracción de las acciones con ruido aleatorio), DriftQL mantiene un rendimiento más cercano a su línea base de datos limpios que los métodos competidores, los cuales sufren visiblemente a medida que el ruido aumenta.
• Eficiencia: En términos de latencia de inferencia, DriftQL es aproximadamente 2$\times$ más rápido que FQL, 3$\times$ más rápido que Diffusion-QL y 4$\times$ más rápido que IDQL/IFQL. Logra esto sin requerir una etapa de destilación separada. Los costes de entrenamiento escalan con el número de muestras generadas ($N$) debido a los cálculos de kernel por pares, pero se mantienen modestos en comparación con la sobrecarga de la eliminación de ruido iterativa en los modelos de difusión.

Significancia y Reivindicaciones
El artículo posiciona a DriftQL como una alternativa prometedora a los métodos de RL fuera de línea basados en difusión y flujo. Reivindica ofrecer la expresividad de los modelos generativos (manejo de distribuciones multimodales) manteniendo al mismo tiempo la simplicidad y eficiencia de los enfoques deterministas (pasada única hacia adelante).

Los autores argumentan que DriftQL reconcilia con éxito los objetivos contrapuestos del RL fuera de línea: restringe la política al soporte de los datos para asegurar estimaciones de valor fiables, permitiendo al mismo tiempo la mejora hacia regiones de alta recompensa. Al eliminar la sobrecarga computacional del muestreo iterativo, DriftQL proporciona una solución más práctica para el despliegue en el mundo real donde la velocidad de inferencia es crítica, todo ello manteniendo la robustez contra la corrupción de datos. El trabajo sugiere que la deriva (drifting) proporciona un "punto medio" útil para el RL fuera de línea, ofreciendo señales de entrenamiento estocásticas y distribucionales sin los costes de tiempo de prueba asociados con las políticas generativas de múltiples pasos.