Resumen Técnico: Aprendizaje por Refuerzo Profundo Consistente en Comportamiento

Enunciado del Problema

Los algoritmos de aprendizaje por refuerzo (RL) exhiben frecuentemente una alta varianza entre ejecuciones de entrenamiento independientes. Si bien las métricas finales de rendimiento (recompensas) pueden parecer similares, las políticas subyacentes a menudo divergen significativamente en sus distribuciones de comportamiento. Esta falta de consistencia plantea desafíos para la evaluación científica, que requiere promediar sobre numerosas semillas, y para el despliegue práctico, donde procesos iterativos como el diseño de recompensas, la depuración y la validación de seguridad se vuelven poco fiables si condiciones idénticas producen comportamientos cualitativamente diferentes. El trabajo existente ha tratado mayoritariamente esta variabilidad como ruido que debe promediarse, en lugar de como una propiedad que debe controlarse explícitamente.

Metodología

Fundamento Teórico

Los autores formalizan el Aprendizaje por Refuerzo Consistente en Comportamiento (BRL), un objetivo para aprender políticas que sean tanto de alto rendimiento como distribucionalmente similares entre ejecuciones independientes. La idea teórica central se basa en el RL de Máxima Entropía (MaxEnt). Al regular las políticas hacia un prior común (específicamente, un prior uniforme en MaxEnt), el espacio de políticas se restringe.

El artículo establece un vínculo teórico entre la divergencia de políticas y el desacuerdo de la función Q:

1. Teorema 4.1: Para políticas de Boltzmann, si el parámetro de temperatura $\alpha(s)$ se establece proporcional al desacuerdo punto a punto entre dos vectores de valores Q ($\|Q^{(1)} - Q^{(2)}\|_\infty$), la divergencia Kullback-Leibler (KL) entre las políticas inducidas está acotada. Específicamente, establecer $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ asegura $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$.
2. Teorema 4.2: Utilizando esta temperatura escalada por desacuerdo en la iteración de valores suave, las ejecuciones acopladas convergen a una vecindad de la función Q óptima no regularizada, con el límite de error controlado por el suelo de temperatura $\alpha_{min}$ y el desacuerdo inicial.

Algoritmo Práctico: Desacuerdo de Expectile de Valor Q (QED)

Acceder directamente a las funciones Q de otras ejecuciones independientes es poco práctico. Para abordar esto, los autores proponen el Desacuerdo de Expectile de Valor Q (QED), que utiliza un proxy de una sola ejecución para el desacuerdo entre ejecuciones.

• Proxy de Doble Crítico: QED aprovecha el truco de "doble Q", utilizando dos críticos de red neuronal ($Q_{\theta_1}, Q_{\theta_2}$) entrenados en paralelo. Los autores hipotetizan que el desacuerdo entre estos dos críticos dentro de una sola ejecución sirve como un proxy representativo para el desacuerdo que existiría entre dos ejecuciones independientes.
• Agregación de Expectile: Para evitar la naturaleza adversaria de maximizar sobre todas las acciones (lo que podría resaltar errores de extrapolación en acciones fuera de distribución), QED calcula un expectile superior de las diferencias absolutas entre los dos críticos sobre acciones muestreadas de la política actual.
• Temperatura Adaptativa: La temperatura $\alpha_{QED}(s)$ se ajusta dinámicamente basándose en este desacuerdo de expectile:
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  donde $e\Delta(s)$ es el desacuerdo de expectile, $k$ es un hiperparámetro que controla el equilibrio, y $d$ es la dimensión de la acción.
• Manejo de Inestabilidad Off-Policy: El artículo señala que aumentar la entropía de manera ingenua puede amplificar los errores de extrapolación off-policy, llevando al colapso del entrenamiento. Para mitigar esto, QED se evalúa sobre algoritmos diseñados específicamente para manejar cambios de distribución: SAC-LN (Actor-Critic Suave con Normalización de Capa) y MAD-SAC (SAC Aumentado con Modelo y Datos).

Contribuciones Clave

1. Formalización de BRL: Introducción del escenario de Aprendizaje por Refuerzo Consistente en Comportamiento, enmarcando la consistencia de comportamiento como un objetivo central junto con la maximización de la recompensa.
2. Conexión Teórica: Demostración de una relación entre la divergencia de políticas y el desacuerdo de críticos en RL de Máxima Entropía, mostrando que escalar la temperatura por desacuerdo acota la divergencia KL entre políticas.
3. Identificación de Desafíos Off-Policy: Ilustración de cómo el RL de Máxima Entropía de alta entropía puede exacerbar los errores de extrapolación off-policy, llevando al colapso funcional de la política si no se gestiona con algoritmos base estables.
4. Algoritmo QED: Propuesta de QED, un método práctico para el ajuste adaptativo de entropía que utiliza el desacuerdo de críticos de una sola ejecución para inducir consistencia de comportamiento entre ejecuciones.

Resultados Experimentales

Los autores evaluaron QED en 18 tareas de control continuo de la suite dm_control utilizando 10 semillas aleatorias por tarea.

• Reducción de la Divergencia: QED redujo la divergencia de políticas por pares (medida por KL simétrico) en dos órdenes de magnitud en comparación con el ajuste de entropía estándar (por ejemplo, SAC con entropía objetivo).
• Preservación del Rendimiento: En la mayoría de los casos, QED mantuvo recompensas normalizadas competitivas. Para divergencias KL muy bajas, se observó una reducción menor en la recompensa (como máximo 5%), atribuida a una pérdida temporal en la eficiencia de la muestra a medida que el algoritmo explora más tiempo para reducir la incertidumbre de la función Q.
• Reducción de la Varianza: Sobre la línea base MAD-SAC, QED redujo la varianza de las recompensas (medida por el ancho de intervalos de confianza bootstrap del 95%) en aproximadamente 50%.
• Consistencia de Comportamiento: Visualizaciones cualitativas (por ejemplo, cheetah_run) y métricas cuantitativas (distancia acumulada L2 de acciones) confirmaron que QED produce políticas con comportamientos visiblemente y estadísticamente similares entre ejecuciones, mientras que el entrenamiento estándar produce modos de comportamiento distintos (por ejemplo, diferentes patrones de salto o caminata).
• Tareas de Alta Varianza: En la notoriamente inestable tarea hopper_hop, QED no solo mejoró el rendimiento, sino que alineó todas las ejecuciones de entrenamiento para converger a un nivel de rendimiento idéntico, mientras que la línea base exhibió alta varianza.

Significado y Afirmaciones

El artículo argumenta que controlar la consistencia de comportamiento es tanto factible como beneficioso para la estabilidad y la reproducibilidad de los sistemas de RL. Al tratar la variabilidad como una propiedad explícita que debe controlarse en lugar de ruido que debe promediarse, los autores sugieren que la consistencia de comportamiento es un ingrediente faltante para un RL escalable y fiable.

El significado radica en habilitar una mayor fiabilidad en:

• Evaluación Científica: Reducir la necesidad de promedios masivos sobre semillas para detectar mejoras algorítmicas reales.
• Despliegue: Asegurar que procesos iterativos como el ajuste de recompensas y la validación de seguridad no se vean confundidos por idiosincrasias estocásticas.
• Depuración: Facilitar la distinción entre fallos algorítmicos y varianza aleatoria.

Los autores notan modestamente limitaciones, particularmente que el método depende de estimaciones puntuales de Q que pueden tardar en converger, y que un equilibrio entre rendimiento y similitud se vuelve más pronunciado en tareas de alta dimensión. Concluyen que, aunque QED ofrece un enfoque principiado para la estabilidad, se necesita trabajo futuro para abordar la consistencia a largo plazo y el equilibrio entre diversidad y uniformidad en estrategias de comportamiento válidas.