Resumen Técnico: Variación del Rendimiento en el Aprendizaje por Refuerzo Profundo

Planteamiento del Problema

Se sabe que los algoritmos de Aprendizaje por Refuerzo (RL) profundo poseen la capacidad de aprender comportamientos complejos, pero son notoriamente sensibles a variaciones de rendimiento tipo "lotería" entre ejecuciones independientes de agentes con configuraciones idénticas. Esta variación de ejecución a ejecución obstaculiza el rigor científico al complicar la reproducción de resultados, la comparación justa de algoritmos y el ajuste de hiperparámetros. Además, en aplicaciones prácticas, esta variabilidad plantea riesgos de seguridad, ya que pueden ocurrir comportamientos ineficaces de forma impredecible.

A pesar de la importancia de este problema, los estudios empíricos de RL profundo suelen pasar por alto la variación del rendimiento en favor de métricas de rendimiento agregadas. Las prácticas de evaluación actuales dependen fuertemente de:

1. Estimaciones de incertidumbre (por ejemplo, intervalos de confianza mediante bootstrapping del Intercuartil Medio, error estándar), que miden la discrepancia entre las estadísticas de la muestra y los parámetros reales de la población en lugar de la dispersión de la distribución de rendimiento en sí misma. Estas métricas desaparecen a medida que aumenta el número de ejecuciones ($O(1/\sqrt{n})$), fallando en capturar la variabilidad inherente de los datos.
2. Desviación estándar, que asume una distribución Gaussiana. Sin embargo, las distribuciones de rendimiento de RL profundo son frecuentemente no gaussianas (sesgadas o bimodales), lo que conduce a la "subestimación" del riesgo, donde la desviación estándar no logra cubrir porciones significativas de la distribución, como las ejecuciones fallidas o las colas pesadas.

Los métodos rigurosos existentes, como los Intervalos de Tolerancia (TI) o los Perfiles de Rendimiento, suelen ser computacionalmente costosos o difíciles de interpretar para el análisis de una sola tarea. Existe una necesidad de herramientas de evaluación que capturen con precisión la variación de rendimiento de una sola tarea, manteniéndose interpretables y escalables.

Metodología

Los autores proponen un conjunto de métodos de cuantificación y visualización diseñados para equilibrar la precisión y la interpretabilidad:

1. Min-Max IPR-90 (Cuantificación)

El artículo introduce el Rango Inter-Percentil (IPR) Min-Max del 5 al 95 percentil, normalizado por el rango min-max teórico o empírico de la tarea.

• Definición: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$, donde $U(x)$ es el $x$-ésimo percentil del conjunto de rendimiento, y $M_T, m_T$ son el máximo y el mínimo posibles de la tarea.
• Racional: A diferencia de la desviación estándar, los percentiles no asumen una distribución de datos específica. Se elige el rango del 5 al 95 (cobertura del 90%) para evaluar el riesgo (capturando la dispersión de la mayoría de las ejecuciones) evitando la sensibilidad extrema a los valores atípicos que introduciría el rango completo (0–100%).
• Normalización: La normalización min-max permite la comparación directa de la variación entre diferentes algoritmos y tareas con diferentes escalas de recompensa.

2. Resaltado de Percentiles por Ejecución (RPH) (Visualización)

Para visualizar las curvas de aprendizaje sin los riesgos de representación errónea de la agregación temporal (por ejemplo, bandas de media $\pm$ desviación estándar), los autores proponen el Resaltado de Percentiles por Ejecución (Run-wise Percentile Highlighting).

• Técnica: En lugar de agregar estadísticas en cada paso de tiempo, el RPH resalta las curvas de aprendizaje específicas correspondientes a los percentiles 5, 50 (mediana) y 95 del rendimiento final.
• Implementación: Las curvas del percentil 5 y 95 se resaltan (por ejemplo, con líneas punteadas) para enfatizar la envolvente de variación, mientras que el percentil 50 representa la tendencia central. Otras curvas se renderizan con transparencia.
• Ventaja: Esto preserva la forma de las curvas de aprendizaje individuales y evita la "subestimación" de la variación común en las bandas de error sombreadas. Es computacionalmente más simple y más interpretable que los Boxplots Funcionales (FB).

Contribuciones Clave y Casos de Estudio

El artículo valida estos métodos a través de tres casos de estudio utilizando 100 ejecuciones independientes por tarea:

Caso de Estudio 1: Efecto de la Normalización en PPO y SAC

Los autores analizaron el impacto de la normalización de capa (LayerNorm) y la normalización de la capa penúltima (PNorm) en PPO y SAC.

• Hallazgos: En PPO, aplicar estas técnicas de normalización (individualmente o conjuntamente) redujo significativamente la variación del rendimiento (reduciendo el Min-Max IPR-90) y a menudo mejoró el rendimiento de la mediana. En contraste, para SAC, estas modificaciones generalmente dejaron la variación del rendimiento sin cambios o la aumentaron.
• Implicación: Los beneficios de la normalización son específicos del algoritmo; lo que estabiliza a PPO no necesariamente estabiliza a SAC.

Caso de Estudio 2: Comparación de Algoritmos de Control Continuo (PPO, SAC, TD-MPC, TD-MPC2)

Se realizó una comparación sistemática a través de 48 tareas de la Suite de Control de DeepMind (DMC).

• Hallazgos: TD-MPC y TD-MPC2 demostraron un rendimiento superior en todas las métricas (media, mediana, percentiles 5/95) en comparación con PPO y SAC. Crucialmente, TD-MPC exhibió la menor variación de rendimiento (Min-Max IPR-90 promedio $\approx$ 10%) manteniendo una alta eficiencia de datos.
• Observación: A pesar de la baja variación de TD-MPC, un IPR-90 promedio del 10% sigue siendo significativamente mayor que el $\approx$ 2% observado en los baselines de aprendizaje supervisado, lo que indica que el RL profundo todavía lucha por lograr un rendimiento de baja variación constante.

Caso de Estudio 3: Comparación de Algoritmos de Control Discreto (DQN vs. Rainbow)

El estudio comparó DQN y Rainbow en cinco entornos de Atari (ALE).

• Hallazgos: Rainbow superó significativamente a DQN en términos de rendimiento de la mediana y de los percentiles. Sin embargo, ambos algoritmos exhibieron niveles similares y altos de variación de rendimiento (Min-Max IPR-90 $\approx$ 14–23%).
• Implicación: Aunque Rainbow mejora el rendimiento agregado sobre DQN, no resuelve el problema subyacente de la alta variabilidad de ejecución a ejecución.

Significancia y Reivindicaciones

El artículo sostiene que el Min-Max IPR-90 y el RPH proporcionan un cambio necesario en la forma en que se evalúa el rendimiento del RL profundo:

1. Corrección de Desalineación: Corrigen el uso erróneo de las estimaciones de incertidumbre (como los intervalos de confianza) como proxies de la variación.
2. Robustez: Al apoyarse en percentiles en lugar de supuestos paramétricos (como la Gaussianidad), estos métodos proporcionan un resumen más preciso de la dispersión del rendimiento, particularmente para distribuciones no gaussianas comunes en RL.
3. Interpretabilidad: El RPH ofrece una representación visual clara del comportamiento de ejecución a ejecución que es más fácil de interpretar que los Boxplots Funcionales y más informativa que las bandas de error estándar.
4. Perspectiva Práctica: Las herramientas propuestas revelan que las mejoras algorítmicas (por ejemplo, en TD-MPC o Rainbow) no equivalen automáticamente a una reducción de la variación, destacando que la "robustez" sigue siendo un objetivo distinto y desafiante en la investigación de RL profundo.

Los autores concluyen que, si bien estos métodos son efectivos, deben utilizarse junto con otras herramientas estadísticas para proporcionar información complementaria, ya que confiar en un solo estadístico aún puede ser engañoso. El trabajo tiene como objetivo ayudar a la investigación futura proporcionando un marco más riguroso para evaluar la fiabilidad y robustez de los agentes de RL profundo.