Resumen Técnico: Auditoría de las Reclamaciones de Riesgo del Aprendizaje por Refuerzo Distribucional

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Distribucional reemplaza las funciones de valor escalares por distribuciones completas de retornos ($Z^\pi(s, a)$). Si bien estas distribuciones han impulsado el rendimiento de vanguardia y se utilizan cada vez más para la interpretabilidad, el control sensible al riesgo (por ejemplo, mediante el Valor en Riesgo Condicional, CVaR) y el monitoreo de seguridad, a menudo se leen "a cara descubierta". El supuesto central es que si una distribución aprendida para una acción difiere en forma de otra (por ejemplo, prometer un retorno pequeño y seguro frente a una apuesta de media igual), el entorno contiene realmente esa estructura de riesgo específica.

Sin embargo, el trabajo teórico sugiere que estas distribuciones no tienen por qué coincidir con la verdadera distribución de retornos (por ejemplo, el aprendizaje de Cuantiles de Diferencia Temporal converge a puntos fijos no únicos). Además, los métodos distribucionales suelen mejorar el rendimiento incluso cuando solo se utiliza la media, lo que sugiere que las distribuciones aprendidas pueden ser representaciones útiles sin ser fácticamente precisas. La brecha crítica identificada es la falta de medición directa: ¿Son verdaderas las reclamaciones de riesgo específicas realizadas por un agente distribucional entrenado? Las métricas de divergencia agregada no logran distinguir entre errores que importan para la toma de decisiones y aquellos que no. Este artículo aborda la pregunta de si el "riesgo" reflejado en la cabeza de un agente entrenado es una característica genuina del entorno o un artefacto del entrenamiento.

Metodología

Los autores proponen un marco de auditoría relevante para la decisión que combina una métrica de cribado, la generación de la verdad de campo (ground truth) y un armazón estadístico para evitar conclusiones falsas.

1. Métrica de Auditoría Relevante para la Decisión

La auditoría se centra en la brecha de Wasserstein excedente ($\Delta_x(s)$) entre las dos mejores acciones en un estado dado $s$, clasificadas por sus retornos medios.
$$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$$
Donde $W_1$ es la distancia 1-Wasserstein entre las representaciones de cuantiles de las dos acciones, y $\mu$ representa sus retornos medios.

• Significancia: $\Delta_x(s) > 0$ ocurre si y solo si ninguna acción domina estocásticamente a la otra de primer orden. Esta es la condición precisa bajo la cual una política sensible al riesgo se desviaría de una política codiciosa de la media. Por lo tanto, $\Delta_x$ aísla las reclamaciones que conllevan contenido de decisión.

2. Verdad de Campo mediante Monte Carlo de Instantánea-Reinicio (Snapshot-Restart)

Para verificar las reclamaciones, los autores generan la verdad de campo mediante:

• La recolección de estados únicos del agente entrenado.
• El almacenamiento de copias profundas (instantáneas) del entorno en estos estados.
• La realización de 2,000 rollouts por acción desde cada instantánea, forzando la acción específica y siguiendo la política codiciosa hasta la terminación.
• Crucialmente, cada copia reiniciada es resembrada de forma independiente para asegurar que los rollouts capturen la estocasticidad real del entorno (incertidumbre aleatoria) en lugar de reproducir futuros idénticos.

3. Armazón Estadístico

Para evitar que la auditoría fabrique conclusiones falsas, los autores emplean:

• Nulos de Permutación: Establecer una línea base para el ruido de estimación dividiendo los rollouts de una sola acción.
• Refutación por Bootstrap: Una reclamación es refutada si el $\Delta_x(s)$ aprendido excede el percentil 97.5 de la distribución de exceso de Monte Carlo (MC).
• Control de FDR: Uso del procedimiento de Benjamini-Hochberg para controlar la Tasa de Falsos Descubrimientos (False Discovery Rate) a través de los estados.
• Índice de Aliasing: Una métrica para señalar estados donde la observabilidad parcial podría ocultar el estado real del entorno.

4. Abordaje de Peligros Silenciosos

El artículo documenta dos modos de fallo específicos en las evaluaciones basadas en reinicios que produjeron auditorías convincentes pero erróneas:

• P1 (Clonación de RNG): El uso de deepcopy en los entornos a menudo clona el generador de números aleatorios interno, causando que los rollouts "aleatorios" reproduzcan futuros idénticos. Esto crea una falsa sensación de determinismo.
• P2 (Ruido de Suelo de Wasserstein Empírico): Para muestras finitas de la misma distribución, la distancia de Wasserstein empírica converge a un valor no nulo ($O(n^{-1/2})$). El umbralización ingenua puede "confirmar" el ruido puro como un intercambio de riesgo. La auditoría se calibra contra nulos por estado para dar cuenta de esto.

Resultados Clave

1. Las Reclamaciones más Fuertes son Mayormente Falsas

A través de QR-DQN, C51 e IQN en MinAtar (Breakout, Seaquest, Asterix) y un QR-DQN de SB3-zoo preentrenado en Atari completo:

• Tasas de Refutación: En el top 2% de los propios rankings de riesgo del agente (los estados que un profesional marcaría primero), entre el 40 y el 95% de las reclamaciones de intercambio de riesgo son refutadas con un 95% de confianza.
• Cero Confirmaciones: A través de 735 estados auditados en MinAtar, prácticamente ninguna reclamación es confirmable tras la corrección de FDR.
• Indistinguibilidad Ciega a la Verdad: La ubicación de las reclamaciones más fuertes es estadísticamente indistinguible de una cabeza "ciega a la verdad" (donde se preservan las magnitudes de las reclamaciones pero se asignan aleatoriamente a los estados). La correlación entre el exceso aprendido y el exceso real es cercana a cero ($r \approx 0.02$).

2. Naturaleza Estructural del Artefacto

• Formación Temprana: El artefacto de sobre-reclamación está plenamente formado para los 500k pasos de entrenamiento y persiste incluso cuando la puntuación del agente se duplica.
• Idiosincrasia de la Semilla: Las reclamaciones falsas específicas son únicas para cada semilla aleatoria y no están correlacionadas con el rendimiento final.
• Estados Condenados: En estados donde la pelota se ha perdido irremediablemente (cada futuro produce el mismo retorno), la cabeza del agente aún reporta distribuciones amplias y cruzadas con un $\Delta_x$ alto.

3. Impacto a Nivel de Decisión

Actuar según el consejo de CVaR del agente en sus estados más señalados produce resultados mixtos e impredecibles:

• Breakout: El consejo es genuinamente informativo (81% de elección más segura frente a 44% para la media codiciosa).
• Seaquest: El consejo es anti-predictivo, eligiendo la acción verdaderamente más segura solo el 24–34% de las veces (peor que el azar), triplicando el arrepentimiento en comparación con ignorar el riesgo.
• Asterix: El consejo es efectivamente un lanzamiento de moneda.
• No existe señal observable para decirle a un profesional en qué régimen se encuentra.

4. Fracaso de las Reparaciones

Los remedios estándar no corrigen el problema:

• Entrenamiento Sensible al Riesgo: Entrenar a un agente para ser codicioso de CVaR resulta en la misma firma de sobre-reclamación.
• Ensemble: El promedio de las funciones de cuantiles atenúa el artefacto pero no calibra las principales reclamaciones.
• Recalibración: La recalibración pasa la auditoría solo al nulificar las reclamaciones (colapsándolas a ruido), lo que demuestra que la cabeza es no informativa, no simplemente mal calibrada.

5. Controles Positivos

Para asegurar que la auditoría misma no esté rota, los autores realizaron pruebas en RISKYGRID, un entorno con intercambios de riesgo conocidos.

• La auditoría confirmó correctamente entre el 96 y el 100% de las reclamaciones reales con una alta correlación ($r \approx 0.92$).
• Esto confirma que la auditoría mide la incapacidad de los agentes para capturar el riesgo, no un fallo en la metodología de la auditoría o en los tamaños de efecto pequeños en MinAtar.

Significancia y Reclamaciones

El artículo concluye que para los agentes probados (QR-DQN, C51, IQN), el "riesgo" aprendido refleja un artefacto estructural de entrenamiento en lugar de la estocasticidad del entorno.

• La "Maldición del Ganador" del Riesgo: Los estados donde el agente tiene más confianza sobre un intercambio de riesgo (mayor $\Delta_x$) son precisamente donde las reclamaciones son menos fiables.
• Cabezas No Informativas: Las cabezas distribucionales no solo están mal calibradas; son no informativas respecto a la estructura del riesgo. Confluyen la incertidumbre aleatoria y la epistémica de una manera que produce señales de riesgo espurias.
• Implicaciones para la Práctica:
  1. Interpretabilidad: Las distribuciones de retorno visualizadas no deben confiarse sin validación de la verdad de campo.
  2. Seguridad y Control: Las políticas sensibles al riesgo derivadas de cabezas de cuantiles puras pueden actuar sobre riesgos espurios en estados críticos, lo que potencialmente conduce a resultados peores que las bases de la media.
  3. Trabajo Futuro: Cualquier método que afirme estimar la incertidumbre o el riesgo debe ser evaluado contra una auditoría a nivel de decisión. Los autores lanzan un kit de herramientas y un estándar: una cabeza que pase la auditoría debe confirmar sus principales reclamaciones.

Los autores enfatizan la modestia: sus afirmaciones cubren algoritmos y entornos específicos (MinAtar, semillas específicas de Atari). Reconocen que otras variantes calibradas o agentes entrenados bajo otras condiciones (por ejemplo, acciones pegajosas a escala completa) aún deben ser probados, pero la evidencia actual sugiere que el "riesgo" en el RL distribucional estándar es en gran medida un artefacto del proceso de aprendizaje.