Resumen Técnico: Actor-Crítico de Núcleo Guiado por SHAP para el Aprendizaje por Refuerzo Explicable

1. Planteamiento del Problema

Los métodos de Actor-Crítico (AC) son fundamentales para el Aprendizaje por Refuerzo (RL), pero sufren de una interpretabilidad limitada. Las arquitecturas AC estándar tratan las características del estado de manera equitativa, fallando en revelar los impactos heterogéneos de las dimensiones individuales del estado sobre la recompensa. Aunque existen métodos de RL Explicable (XRL), son predominantemente post-hoc (analizan una política ya entrenada sin alterar el entrenamiento) o intrínsecos pero de grano grueso (por ejemplo, árboles de decisión o políticas simbólicas). Crucialmente, pocos métodos proporcionan atribuciones a nivel de dimensión que puedan integrarse directamente en el bucle de aprendizaje para guiar las actualizaciones de la política.

Además, la integración de mecanismos de atribución en AC presenta dos desafíos fundamentales:

1. Fiabilidad de la Atribución: El uso de atribuciones para modificar la forma funcional del Crítico puede violar la aproximación de funciones compatible y romper las propiedades de contracción del operador de Bellman, especialmente cuando el diccionario de núcleos subyacente evoluciona.
2. Estabilidad de la Optimización: Los estados de RL suelen estar perturbados por ruido, dinámicas estocásticas y cambios en la distribución. Los métodos sensibles a la atribución son vulnerables a correlaciones espurias a menos que se regularicen cuidadosamente, ya que la inestabilidad en los valores de atribución puede amplificar los errores de aproximación y conducir a una dinámica de aprendizaje frágil.

La pregunta central de investigación es cómo diseñar un algoritmo AC eficiente, demostrable y consciente de la atribución que compute atribuciones de estado en línea mientras mantiene la estabilidad bajo perturbaciones de estado.

2. Metodología: RSA2C

Los autores proponen el Actor-Crítico Avanzado basado en RKHS-SHAP (RSA2C), un algoritmo AC de dos escalas de tiempo que es consciente de la atribución. RSA2C integra atribuciones de estado directamente en el proceso de aprendizaje mediante un núcleo de valor de operador (OVK) ponderado por la distancia de Mahalanobis.

2.1. Arquitectura

RSA2C consta de tres componentes instanciados en Espacios de Hilbert de Núcleo Reproductor (RKHS), controlados por diccionarios dispersos mantenidos mediante el método de Dependencia Lineal Aproximada (ALD):

• Actor Avanzado: Instanciado en un RKHS de valores vectoriales utilizando un Núcleo de Valor de Operador (OVK). El núcleo es un núcleo gaussiano ponderado por Mahalanobis, $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$, donde la matriz de peso $W = \text{diag}(\tilde{\phi})$ se ajusta dinámicamente según las atribuciones de las características del estado ($\phi_i$). Esto permite que la política adapte el reponderado de las dimensiones del estado basándose en su importancia.
• Crítico de Valor: Reside en un RKHS escalar con su propio diccionario. Estima la función de valor $V(s)$ mediante aprendizaje de Diferencia Temporal (TD). Crucialmente, el Crítico de Valor no es reponderado por las puntuaciones SHAP para evitar dependencias circulares y asegurar una base estable para el cálculo de la atribución.
• Crítico de Ventaja: Reside en un RKHS escalar que comparte el diccionario del Actor. Utiliza "características compatibles" (alineadas con $\nabla \log \pi$) para estimar la función de ventaja $A(s, a)$, asegurando gradientes de política de baja varianza.

2.2. Integración RKHS-SHAP

En lugar de utilizar el muestreo de Monte Carlo (que es computacionalmente costoso), RSA2C calcula los valores SHAP analíticamente utilizando Embebimientos de Media de Núcleo (KME) y Embebimientos de Media Condicional (CME) dentro del marco de trabajo de RKHS:

• En la variedad (Observacional): Utiliza KME para promediar sobre la distribución empírica del estado, asegurando que las atribuciones reflejen configuraciones consistentes con el entorno.
• Fuera de la variedad (Intervencional): Utiliza CME para condicionar sobre subconjuntos de dimensiones mientras respeta la geometría de los datos, sondeando coaliciones de características sin generar estados inválidos.

Estas atribuciones SHAP calculadas se convierten en pesos con compuerta de Mahalanobis. Estos pesos modulan las actualizaciones de gradiente del Actor y los objetivos del Crítico de Ventaja, inyectando eficazmente señales de importancia a nivel de dimensión directamente en la dinámica de optimización.

2.3. Mecanismo de Dos Escalas de Tiempo

RSA2C opera en dos escalas de tiempo:

• Escala de tiempo rápida: El Crítico de Valor se actualiza rápidamente para proporcionar estimaciones de valor estables y atribuciones SHAP.
• Escala de tiempo lenta: El Actor y el Crítico de Ventaja se actualizan más lentamente, utilizando las atribuciones estables del Crítico para guiar las mejoras de la política.

3. Contribuciones Clave

1. Actor-Crítico de Núcleo de Dos Escalas de Tiempo: La introducción de RSA2C, que embebe un Actor y dos Críticos en RKHS. Inyecta de forma única la importancia de las características del estado mediante RKHS-SHAP en un OVK ponderado por Mahalanobis, modelando políticas de valores vectoriales mientras codifica las correlaciones entre las dimensiones del estado. El uso de diccionarios dispersos asegura una complejidad computacional lineal respecto al tamaño del diccionario, lo que lo hace adecuado para RL en línea.
2. De la Atribución de Estado a la Señal de Aprendizaje: El método calcula SHAP desde el Crítico de Valor a través de dos rutas (KME para expectativas en la variedad y CME para expectativas fuera de la variedad). Estas señales son moduladas e inyectadas en el Actor y el Crítico de Ventaja, logrando tanto eficiencia como interpretabilidad intrínseca sin depender únicamente de explicaciones post-hoc.
3. Convergencia Global No Asintótica: Los autores derivan un límite de convergencia global para RSA2C bajo perturbaciones de estado. La brecha de aprendizaje se descompone en un error de perturbación (que cuantifica la estabilidad frente al ruido) y un error de convergencia (que cuantifica la eficiencia). El error de perturbación se divide además en términos de atribución inducida y de aprendizaje de la política, demostrando la robustez del algoritmo.
4. Validación Empírica: Simulaciones extensas en tres entornos de control continuo (Pendulum-v1, BipedalWalker-v3, Ant-v5) demuestran que RSA2C alcanza retornos competitivos con una carga computacional significativamente menor (FLOPs) en comparación con los modelos de base de Deep RL (SAC, PPO), manteniendo además una estabilidad superior bajo perturbaciones de estado.

4. Resultados

• Eficiencia: En tareas de control continuo, las variantes de RSA2C (KME y CME) convergen a retornos más altos que las ablaciones (AC Avanzado sin SHAP, SHAP Uniforme) y el RKHS-AC tradicional. Aunque los métodos de Deep RL como SAC pueden alcanzar retornos asintóticos más altos en tareas de alta dimensionalidad (ej. Ant-v5), RSA2C logra un rendimiento comparable o mejor en tareas de menor dimensionalidad con significativamente menos FLOPs y tiempo de ejecución, particularmente en CPU.
• Estabilidad: Bajo perturbaciones de estado (ruido de media cero con varianza variable), las variantes de RSA2C exhiben el rendimiento más estable entre los métodos basados en RKHS. Sus retornos medios se degradan solo levemente a medida que el ruido aumenta, mientras que los métodos sin atribuciones aprendidas (Advanced AC, RKHS-AC) sufren caídas significativas de rendimiento. RSA2C también supera a los modelos de base de Deep RL en estabilidad; por ejemplo, el rendimiento de PPO se degrada severamente bajo alto ruido, mientras que RSA2C permanece robusto.
• Interpretabilidad: La visualización mediante diagramas de tipo beeswarm y mapas de calor confirma que RSA2C captura contribuciones de características significativas alineadas con la dinámica física (por ejemplo, distinguiendo entre ángulo, velocidad angular y torque en la tarea de Pendulum). RSA2C-CME, que modela dependencias condicionales, produce atribuciones más equilibradas y temporalmente adaptativas en comparación con RSA2C-KME.

5. Significado y Reivindicaciones

El artículo afirma que RSA2C proporciona un mecanismo basado en principios para transformar la importancia de las características del estado en una distancia de Mahalanobis en un OVK basado en la política, mejorando así el aprendizaje con eficiencia de muestra e interpretabilidad intrínseca.

• Garantía Teórica: El trabajo establece una garantía de convergencia global no asintótica bajo perturbaciones de estado, una contribución significativa dado que las garantías no asintóticas para AC mejorado con RKHS de dos escalas de tiempo eran previamente un vacío abierto.
• Robustez: El método demuestra que las atribuciones de características aprendidas son críticas para estabilizar las actualizaciones de la red contra disturbios estocásticos, superando a las bases de peso fijo o de no-atribución.
• Limitaciones: Los autores reconocen modestamente que la escalabilidad de las representaciones basadas en RKHS es limitada en tareas de control continuo de alta dimensionalidad (ej. Ant-v5 con estados de 105D), donde la capacidad de representación de un RKHS lineal con núcleos RBF puede convertirse en un cuello de botella en comparación con las redes neuronales profundas. Además, la huella de memoria crece con la complejidad de la tarea y los horizontes de entrenamiento.

En resumen, RSA2C cierra la brecha entre el alto rendimiento de RL y la explicabilidad al integrar atribuciones SHAP a nivel de dimensión directamente en el bucle de aprendizaje de núcleo, ofreciendo un enfoque estable, eficiente y teóricamente fundamentado para el control continuo.