Resumen Técnico: ORCAID

Planteamiento del Problema

El Aprendizaje por Refuerzo Explicable (XRL) enfrenta desafíos significativos cuando se aplica a agentes que operan en entornos con espacios de acción continuos y espacios de estado mixtos (continuos-discretos). Aunque el aprendizaje por refuerzo profundo (RL) ha logrado un rendimiento sobrehumano en dominios complejos, las políticas resultantes suelen ser "cajas negras" opacas, lo que dificulta la verificación y la confianza en aplicaciones de seguridad crítica. Los métodos de XRL existentes, como los árboles de decisión (DT) estándar o los algoritmos de extracción de reglas, suelen tener dificultades en estos entornos. Generalmente dependen de divisiones alineadas con los ejes (hiperplanos paralelos a los ejes de las características), lo que requiere un gran número de reglas para aproximar fronteras complejas y no ortogonales, resultando en modelos inflados y menos interpretables. Además, muchos enfoques actuales están limitados a acciones discretas o no logran proporcionar sustitutos (surrogates) compactos y de alta fidelidad para tareas de control continuo.

Metodología: ORCAID

Los autores proponen ORCAID (Interpretación de Acciones Continuas basada en Reglas Oblicuas para Políticas de Deep RL), un marco de tres etapas diseñado para extraer modelos sustitutos basados en reglas e interpretables a partir de políticas de deep RL. El método opera en espacios de estado mixtos (continuos-discretos) y espacios de acción continuos.

1. Recolección y Aumento de Datos

ORCAID comienza muestreando trayectorias de la interacción entre la política de RL original y el entorno. Para asegurar una representación uniforme del espacio de estados y mitigar el sobreajuste en regiones frecuentemente visitadas, los estados recolectados se agrupan (mediante K-means). Posteriormente, se generan nuevos puntos de datos remuestreando desde los centroides de los clústeres con la adición de ruido gaussiano a las características continuas. Esta estrategia reduce los requisitos de datos mientras cubre las vecindades relevantes.

2. Aprendizaje de Árboles de Decisión Oblicuos

El núcleo de ORCAID es la construcción de un árbol de decisión oblicuo, donde las condiciones de división son hiperplanos definidos por combinaciones lineales de características ($w \cdot x \leq b$), en lugar de umbrales de una sola característica.

• Búsqueda de División: El algoritmo emplea una búsqueda de tres etapas para encontrar divisiones óptimas:
  1. Reducción de Dimensionalidad: Se aplica PCA al espacio de estados para estabilidad numérica.
  2. Inicialización Aleatoria: Una inicialización eficiente de hiperplanos aleatorios (resolviendo un sistema lineal) proporciona un "arranque en caliente" (warm start).
  3. Refinamiento Local: La evolución diferencial optimiza los parámetros del hiperplano para minimizar el Error Cuadrático Medio (MSE) ponderado de los nodos hijos resultantes.
• Modelado de Hojas: A diferencia de los DT estándar que devuelven valores constantes, cada hoja en ORCAID ajusta un modelo de regresión lineal independiente para cada dimensión de la acción. Esto permite que el sustituto produzca acciones continuas directamente.
• Poda de Características: Se aplica la eliminación hacia atrás (backward elimination) dentro de las hojas para eliminar características irrelevantes, reduciendo aún más la complejidad del modelo.

3. Simplificación y Fusión

Para producir un conjunto conciso de reglas, ORCAID fusiona regiones adyacentes (hojas) del árbol de decisión.

• Fusión de Regiones: Las regiones simples adyacentes se evalúan para su fusión basadas en límites de error. Si la fusión de dos regiones no aumenta significativamente el MSE global o local, se combinan.
• Simplificación Lógica: Las regiones fusionadas, originalmente definidas como una Forma Normal Disyuntiva (DNF) de condiciones, se simplifican utilizando el método de Quine-McCluskey (QM) para minimizar el número de condiciones lógicas.
• Bucle DAgger: Para abordar la deriva del modelo (model drift) y mejorar la fidelidad, el proceso se integra en un bucle de Agregación de Conjuntos de Datos (DAgger). El modelo sustituto actual se ejecuta en el entorno, y los estados donde sus acciones se desvían significativamente de la política experta (el RL original) se recolectan, se reagrupan y se utilizan para reentrenar el modelo.

Contribuciones Clave

1. Marco ORCAID: La introducción del primer método de XRL capaz de extraer modelos sustitutos basados en reglas para políticas de deep RL con acciones continuas sobre espacios de estado mixtos (continuos-discretos) utilizando decisiones oblicuas.
2. Algoritmo de Árbol Oblicuo Eficiente: Un novedoso algoritmo de entrenamiento que presenta una búsqueda de división de tres etapas (inicialización aleatoria, refinamiento local mediante evolución diferencial y eliminación hacia atrás) que particiona eficientemente el espacio de estados con hiperplanos y ajusta modelos lineales locales.
3. Accionabilidad y Mejora: La demostración de que las reglas extraídas pueden utilizarse para identificar debilidades en la política de RL. Al reflejar las reglas a través de ejes simétricos e imponerlas, el método puede mejorar el rendimiento de la política original, una capacidad validada mediante una adaptación continua del enfoque LEGIBLE.
4. Evaluación Exhaustiva: Evaluación empírica extensa en nueve tareas de control (incluyendo Mountain Car, Hopper y Half Cheetah) comparando ORCAID contra árboles de decisión estándar (CART), Cubist y RuleFit.

Resultados Experimentales

Los autores evaluaron ORCAID en nueve problemas de control, midiendo la fidelidad (MSE contra la política original), el rendimiento (ratio de recompensa acumulada), la complejidad (tamaño del modelo/conteo de parámetros) y la interpretabilidad.

• Rendimiento y Fidelidad: ORCAID logró consistentemente una alta fidelidad (bajo MSE) y un fuerte potencial de resolución de tareas, superando a menudo o igualando a los modelos base como Cubist y RuleFit. En muchos entornos, ORCAID mantuvo un ratio de recompensa cercano al 100% de la política de RL original.
• Complejidad: ORCAID produjo modelos significativamente más pequeños que los árboles de decisión estándar y RuleFit. Aunque Cubist mostró un rendimiento competitivo, los modelos de ORCAID fueron consistentemente más compactos (menos parámetros y reglas) debido a la eficiencia de las divisiones oblicuas para capturar fronteras complejas.
• Mejora de la Política: En los experimentos de mejora de política, las pruebas basadas en ORCAID identificaron debilidades en las políticas de RL de manera más consistente que otros métodos, encontrando mejoras incluso con árboles muy poco profundos (profundidad 1), lo que sugiere que incluso las aproximaciones toscas pueden revelar comportamientos subóptimos.
• Interpretabilidad: Más allá de las métricas cuantitativas, los autores emplearon un marco de LLM-como-Juez para evaluar la explicabilidad. Seis LLMs calificaron los modelos de ORCAID por encima de los árboles de decisión estándar y Cubist en criterios como coherencia física, interpretabilidad global y simplicidad. Los jueces señalaron que las regiones de ORCAID solían corresponder a modos operativos físicos significativos, mientras que otros modelos producían particiones arbitrarias y fragmentadas.

Significado y Reivindicaciones

El artículo afirma que ORCAID aborda una brecha crítica en XRL al proporcionar un método que es tanto interpretable como efectivo para tareas de control continuo. Los autores enfatizan que su enfoque:

• Cierra la brecha entre el alto rendimiento del deep RL y la necesidad de modelos simbólicos verificables por humanos.
• Demuestra accionabilidad, mostrando que las reglas extraídas no son meramente descriptivas, sino que pueden usarse para mejorar activamente la política de RL subyacente.
• Ofrece una interpretabilidad superior comparada con los árboles de decisión estándar y los conjuntos de reglas, particularmente en términos de tamaño de modelo y el significado semántico de las particiones (por ejemplo, alineación con regímenes físicos).

Los autores concluyen que, si bien su evaluación actual abarca tareas de hasta 17 dimensiones de estado, el método proporciona una base robusta para el despliegue de agentes de RL transparentes en dominios de seguridad crítica. Reconocen limitaciones respecto a las políticas estocásticas y la dependencia del acceso a consultas para DAgger, sugiriendo trabajos futuros para extender el método a entornos estocásticos e integrar modelos de entorno para la verificación formal.