🤖 machine learning

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

Este artículo propone un marco de blindaje probabilístico adaptativo para el aprendizaje por refuerzo seguro que integra el aprendizaje de modelos en línea para computar y actualizar dinámicamente las restricciones de seguridad a medida que se estiman las probabilidades de transición a partir de un MDP inicialmente desconocido.

Autores originales: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand Larsen (Aalborg University, Aalborg, Denmark), Christian Schilling (Aalborg University, Aalborg, Denmark)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, las máquinas aprenden a tomar decisiones probando cosas, de forma muy parecida a un niño que aprende a caminar al caerse y volver a levantarse. Este proceso, conocido como aprendizaje por refuerzo, permite que los agentes de software descubran la mejor manera de resolver problemas interactuando con un entorno y recibiendo recompensas por las buenas elecciones. Sin embargo, en el mundo real, el coste de un paso erróneo puede ser catastrófico. Un coche autónomo no puede permitirse probar una maniobra peligrosa para ver si funciona; un robot médico no puede arriesgarse a dañar a un paciente mientras descubre el camino más seguro. Esto crea una tensión fundamental: para aprender eficazmente, un agente debe explorar, pero para mantenerse seguro, debe evitar lo desconocido. Durante años, los investigadores han intentado resolver esto construyendo un "escudo": un guardián de seguridad que bloquea cualquier acción que el agente pueda tomar y que pueda conducir al desastre. El problema es que los escudos tradicionales requieren un mapa perfecto y preexistente del mundo, incluyendo las probabilidades exactas de cada resultado posible. En la realidad desordenada del mundo físico, tal mapa perfecto rara vez existe antes de que el agente comience a aprender.

Un equipo de investigadores ha desarrollado una nueva forma de gestionar este dilema, creando un sistema donde el escudo de seguridad aprende y se adapta junto con el agente. En lugar de esperar a un mapa perfecto, su enfoque asume que el agente conoce la disposición general del entorno —los lugares posibles a los que puede ir y las acciones que puede realizar— pero no conoce las probabilidades exactas de hacia dónde lo llevarán esas acciones. A medida que el agente explora, recopila datos sobre lo que realmente sucede cuando se mueve. Un programa informático utiliza entonces estos datos frescos para construir una estimación de las reglas del mundo, completando las probabilidades faltantes. A partir de esta estimación, el sistema construye un escudo de seguridad. Inicialmente, debido a que los datos son escasos, el escudo es muy cauteloso, bloqueando muchas acciones para estar seguro. Pero a medida que el agente acumula más experiencia, la estimación se vuelve más precisa, la incertidumbre disminuye y el escudo relaja su control, permitiendo al agente asumir riesgos más eficientes. Esto crea una asociación donde el agente y su guardián de seguridad mejoran juntos, asegurando que el agente se mantenga seguro mientras aprende a ser efectivo.

Los investigadores probaron esta idea en varios mundos simulados, que iban desde un avión evitando una colisión con otro avión hasta una hormiga navegando alrededor de un depredador. En estos entornos, el agente tenía que alcanzar un objetivo evitando a la vez peligros específicos, todo ello mientras las probabilidades exactas de resbalar o fallar le estaban ocultas. Compararon su método adaptativo con otros dos enfoques: uno donde el agente no tenía ningún guardián de seguridad en absoluto, y otro donde tenía un escudo perfecto basado en un mapa completo y conocido del mundo. Los resultados mostraron que el método adaptativo fue notablemente exitoso. Aprendió políticas que eran casi tan seguras como el escudo perfecto, evitando al mismo tiempo los choques frecuentes y peligrosos que ocurrían cuando el agente no tenía ningún guardián. En algunos casos, el sistema adaptativo incluso encontró rutas mejores que el escudo perfecto, porque su exploración cautelosa inicial le llevó a descubrir caminos rentables que el escudo estático y precalculado había pasado por alto.

Un hallazgo clave fue que el sistema funciona mejor cuando el escudo de seguridad se actualiza regularmente a medida que llegan nuevos datos. Si el escudo se actualiza con demasiada poca frecuencia, el agente permanece atrapado en un estado de exceso de cautela, incapaz de aprovechar el conocimiento que ha adquirido. Si se actualiza con demasiada frecuencia, el sistema pasa demasiado tiempo recalculando la seguridad en lugar de aprender. Los investigadores encontraron un equilibrio donde la actualización del escudo cada mil episodios de aprendizaje permitía al agente refinar su comprensión del mundo sin estancar su progreso. También descubrieron que la forma en que el sistema estima las probabilidades es importante. Algunos métodos que asumen el peor escenario para los datos desconocidos tienden a ser excesivamente restrictivos, mientras que los métodos que son ligeramente más optimistas permiten al agente explorar más libremente. El enfoque más efectivo utilizó una estrategia equilibrada que se mantenía segura pero que no bloqueaba acciones potencialmente útiles simplemente porque los datos aún no eran perfectos.

El estudio también destacó un detalle sutil pero importante sobre cómo explora el agente. Cuando el agente decide probar una acción aleatoria para aprender algo nuevo, el sistema le permite elegir entre todas las acciones posibles, incluso aquellas que el escudo actual considera inseguras. Esto puede parecer contraintuitivo, pero evita que el agente se quede atrapado en un rincón pequeño y seguro del mundo. Al aventurarse ocasionalmente más allá de los límites actuales del escudo, el agente recopila los datos necesarios para demostrar que esos límites pueden expandirse de forma segura. Sin esta libertad para explorar los bordes de lo desconocido, el escudo nunca aprendería a volverse menos conservador. Los investigadores observaron que en entornos complejos, esta disposición a tomar riesgos calculados era esencial para encontrar el mejor camino posible.

En última instancia, este trabajo demuestra que la seguridad y el aprendizaje no tienen por qué ser enemigos. Al tratar el escudo de seguridad no como un muro fijo, sino como una guía viva que evoluciona con la experiencia del agente, es posible navegar por entornos peligrosos sin un mapa perfecto previo. El sistema demostó que un agente puede aprender a ser tanto seguro como hábil, siempre que el mecanismo de seguridad sea lo suficientemente flexible como para crecer a medida que la comprensión del mundo del agente se profundiza. Este enfoque ofrece un camino práctico para el despliegue de sistemas inteligentes en escenarios del mundo real donde las reglas no se conocen por completo, asegurando que el viaje hacia la maestría no se produzca a costa de la seguridad.

Resumen Técnico: Blindaje Probabilístico Adaptativo mediante el Aprendizaje de MDPs para el Aprendizaje por Refuerzo Seguro

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) seguro a menudo depende del blindaje probabilístico, una técnica donde un "escudo" estático restringe las acciones de un agente para asegurar que se cumplan las restricciones de seguridad. Tradicionalmente, este escudo se computa a partir de un modelo de Proceso de Decisión de Markov (MDP) totalmente especificado. Sin embargo, en aplicaciones típicas de RL, las probabilidades de transición del entorno son desconocidas, lo que hace que el blindaje estándar sea inaplicable.

Los enfoques existentes para abordar esta brecha suelen implicar un proceso de dos pasos: primero, recolectar datos (a menudo de forma insegura) para aprender un modelo MDP completo, y luego computar un escudo. Esto falla en escenarios del mundo real con importancia crítica para la seguridad, donde la seguridad debe mantenerse durante la fase de recolección de datos.

Este artículo aborda el problema del RL seguro en entornos donde la topología del MDP (grafo estado-acción) es conocida, pero las probabilidades de transición son desconocidas. El objetivo es aprender una política que maximice la recompensa mientras se adhieren a las restricciones de seguridad, sin conocimiento previo de la dinámica de transición. Crucialmente, los autores reconocen que, si bien las violaciones de seguridad pueden no ser evitables en su totalidad, el enfoque otorga gran importancia a minimizar estas violaciones durante las fases de exploración y aprendizaje del modelo, en lugar de garantizar cero violaciones.

Metodología

Los autores proponen un paradigma de Blindaje Probabilístico Adaptativo, que integra la estimación del modelo, la síntesis del escudo y el aprendizaje de la política en un único bucle en línea.

1. Arquitectura Central

El enfoque opera sobre un MDP desconocido ( $M$ ) con una estructura de transición subyacente conocida (un MDP desconocido o uMDP, $M_U$ ). El sistema consta de tres componentes que interactúan:

Agente de RL: Utiliza Q-learning para aprender una política $\pi$ .
Estimador de Modelo: Actualiza continuamente una estimación de las probabilidades de transición basadas en las transiciones observadas $(s, a, s')$ .
Escudo Adaptativo: Un monitor de tiempo de ejecución $\nabla$ que restringe las acciones del agente basándose en la estimación actual del modelo.

2. Estimación de Modelos y MDPs de Intervalo (iMDPs)

Dado que las probabilidades exactas son desconocidas, el sistema construye MDPs de Intervalo (iMDPs) a partir de los datos recolectados. Un iMDP define límites superiores e inferiores en las probabilidades de transición en lugar de estimaciones puntuales. El artículo evalúa tres estimadores específicos:

MAP (Máxima A Posteriori): Produce estimaciones puntuales con suavizado aditivo.
PAC (Probablemente Aproximadamente Correcto): Genera intervalos de probabilidad utilizando la desigualdad de Hoeffding para garantizar que el MDP real se encuentre dentro de los intervalos estimados con alta probabilidad.
LUI (Actualización Lineal de Intervalos): Actualiza iterativamente los intervalos de probabilidad basados en frecuencias observadas y fuerzas previas, sin garantías estrictas de PAC, pero con propiedades de convergencia.

3. Síntesis del Escudo

Utilizando el iMDP estimado, se sintetiza un escudo mediante el comprobador de modelos probabilísticos PRISM. El escudo asegura que, para un horizonte dado $h$ , la probabilidad de alcanzar un estado inseguro permanezca por debajo de un umbral $\theta$ .

Escudo Robusto (Pesimista): Asume las peores probabilidades de transición dentro de los intervalos (minimizando la probabilidad de seguridad). Es conservador pero seguro contra errores de estimación.
Escudo Optimista: Asume las mejores probabilidades de transición (maximizando la probabilidad de seguridad), permitiendo más exploración.
Mecanismo de Respaldo (Fallback): Si ninguna acción satisface el estricto umbral de seguridad $\theta$ , el escudo permite acciones que están $\kappa$ -cercanas a la acción más segura disponible, evitando que el agente quede completamente bloqueado del entorno.

4. El Bucle Adaptativo (Algoritmo 1)

El algoritmo procede por episodios. Cada $u$ episodios (el retraso de actualización), el sistema:

Agrega la base de datos de transiciones $D$ .
Re-estima el iMDP utilizando el estimador elegido.
Sintetiza un nuevo escudo basado en el iMDP actualizado.
Continúa el entrenamiento del agente de RL bajo el nuevo escudo.

Estrategia de Exploración: Para evitar que el escudo sofoque la exploración (una "trampa conservadora" donde el agente no puede recolectar datos para refinar el modelo), los autores extienden la estrategia $\epsilon$ -greedy. Cuando el agente elige "explorar" (con probabilidad $\epsilon$ ), selecciona una acción aleatoria del espacio de acciones completo $A$ , ignorando las restricciones del escudo. Esto asegura que las acciones potencialmente seguras pero actualmente no verificadas sean probadas, permitiendo que el modelo refine sus estimaciones.

Principales Contribuciones

Paradigma de Blindaje Adaptativo: El artículo introduce un método para computar y actualizar escudos probabilísticos en línea a medida que se aprende el modelo MDP, abordando la limitación de que el blindaje tradicional requiere un modelo totalmente conocido.
Integración de Estimación y Seguridad: Propone un marco unificado donde la estimación del modelo, la actualización del escudo y el aprendizaje de la política ocurren simultáneamente, con el objetivo de minimizar las violaciones de seguridad incluso durante las fases iniciales de alta incertidancia del aprendizaje.
Evaluación Empírica de Estimadores: Los autores proporcionan una comparación exhaustiva de los estimadores MAP, PAC y LUI, analizando cómo sus propiedades específicas (conservadurismo, velocidad de convergencia, requisitos de datos) impactan en la relación entre seguridad y recompensa.
Análisis de Decisiones de Diseño: El artículo investiga sistemáticamente los hiperparámetros críticos, incluyendo la frecuencia de las actualizaciones del escudo, el horizonte de anticipación (lookahead) $h$ , y el impacto de la exploración no blindada en la eficiencia del aprendizaje.

Resultados Experimentales

El enfoque fue evaluado en cinco entornos: Aircraft, Antlion, Sinkholes, Crossroads y Gravity. Los hallazgos clave incluyen:

Seguridad vs. Rendimiento: El enfoque de blindaje adaptativo logra niveles de seguridad comparables a un modelo de referencia "oráculo" (que utiliza el MDP real) y supera significativamente al RL no blindado en términos de violaciones de seguridad, particularmente en entornos de alto riesgo como Crossroads y Gravity.
Impacto del Estimador:
- Los estimadores robustos (PAC/LUI) generalmente proporcionan políticas más seguras pero pueden ser excesivamente conservadores, a veces impidiendo el descubrimiento de rutas óptimas si las estimaciones iniciales son demasiado amplias.
- Los estimadores optimistas permiten más exploración y a menudo logran mayores recompensas, pero conllevan un mayor riesgo de violaciones de seguridad si las estimaciones son inexactas.
- Los estimadores MAP a menudo fallaron en explorar lo suficiente, quedando atrapados en óptimos locales debido a la falta de límites de incertidumbre.
Estrategia de Exploración: Permitir la exploración fuera del conjunto de acciones admisibles del escudo (UnifA) fue crucial. Restringir la exploración solo a las acciones blindadas por el escudo (Unif $\nabla(s)$ ) impidió que el agente descubriera mejores rutas, particularmente en los entornos Antlion y Gravity.
Frecuencia de Actualización: La frecuencia de las actualizaciones del escudo ( $u$ ) impacta significáneamente el rendimiento. Las actualizaciones demasiado frecuentes pueden desestabilizar el aprendizaje, mientras que las demasiado infrecuentes retrasan el refinamiento de las garantías de seguridad. No hubo un único retraso de actualización óptimo en todos los entornos.
Horizonte de Anticipación ( $h$ ): Los horizontes más largos generalmente mejoraron la seguridad en entornos complejos (como Gravity), pero resultaron redundantes en tareas de horizonte corto (como Aircraft).

Significancia y Reivindicaciones

El artículo sostiene que el blindaje probabilístico adaptativo ofrece una solución práctica para el RL seguro en escenarios donde el modelo del entorno es parcialmente conocido (solo la topología) y las probabilidades de transición deben aprenderse en línea.

Los autores enfatizan que su enfoque equilibra el dilema de exploración-explotación con las restricciones de seguridad. Al permitir que el escudo se adapte a medida que el modelo mejora, el sistema evita la "trampa conservadora" donde un escudo estático y excesivamente cauteloso impide que el agente aprenda alguna vez la verdadera dinámica del entorno. El trabajo demuestra que es posible mantener garantías de seguridad y reducir significativamente las violaciones durante el proceso de aprendizaje mismo, en lugar de solo después de que el modelo se ha aprendido por completo, haciendo que la técnica sea aplicable a escenarios del mundo real donde las violaciones de seguridad son costosas.

El artículo mantiene sus reivindicaciones con modestia, reconociendo que el enfoque depende de la suposición de un grafo estado-acción conocido, que las violaciones de seguridad pueden no ser totalmente evitables y que la elección del estimador y los hiperparámetros requiere un ajuste cuidadoso dependiendo de las características específicas de cada entorno.