Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

El artículo presenta el algoritmo SafeQIL, un enfoque de aprendizaje por refuerzo inverso bajo restricciones que utiliza una perspectiva de Q-learning para derivar una política segura a partir de demostraciones expertas en entornos con restricciones desconocidas, maximizando la probabilidad de trayectorias prometedoras que equilibran recompensas altas y seguridad.

Lo esencial

¡Claro que sí! Imagina que quieres enseñle a un robot a conducir un coche por una ciudad muy peligrosa, llena de baches, peatones y zonas prohibidas. Pero hay un problema: nadie le ha dicho al robot cuáles son las reglas exactas de la ciudad. No tiene un manual que diga "no pases por aquí" o "aquí hay un precipicio".

Lo único que tiene es un video de un conductor experto (un humano) manejando el coche perfectamente, sin chocar ni caer en ningún agujero.

El problema es que el robot, al ver el video, podría pensar dos cosas extremas:

1. El robot "miedo": "¡Solo puedo conducir exactamente por donde pasó el humano! Si me desvío un milímetro, ¡me muero!" (Esto es demasiado conservador y no aprende nada nuevo).
2. El robot "temerario": "¡Veo que el humano ganó mucho dinero (recompensa) en una zona peligrosa! Voy a intentar ir allí también, aunque no sé si es seguro" (Esto es arriesgado y puede causar un accidente).

Este artículo presenta una solución inteligente llamada SafeQIL (Aprendizaje Seguro de Q-Inverso). Aquí te explico cómo funciona con analogías sencillas:

1. El Mapa de la "Promesa" (La idea de Q-Learning)

En lugar de intentar adivinar todas las reglas ocultas de la ciudad (lo cual es muy difícil), el robot crea un mapa mental de "promesas".

Imagina que cada intersección y cada giro posible tiene un valor numérico. Este valor no solo dice "¿cuánto dinero ganaré si giro aquí?", sino que también dice "¿qué tan seguro es girar aquí?".

• Si el humano pasó por una calle, el robot sabe que es seguro y le da un valor alto.
• Si el robot intenta ir a una calle donde el humano nunca fue, el robot se pone pesimista. Piensa: "Como no sé si es seguro, voy a asumir que es peligroso y le daré un valor bajo".

2. El "Guardián" (El Discriminador)

El robot tiene un pequeño ayudante, un Guardián, que es como un detective.

• Cuando el robot está en una calle que vio en el video del humano, el Guardián dice: "¡Todo bien! Puedes avanzar y ganar puntos".
• Cuando el robot intenta ir a una calle nueva (donde el humano no estuvo), el Guardián dice: "¡Alto! No sé si es seguro. Voy a ponerle un freno de mano mental".

3. El Equilibrio Mágico

La genialidad de este método es que permite al robot aprender de sus propios errores, pero con un cinturón de seguridad.

• Si el robot se desvía un poco: El Guardián le pone un "castigo" (un valor bajo) para que no se atreva a ir demasiado lejos de lo que sabe que es seguro.
• Si el robot encuentra una forma de volver a la zona segura: El Guardián le da una "recompensa" por haber recuperado la seguridad.

Es como si el robot tuviera una burbuja de seguridad invisible. Dentro de la burbuja (donde el humano estuvo), puede jugar y ganar puntos. Si se sale de la burbuja, el sistema le dice: "¡Cuidado! Vuelve a la zona segura antes de intentar cosas nuevas".

¿Por qué es mejor que otros métodos?

• Otros métodos (como ICRL): Intentan adivinar las reglas exactas de la ciudad. A veces se equivocan y el robot se vuelve tan asustadizo que no se mueve, o tan valiente que se estrella.
• SafeQIL (Este método): No necesita saber las reglas exactas. Solo necesita saber dónde estuvo el humano y asumir que todo lo demás es sospechoso hasta que se demuestre lo contrario.

En resumen

Imagina que estás aprendiendo a andar en bicicleta en un parque.

• El método antiguo: Te dan una lista de 100 reglas de tráfico que no entiendes. Te paralizan o te hacen chocar.
• SafeQIL: Te dicen: "Mira cómo pedalea tu padre. Si vas por donde él va, ¡todo bien! Si te alejas de su camino, imagina que hay un león ahí y vuelve rápido".

Gracias a esto, el robot aprende a ser audaz pero prudente. Puede explorar nuevas rutas para ganar más puntos, pero siempre tiene un "freno de emergencia" que le impide cometer errores catastróficos, incluso si nunca ha visto esa situación antes.

El resultado: Un robot que aprende rápido, gana puntos (hace su trabajo) y, lo más importante, no se mata ni mata a nadie en el proceso.

Resumen técnico

Resumen Técnico: SafeQIL - Aprendizaje de Políticas Seguras mediante Demostraciones Expertas

1. Planteamiento del Problema

El artículo aborda el problema de la Aprendizaje por Refuerzo Inverso con Restricciones (ICRL) en entornos donde las restricciones de seguridad son desconocidas y los costos asociados a violarlas no son observables directamente.

• Contexto: Se dispone de un conjunto de trayectorias demostradas por un experto que ejecutan una tarea de manera segura bajo recompensas observables, pero con costos ocultos.
• Desafío: Los agentes deben aprender una política que maximice la probabilidad de seguir trayectorias prometedoras (altas recompensas) sin incurrir en pasos inseguros.
• Limitaciones de enfoques existentes:
  • Los métodos conservadores evitan estados fuera de las trayectorias demostradas, limitando la exploración y el rendimiento.
  • Los métodos que buscan maximizar recompensas sin restricciones explícitas pueden cruzar estados de alta incertidumbre de seguridad, llevando a comportamientos peligrosos.
  • Los enfoques actuales de ICRL a menudo intentan inferir explícitamente el conjunto de restricciones o funciones de costo, lo cual es un problema intratable y propenso a errores de calibración.

2. Metodología: SafeQIL (Safe Q-Inverse Constrained RL)

Los autores proponen SafeQIL, un algoritmo que reformula el problema de aprendizaje inverso desde la perspectiva de los valores Q, mezclando expectativas de recompensa y seguridad sin necesidad de inferir explícitamente las restricciones.

Conceptos Clave:

• Mezcla de Recompensas y Seguridad: Se define una función de valor Q que combina:
  1. Recompensas específicas de la tarea ($r_d$): Otorgadas por el entorno.
  2. Recompensas de seguridad ($r_s$): Basadas en la estimación de si un estado es seguro. Si un estado no está en el soporte de las demostraciones, se penaliza (o se le asigna una recompensa negativa).
• Discriminador de Seguridad: Se utiliza una función discriminadora ($\phi_\omega$) para estimar la probabilidad de que un estado pertenezca a la distribución de las demostraciones expertas. Esta probabilidad se transforma en una recompensa de seguridad: $r_s(s) = \log(\phi_\omega(s))$.
• Acotamiento Pessimista (Upper Bound):
  • Para estados dentro del soporte de las demostraciones ($s \in \text{supp}_E$), el algoritmo busca maximizar la recompensa (estilo SAC estándar).
  • Para estados fuera del soporte ($s \notin \text{supp}_E$), se impone una restricción estricta: el valor Q de una acción en un estado no demostrado no debe superar el valor Q mínimo de las acciones en los estados demostrados "más cercanos". Esto evita la sobre-optimización en regiones desconocidas.
• Función de Objetivo: El objetivo de aprendizaje maximiza la verosimilitud de las trayectorias demostradas mediante la maximización de los valores Q de los pares estado-acción, sujeto a la restricción de que los valores Q fuera de la distribución no excedan ciertos límites locales definidos por las demostraciones.

Algoritmo (Basado en SAC):
SafeQIL utiliza Soft Actor-Critic (SAC) como columna vertebral, modificando la actualización de los críticos (Q-networks):

1. Muestreo: Se mezclan muestras de un buffer de demostraciones ($D$) y un buffer de interacciones en línea ($B$).
2. Selección de Límites: Para cada estado en $B$ fuera de la distribución, se busca el estado "más cercano" en $D$ (usando similitud coseno) para establecer un límite superior local para el valor Q.
3. Pérdida Compuesta: La función de pérdida incluye términos para:
   • Cumplir la restricción de acotamiento en estados no demostrados.
   • Aplicar la penalización de seguridad ($r_s$) en estados no demostrados.
   • Mantener el aprendizaje estándar de SAC en estados demostrados.

3. Contribuciones Principales

1. Formulación del Problema: Plantea el aprendizaje de políticas seguras como un problema de ICRL donde el objetivo se especifica rigurosamente en términos de valores Q, integrando evaluaciones de seguridad a nivel de estado.
2. Algoritmo SafeQIL: Propone un método model-free que no infiere explícitamente funciones de costo ni conjuntos de restricciones, sino que regulariza directamente la función de valor para ser conservador fuera del soporte de los datos.
3. Evaluación Exhaustiva: Presenta resultados en cuatro tareas desafiantes de Safety-Gymnasium (navegación y manipulación), comparándose con el estado del arte (ICRL, VICRL, SAC-GAIL).

4. Resultados Experimentales

Los experimentos se realizaron en cuatro entornos: SafetyPointGoal1-v0, SafetyPointCircle2-v0, SafetyCarButton1-v0 y SafetyCarPush2-v0.

• Rendimiento en Seguridad: SafeQIL logró reducciones significativas en el costo de seguridad (violaciones) en comparación con el baseline de SAC sin restricciones (reducciones del 30% al 92%).
• Comparación con Baselines:
  • ICRL y VICRL: A menudo fallaron en mejorar la seguridad respecto al SAC estándar o sufrieron colapsos catastróficos en el rendimiento de la tarea (recompensa negativa) al intentar ser demasiado conservadores.
  • SAC-GAIL: Logró buenos compromisos en algunas tareas, pero SafeQIL demostró ser más robusto en los peores casos (límites de seguridad más estrictos) y mantuvo un equilibrio más estable entre recompensa y seguridad.
• Estabilidad: SafeQIL fue el único método que mantuvo un alto rendimiento y seguridad consistentes en todos los benchmarks, evitando tanto la inestabilidad de las inferencias de restricciones como el comportamiento inseguro de la imitación pura.
• Análisis de Ablación: Se demostró que tanto el término de restricción (acotamiento) como el término de penalización OOD (fuera de distribución) son cruciales. Sin ellos, el algoritmo pierde seguridad o colapsa en el rendimiento.

5. Significado e Impacto

• Enfoque Práctico: SafeQIL ofrece una solución práctica para entornos donde las restricciones son complejas o imposibles de modelar explícitamente por expertos humanos.
• Equilibrio Conservadorismo-Exploración: A diferencia de los métodos que simplemente imitan o que restringen todo lo que no se ha visto, SafeQIL permite la exploración y mejora del rendimiento en regiones seguras conocidas, mientras aplica un "freno de seguridad" inteligente en regiones desconocidas.
• Robustez ante Variabilidad: El estudio de sensibilidad mostró que, a diferencia de otros métodos que fallan con grandes conjuntos de datos heterogéneos (debido a la deriva del demostrador), SafeQIL mantiene una mayor estabilidad, aunque su rendimiento óptimo se observa con tamaños de dataset moderados.
• Contribución Teórica: Introduce una perspectiva de "pessimismo a nivel de estado" que complementa los enfoques existentes de aprendizaje offline, utilizando la estructura de los valores Q para garantizar la seguridad sin necesidad de resolver un problema de inferencia de restricciones intratable.

En conclusión, el artículo demuestra que es posible aprender políticas seguras y eficientes a partir de demostraciones expertas sin conocer las restricciones subyacentes, utilizando una modificación inteligente del aprendizaje por refuerzo basado en Q-values que prioriza la recuperación de la seguridad y evita la sobre-optimización en zonas de incertidumbre.