CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions

Este artículo presenta CBF-RL, un marco que integra Funciones de Barrera de Control (CBF) directamente en el entrenamiento de aprendizaje por refuerzo para internalizar restricciones de seguridad en la política aprendida, permitiendo un despliegue seguro y robusto en robots reales sin necesidad de filtros de seguridad en tiempo de ejecución.

Lo esencial

¡Claro que sí! Imagina que estás enseñando a un robot humanoide (como un robot con forma de humano) a caminar, esquivar obstáculos y subir escaleras. El problema es que los robots aprenden por "prueba y error", igual que un niño pequeño. Si solo le dices "hazlo bien", el robot podría intentar cosas locas y peligrosas (como chocar contra una pared o tropezar) antes de aprender la forma correcta.

Aquí es donde entra el CBF-RL, el método que proponen los autores. Vamos a explicarlo con una analogía sencilla.

La Analogía: El Entrenador Personal y el Semáforo

Imagina que el robot es un atleta novato que quiere aprender a correr un circuito lleno de obstáculos.

1. El problema del aprendizaje tradicional (RL normal):
   El entrenador le dice al atleta: "Corre lo más rápido posible hacia la meta". El atleta empieza a correr. A veces tropieza, a veces choca contra una pared. Aprende, pero tarda mucho y sufre muchos "golpes" (accidentes) en el proceso. Además, si el atleta aprende a correr rápido pero sin cuidado, podría ser peligroso en la vida real.

2. El enfoque antiguo (Filtros de seguridad externos):
   Imagina que pones a un guardia de seguridad (un filtro) al lado del atleta. Cada vez que el atleta intenta correr hacia una pared, el guardia lo empuja suavemente hacia atrás para que no choque.

   • El problema: El atleta nunca aprende a evitar la pared por sí mismo. Si quitas al guardia (porque en la vida real no puedes tener un guardia pegado a ti todo el tiempo), el atleta chocará inmediatamente. Además, el guardia tiene que estar trabajando constantemente, lo cual es lento y cansado.

3. La solución de este papel: CBF-RL (El Entrenador Interno)
   Los autores proponen una mezcla inteligente. En lugar de solo usar al guardia o solo dejar que el atleta tropiece, hacen dos cosas al mismo tiempo durante el entrenamiento:

   • Paso 1: El "Semáforo" (Filtro de Seguridad): Cuando el atleta propone una acción peligrosa (como correr hacia una pared), el sistema actúa como un semáforo que cambia a rojo y corrige mínimamente la acción para que sea segura. Pero, ¡ojo! El atleta ve cómo se corrigió su acción. Aprende: "Ah, si intento ir por ahí, me empujan un poco hacia la izquierda".
   • Paso 2: La "Puntaje de Seguridad" (Recompensa): Además de corregir la acción, el entrenador le da al atleta una "penalización" (menos puntos) si tuvo que ser corregido, y una "recompensa" si propuso una acción que ya era segura. Esto le dice al atleta: "No solo quiero que llegues a la meta, quiero que llegues sin que nadie tenga que empujarte".

¿Qué logra esto? (El resultado mágico)

Gracias a este entrenamiento dual (corregir + premiar la seguridad), ocurre algo increíble:

• Internalización: El atleta aprende a ser seguro por sí mismo. Internaliza las reglas del juego.
• Sin guardias en la vida real: Cuando el robot sale a la vida real (subir escaleras en una casa, esquivar gente en la calle), ya no necesita al guardia (el filtro de seguridad). ¡El robot ya sabe cómo evitar los peligros!
• Más rápido y más seguro: El robot aprende más rápido porque no pierde tiempo chocando contra cosas, y explora de forma más valiente porque sabe que tiene una "red de seguridad" interna.

En la vida real: El Robot Unitree G1

Los autores probaron esto con un robot humanoide real llamado Unitree G1.

• El reto: Hacer que el robot subiera escaleras y esquivara obstáculos.
• El resultado: El robot entrenado con CBF-RL pudo subir escaleras de 30 cm de alto y esquivar obstáculos en el mundo real sin ningún sistema de seguridad externo funcionando en ese momento.
• Comparación: Los robots entrenados de la forma normal (sin este método) se caían o chocaban porque no habían aprendido a ser cautelosos por sí mismos.

Resumen en una frase

CBF-RL es como enseñar a un robot a conducir no solo poniéndole un freno de emergencia (que lo corrige), sino también dándole una lección de manejo defensivo (recompensándolo por no necesitar el freno), para que al final pueda conducir solo, seguro y sin accidentes.

Es una forma de hacer que la inteligencia artificial sea "madura" y responsable desde el primer día, en lugar de dejarla aprender a base de accidentes.

Resumen técnico

Resumen Técnico: CBF-RL

1. El Problema

El Aprendizaje por Refuerzo (RL) ha demostrado ser una herramienta poderosa para que los robots humanoides adquieran habilidades complejas y dinámicas. Sin embargo, el RL tiende a priorizar el rendimiento sobre la seguridad, lo que puede llevar a violaciones catastróficas en despliegues del mundo real.

Existen dos enfoques principales para integrar seguridad en el RL, pero ambos tienen limitaciones:

• Filtros de Seguridad en Tiempo de Ejecución (Online): Se modifican las acciones propuestas por el agente mediante un programa de optimización (QP) antes de la ejecución. Aunque garantizan seguridad, esto impide que la política interna aprenda a evitar situaciones peligrosas, ya que el agente nunca experimenta las consecuencias de sus acciones inseguras. Además, requiere resolver optimizaciones costosas en cada paso de control, lo cual es problemático para robots de alta dimensión con restricciones computacionales.
• Formulación de Recompensas (Reward Shaping): Se penalizan los estados inseguros en la función de recompensa. Sin embargo, este método no garantiza acciones seguras durante el entrenamiento y es sensible a la elección de los pesos de penalización, a menudo resultando en un entrenamiento lento o inestable.

El desafío central es lograr que una política aprendida internalice las restricciones de seguridad durante el entrenamiento, de modo que pueda operar de forma segura en el mundo real sin necesidad de un filtro de seguridad en tiempo de ejecución.

2. Metodología: CBF-RL

El artículo propone CBF-RL, un marco de trabajo de "doble enfoque" que combina el filtrado activo de seguridad y el diseño de recompensas inspirado en barreras durante el entrenamiento.

Componentes Clave:

• Teoría de Funciones de Barrera de Control (CBF): Se utilizan CBFs para definir conjuntos de estados seguros (invariantes hacia adelante). El objetivo es mantener el sistema dentro de estos conjuntos.
• Relación Continuo-Discreta: Un aporte teórico fundamental es la demostración de que, bajo ciertas condiciones (paso de tiempo $\Delta t$ pequeño), las condiciones de CBF en tiempo continuo pueden aplicarse directamente a entornos de RL discretos. Esto permite utilizar soluciones de forma cerrada para los filtros de seguridad, evitando la necesidad de resolver QPs numéricos costosos en cada paso.
• Doble Enfoque de Entrenamiento:
  1. Filtrado de Seguridad Activo (Training-time Filter): Durante el entrenamiento, si la política propone una acción insegura ($v_{policy}$), se aplica un filtro de seguridad basado en CBF para calcular una acción segura ($v_{safe}$) mediante una proyección analítica de forma cerrada:
     $$v_{safe} = v_{policy} + \frac{(b_k - a_k^T v_{policy})}{\|a_k\|^2} a_k$$
     donde $a_k = \nabla h(q_k)$ y $b_k = -\alpha h(q_k)$. El agente ejecuta $v_{safe}$ en el entorno.
  2. Recompensa de Seguridad (Reward Shaping): Se introduce un término de recompensa $r_{cbf}$ que penaliza la activación del filtro y la distancia entre la acción propuesta y la segura:
     $$r_{cbf} = \max(\dots, 0) + (\exp(-\|v_{policy} - v_{safe}\|^2 / \sigma^2) - 1)$$
     Esto proporciona una señal de aprendizaje suave que incentiva a la política a proponer acciones que ya satisfagan la condición de barrera, reduciendo la necesidad de intervención del filtro.

Algoritmo: Se utiliza un algoritmo de gradiente de política (como PPO) donde la política aprende a partir de las transiciones corregidas por el filtro y las recompensas modificadas.

3. Contribuciones Clave

• Conceptual: Propone un marco de entrenamiento dual que integra filtrado activo y recompensas de barrera, permitiendo el despliegue de políticas seguras sin filtros en tiempo de ejecución.
• Teórica: Establece una relación formal entre CBFs en tiempo continuo y sistemas discretos de RL, proporcionando una solución de forma cerrada para la integración ligera y eficiente.
• Práctica: Demuestra empíricamente, tanto en simulación como en hardware real (robot humanoide Unitree G1), que las políticas entrenadas con este método internalizan la seguridad, reducen acciones inseguras y mantienen un rendimiento robusto bajo incertidumbre y ruido de sensores.

4. Resultados

Los autores validaron el método en dos escenarios principales:

• Navegación 2D (Integrador Simple):

  • Se compararon cuatro variantes: Dual (CBF-RL), Solo Recompensa, Solo Filtro y Nominal.
  • Hallazgo: El enfoque "Dual" logró una convergencia rápida y mantuvo la seguridad durante todo el entrenamiento.
  • Despliegue sin filtro: La política "Dual" entrenada sin filtro en tiempo de ejecución mantuvo una tasa de éxito del 92.7% en entornos aleatorizados, mientras que la política "Solo Filtro" cayó al 38.7% cuando se eliminó el filtro en el despliegue. Esto demuestra que el enfoque dual permite la internalización de la seguridad.
  • Robustez: El método dual fue el menos afectado por perturbaciones en la dinámica del sistema.

• Locomoción Humanoide (Unitree G1):

  • Tareas: Evitación de obstáculos y escalada de escaleras (incluyendo escaleras altas de 0.3m).
  • Simulación a Realidad (Sim-to-Real): Se entrenaron políticas en IsaacLab con aleatorización de dominio y se transfirieron directamente al hardware sin ajuste adicional (zero-shot).
  • Resultados en Hardware:
    • El robot evitó obstáculos dinámicamente ajustando su velocidad sin un filtro en tiempo de ejecución.
    • En la escalada de escaleras, la política CBF-RL logró subir escaleras de 0.3m de altura sin tropezar, mientras que una política nominal fallaba al golpear los bordes de los escalones.
    • El robot demostró robustez en exteriores, escalando escaleras de diferentes texturas y dimensiones, ajustando su centro de masa y la altura de los pies basándose únicamente en la propiocepción.

5. Significado e Impacto

El trabajo CBF-RL representa un avance significativo en la seguridad de los sistemas robóticos autónomos:

1. Eliminación de Dependencia de Filtros en Tiempo Real: Al permitir que la política aprenda a ser segura intrínsecamente, se elimina la necesidad de resolver problemas de optimización costosos en cada paso de control durante el despliegue. Esto es crucial para robots humanoides con limitaciones de computación y latencia.
2. Exploración Segura y Eficiente: A diferencia de los filtros que recortan agresivamente el espacio de exploración, CBF-RL permite que el agente explore cerca de los límites de seguridad, aprendiendo comportamientos más eficientes y novedosos sin riesgo de catástrofes.
3. Generalidad: El marco es agnóstico al algoritmo de RL (funciona con PPO) y se ha demostrado efectivo en sistemas de alta dimensión y complejos como la locomoción humanoide, abriendo la puerta a aplicaciones más seguras en entornos no estructurados.

En resumen, CBF-RL cierra la brecha entre la garantía teórica de seguridad de las funciones de barrera y la capacidad de aprendizaje de los métodos de RL, logrando políticas que son tanto seguras como eficientes sin necesidad de supervisión externa en tiempo de ejecución.