Resumen Técnico: Generación Proactiva de Costos Basada en Modelos para Aprender Políticas Seguras de Forma Offline con Datos Limitados de Violación

1. Enunciado del Problema

El Aprendizaje por Refuerzo (RL) Seguro busca derivar políticas que satisfagan restricciones de seguridad predefinidas, lo cual es crítico para aplicaciones como la conducción autónoma y la robótica. Aunque el RL seguro offline ofrece un paradigma para aprender a partir de conjuntos de datos pre-recopilados sin exploración online riesgosa, los métodos existentes enfrentan una limitación fundamental en escenarios de alto riesgo: la escasez o ausencia total de muestras inseguras.

En muchos procesos prácticos de recopilación de datos (por ejemplo, manipulación robótica), las intervenciones externas a menudo impiden que los agentes alcancen estados inseguros, resultando en conjuntos de datos compuestos casi en su totalidad por trayectorias seguras. Los métodos convencionales de RL seguro offline, que dependen de aprender funciones de valor de costo a partir de abundantes muestras inseguras para definir límites de seguridad, fallan en este contexto. Tienen la tendencia de tratar todos los datos observados como uniformemente seguros, pasando por alto los estados "seguros pero no factibles" —estados que actualmente satisfacen las restricciones pero inevitablemente las violan en pocos pasos debido a la dinámica (por ejemplo, la inercia). Esta omisión conduce a fallos en el despliegue de políticas donde los agentes se desvían hacia regiones inseguras.

El desafío central es: ¿Cómo podemos aprender una política segura de forma offline cuando las muestras inseguras son escasas o están totalmente ausentes?

2. Metodología: PROCO

Los autores proponen PROCO (Generación Proactiva de Costos Basada en Modelos), un marco de RL seguro offline basado en modelos diseñado para identificar estados no factibles y aprender políticas seguras a partir de conjuntos de datos con pocas o ninguna muestra insegura. La metodología integra tres componentes clave:

A. Generación de Función de Costo Conservadora Asistida por LLM

Para cerrar la brecha causada por la falta de datos inseguros, PROCO aprovecha los Modelos de Lenguaje Grande (LLM) para incorporar conocimiento en lenguaje natural en el proceso de aprendizaje.

• Entrada: El LLM recibe información de la tarea ($L_{task}$), una descripción en lenguaje natural de las restricciones de seguridad ($L_{cost}$) e instrucciones explícitas ($L_{inst}$) para generar una función de costo que sea más conservadora que la definición estricta de la restricción.
• Salida: Una función en Python $\bar{c}$ que etiqueta los estados como inseguros (1) o seguros (0).
• Validación y Bucle de Retroalimentación: Dado que las salidas de los LLM pueden ser poco fiables, PROCO emplea un mecanismo de validación:
  1. Verificación de Seguridad: La función de costo generada se valida contra un pequeño conjunto de muestras inseguras conocidas ($D_{unsafe}$, $\le 100$ muestras). Debe lograr un 100% de precisión en estas para asegurar que no se pierda ningún estado inseguro conocido.
  2. Verificación de Conservadurismo: La función se evalúa en el conjunto de datos seguro ($D$). Se mide la proporción de muestras seguras etiquetadas como inseguras. Si esta proporción cae dentro de un rango controlado por hiperparámetros $[p_{min}, p_{max}]$, la función es aceptada.
  3. Refinamiento: Si la función es demasiado conservadora o no lo suficiente, se genera una descripción de retroalimentación ($L_{feed}$) y se reintroduce al LLM para refinar la función de costo.

B. Identificación de Factibilidad Basada en Modelo de Dinámica

PROCO aprende un modelo de dinámica de conjunto $\hat{T}$ a partir de los datos offline. Para identificar estados no factibles sin violaciones observadas, realiza despliegues de modelo ramificados:

• A partir de muestras de datos offline, el modelo simula trayectorias futuras.
• Se introduce un operador de Bellman factible conservador ($\bar{B}^*$). A diferencia de los operadores estándar, $\bar{B}^*$ considera la transición del peor caso dentro del conjunto de modelos de dinámica para garantizar la robustez frente a la incertidumbre del modelo.
• Este proceso genera proactivamente diversas muestras contrafactuales inseguras. Al etiquetar como inseguros los estados cercanos a los estados inseguros reales (mediante la función de costo conservadora), el método acorta efectivamente los pasos de transición desde estados no factibles hasta estados inseguros, reduciendo el impacto de los errores del modelo en la identificación de la factibilidad.

C. Pipeline de Aprendizaje de la Política

1. Aumento de Datos: El modelo de dinámica aprendido $\hat{T}$ y la función de costo conservadora $\bar{c}$ se utilizan para realizar despliegues de modelo. Las trayectorias que contienen violaciones de seguridad (según $\bar{c}$) se añaden a un conjunto de datos sintético $D_{\hat{T}}$.
2. Reetiquetado: El conjunto de datos offline $D$ se reetiqueta con costos de violación de restricción utilizando $\bar{c}$.
3. Actualización de la Función de Valor: El algoritmo actualiza la función de valor de violación de restricción ($V_h$) y la función de valor-acción ($Q_h$) utilizando el conjunto de datos combinado ($D \cup D_{\hat{T}}$). Emplea regresión expectile inversa para aproximar el operador de minimización en la actualización de Bellman factible.
4. Optimización de la Política: La política se actualiza utilizando el conjunto de datos offline original $D$, guiada por los críticos de costo aprendidos a partir de los datos aumentados.

3. Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza el desafío de aprender políticas seguras a partir de conjuntos de datos "solo seguros" donde los estados no factibles son indistinguibles de los seguros sin muestras inseguras.
2. Integración de Conocimiento y Datos: Introduce un marco novedoso (PROCO) que integra especificaciones de seguridad en lenguaje natural (vía LLM) con datos offline empíricos para generar funciones de costo conservadoras, permitiendo la estimación de riesgos sin violaciones observadas.
3. Identificación Proactiva de Factibilidad: Al combinar un modelo de dinámica aprendido con una función de costo conservadora, PROCO sintetiza muestras contrafactuales inseguras para identificar estados no factibles, abordando el punto ciego de "seguro pero no factible" de los métodos existentes.
4. Garantías Teóricas: Los autores proporcionan un análisis teórico (Teorema 4.8) que demuestra que integrar PROCO con cualquier algoritmo base de RL seguro offline no degrada el rendimiento de seguridad debido a la subestimación de los valores de seguridad, incluso sin suposiciones sobre la magnitud del error del modelo.

4. Resultados Experimentales

Los autores evaluaron PROCO en 17 tareas del benchmark Safety-Gymnasium (tareas de Navegación y Velocidad) utilizando el conjunto de datos OSRL, construyendo específicamente conjuntos de datos "solo seguros" eliminando todos los datos inseguros.

• Rendimiento: PROCO superó significativamente a los algoritmos originales de RL seguro offline (FISOR, LSPC, CAPS) y a las líneas base de clonación de comportamiento (BC, CDT) en conjuntos de datos solo seguros.
  • Logró una mejora superior al 400% en el rendimiento de seguridad en diversos algoritmos, con algunas tareas mostrando mejoras que superaron el 1000%.
  • En el estudio de caso "Ant Circle", PROCO identificó con éxito estados no factibles cerca del límite de seguridad y logró cero violaciones de seguridad, mientras que las líneas base no lograron distinguir estados factibles de no factibles e incurrieron en violaciones significativas.
• Robustez: El método permaneció efectivo incluso cuando la cantidad de datos inseguros disponibles era extremadamente limitada (por ejemplo, el 10% del conjunto de datos inseguros original).
• Estudios de Ablación:
  • Eliminar el modelo de dinámica o la generación de la función de costo conservadora condujo a caídas significativas en el rendimiento de seguridad.
  • El mecanismo de retroalimentación para la función de costo generada por el LLM fue crucial para lograr el nivel deseado de conservadurismo.
  • El método mostró estabilidad a través de diferentes LLM (GPT-o4-mini, Gemini 2.5 Pro), aunque el rendimiento varió ligeramente.

5. Significado y Afirmaciones

El artículo afirma que PROCO aborda un cuello de botella crítico en el despliegue de RL seguro en entornos del mundo real de alto riesgo donde la recopilación de datos inseguros es inviable o peligrosa. Al aprovechar los LLM para traducir restricciones de seguridad en lenguaje natural a funciones de costo conservadoras y utilizar despliegues de modelo para explorar proactivamente fallos potenciales, PROCO permite el aprendizaje de políticas seguras a partir de conjuntos de datos que de otro modo serían insuficientes para la toma de decisiones críticas para la seguridad.

Los autores enfatizan que su enfoque no requiere muestras inseguras para aprender una política segura, lo que lo hace adecuado para escenarios donde los datos se recopilan mediante teleoperación humana o intervención externa que previene colisiones. Concluyen que, aunque el método depende actualmente de observaciones basadas en estados y LLM, representa un paso significativo hacia el RL seguro offline impulsado por el conocimiento. Se sugiere trabajo futuro para extender esto a tareas visuales utilizando Modelos Visuales-Lingüísticos (VLM).