Resumen Técnico: TraCeS

Declaración del Problema

Garantizar un comportamiento seguro en el Aprendizaje por Refuerzo (RL) es un desafío cuando las restricciones de seguridad son implícitas, no medibles o no están disponibles durante el entrenamiento. En muchos dominios críticos para la seguridad (por ejemplo, robótica, conducción autónoma), las restricciones codificadas rígidamente y las funciones de costo diseñadas manualmente suelen ser frágiles y fallan al generalizarse en escenarios dependientes del contexto. Además, la supervisión densa por cada paso de tiempo es frecuentemente unavailable; en su lugar, la supervisión se limita a etiquetas binarias dispersas que indican si una trayectoria completa (o un prefijo de ella) se mantuvo dentro de un umbral de seguridad desconocido.

La dificultad central radica en el problema de la asignación de crédito: una etiqueta a nivel de trayectoria (por ejemplo, "rechazada") indica que ocurrió una violación, pero no especifica cuándo o qué comportamientos específicos la causaron. Los métodos estándar de Procesos de Decisión de Markov Restringidos (CMDP) asumen el acceso a una función de costo conocida por cada paso y a un umbral, lo cual no es el caso aquí. El artículo aborda el escenario donde el agente debe aprender una política segura a partir de etiquetas dispersas de aceptación/rechazo a nivel de trayectoria, sin conocimiento de la función de costo $C$ subyacente ni del umbral de restricción $b$.

Metodología: TraCeS

Los autores proponen TraCeS (Estimación de Restricciones basada en Trayectorias para la Seguridad), un marco que aprende créditos de violación por cada paso de tiempo a partir de etiquetas dispersas a nivel de trayectoria. El método opera a través de un bucle iterativo que involucra tres componentes principales:

1. Estimador de Violación Secuencial

TraCeS entrena un estimador secuencial para descomponer la retroalimentación binaria dispersa en créditos de violación densos por cada paso de tiempo.

• Abstracción de Violación Monótona: El método asume una estructura de violación monótona (Suposición 3.1): una vez que una trayectoria viola una restricción, permanece violada de ahí en adelante. Esto implica que la probabilidad de "aún no violado" es no creciente a lo largo del tiempo.
• Factorización: El estimador predice la probabilidad de que un prefijo de trayectoria $\tau_{0:t}$ aún no haya violado la restricción, denotada como $\hat{P}(\psi_{0:t}=1 | \tau_{0:t})$. Esta probabilidad se factoriza en créditos multiplicativos por paso:
  $$\hat{P}(\psi_{0:T-1}=1 | \tau_{0:T-1}) = \prod_{t=0}^{T-1} \hat{P}^\Delta_t$$
  Aquí, $\hat{P}^\Delta_t$ representa el cambio en la probabilidad de no violación al extender el prefijo por un paso. Un valor significativamente menor a 1 indica un paso que induce una caída brusca en la probabilidad de seguridad, localizando efectivamente el crédito de la violación.
• Arquitectura: El estimador utiliza un codificador compartido $f_w$ para mantener un vector de resumen $h_t$ del prefijo y un decodificador $g_w$ para producir los parámetros de una distribución log-normal. El log-crédito muestreado se restringe a ser no positivo ($\log \hat{P}^\Delta_t \le 0$), asegurando que la probabilidad acumulada no aumente.
• Entrenamiento: El estimador se entrena utilizando la pérdida de Entropía Cruzada Binaria sobre las etiquetas binarias dispersas (aceptar/rechazar) de las trayectorias o prefijos, tratando el problema como una estimación de máxima verosimilitud de la regla de etiquetado desconocida $\Psi(\cdot)$.

2. Optimización de Política Restringida

Una vez que el estimador aprende los créditos por paso, TraCeS los integra en un resolvedor CMDP estándar.

• Costo Subrogado: El log-crédito estimado se transforma en un costo subrogado: $\tilde{C}_t = -\log \hat{P}^\Delta_t \ge 0$.
• Reformulación de la Restricción: La restricción de probabilidad original (que requiere que la probabilidad de una trayectoria aceptable sea al menos $d$) se aproxima. Utilizando la desigualdad de Jensen, los autores derivan una cota inferior tratable que convierte la restricción multiplicativa en una forma aditiva:
  $$\mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t} \tilde{C}_t \right] \le -\log d$$
  Esta reformulación permite el uso de algoritmos de RL restringidos estándar (por ejemplo, PPO-Lagrangian) con los costos subrogados aprendidos, incluso cuando la verdadera función de costo es desconocida.
• Garantía Teórica: El artículo proporciona un límite sobre la brecha de aproximación introducida por la cota inferior de la desigualdad de Jensen, mostrando que la brecha se reduce a medida que el estimador se vuelve más estable y la varianza de las probabilidades de no violación predichas disminuye.

3. Selección Activa de Trayectorias

Para reducir la carga de anotación, TraCeS emplea una estrategia basada en la incertidumbre para seleccionar qué trayectorias etiquetar.

• Coeficiente de Variación (CV): El método calcula el CV del costo subrogado a nivel de trayectoria bajo el ruido de muestreo del estimador. Las trayectorias con un CV alto (que indican alta dispersión o incertidumbre en la predicción del estimador) se priorizan para su etiquetado. Esto enfoca los esfuerzos de anotación humana o automatizada en los rollouts donde el estimador es más incierto, mejorando la eficiencia de los datos.

Contribuciones Clave

1. Formulación del Problema: El artículo formaliza el problema del aprendizaje de políticas seguras a partir de etiquetas dispersas a nivel de trayectoria bajo una abstracción de violación monótona, abordando el vacío donde ni la función de costo ni el umbral son conocidos.
2. Método (TraCeS): Un novedoso estimador secuencial que factoriza la aceptabilidad de la trayectoria en créditos de violación por cada paso de tiempo. Esto permite la transformación de retroalimentación binaria gruesa en una señal de costo subrogado densa compatible con los resolvedores CMDP estándar.
3. Teoría y Evaluación:
   • Análisis teórico de la brecha de aproximación introducida por la cota inferior de la desigualdad de Jensen.
   • Validación empírica a través de 12 tareas de control continuo (Safety Gymnasium, MuJoCo, Bullet Safety Gym).
   • Demostración de robustez en regímenes de pocos datos, bajo etiquetas ruidosas y en entornos con retroalimentación humana.

Resultados Experimentales

Los autores evalúan TraCeS frente a varios baselines:

• Métodos Oracle: PPO-Lagrangian y CPPO-PID (asumen costo y umbral conocidos).
• Conocimiento Parcial: RLSF (aprende costos pero asume un umbral conocido).
• Baselines de Conocimiento Cero: Un baseline de Costo-Umbral (C-T) que intenta aprender tanto el costo como el umbral desde cero.

Hallazgos Clave:

• Satisfacción de Restricciones: TraCeS aprende de manera confiable políticas que satisfacen las restricciones de seguridad (costo $\le$ umbral) en la mayoría de las tareas, a pesar de tener conocimiento cero del costo o del umbral.
• Eficiencia de Etiquetas: TraCeS es sustancialmente más eficiente en etiquetas que el baseline de conocimiento cero C-T, requiriendo significativamente menos trayectorias etiquetadas para converger a políticas seguras.
• Desempeño: TraCeS logra compromisos de recompensa-seguridad competitivos comparados con los métodos de conocimiento parcial (RLSF) y se acerca al desempeño de los métodos oracle en varias tareas.
• Localización: El análisis cualitativo muestra que los créditos por paso aprendidos localizan con precisión los eventos de violación, alcanzando su pico cerca del paso de tiempo donde el costo acumulado del oracle cruza el umbral, en lugar de distribuir el costo uniformemente.
• Robustez: El método sigue siendo efectivo bajo ruido de etiquetas moderado (hasta 10-20%) y en regímenes de pocos datos (por ejemplo, 1000 trayectorias etiquetadas). También funciona bien con retroalimentación humana en un estudio a pequeña escala en HalfCheetah.

Significado y Reivindicaciones

El artículo afirma que TraCeS proporciona un camino práctico hacia la alineación de agentes de RL con restricciones implícitas y dependientes del contexto cuando las especificaciones formales no están disponibles. Al transformar la supervisión de aceptación/rechazo a nivel de trayectoria en créditos de violación por paso de tiempo, TraCeS permite el uso de maquinaria de optimización restringida estándar sin requerir funciones de costo diseñadas a mano o umbrales conocidos.

Los autores enfatizan que los créditos aprendidos sirven como subrogados de seguridad relevantes para el control en lugar de recuperar de forma identificable los costos reales ocultos. El método es particularmente significativo para entornos donde la seguridad se define por factores complejos y dinámicos (por ejemplo, evitar un bache podría requerir una desviación temporal del carril) que son difíciles de codificar como funciones de costo fijas, pero que pueden ser juzgados por un humano o monitor como "aceptables" o "inaceptables" para una trayectoria.

El trabajo sugiere que la retroalimentación dispersa a nivel de trayectoria, cuando se procesa a través de un estimador secuencial con selección activa, puede cerrar eficazmente la brecha entre los juicios de seguridad de alto nivel y la optimización de la política de bajo nivel.