Resumen Técnico: Alineación de Seguridad Implícita a partir de Preferencias de Multitud

Enunciado del Problema

Los agentes de Aprendizaje por Refuerzo (RL) dependen de funciones de recompensa para alcanzar objetivos, pero especificar recompensas que capturen completamente el comportamiento deseado —particularmente las restricciones de seguridad implícitas— es notoriamente difícil. En escenarios complejos, los diseñadores a menudo se centran en la finalización de la tarea mientras omiten inadvertidamente consideraciones de seguridad (por ejemplo, mantener márgenes de seguridad o evitar comportamientos agresivos), lo que conduce a comportamientos peligrosos del agente.

Aunque el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) se ha desarrollado para alinear a los agentes con las preferencias humanas, la mayoría de los métodos existentes asumen un único conjunto unificado de valores de usuario. En la práctica, los datos de preferencia a menudo provienen de una "multitud" de usuarios con diversos objetivos de tarea y patrones de comportamiento. Sin embargo, estos usuarios a menudo comparten criterios de seguridad implícitos (por ejemplo, evitar estados inseguros) a pesar de sus objetivos diferentes. El desafío central abordado en este trabajo es cómo descubrir estos criterios de seguridad latentes y compartidos a partir de datos de preferencia de multitud heterogénea y transferirlos a tareas posteriores donde solo están disponibles recompensas de tarea agnósticas a la seguridad.

Los autores identifican una limitación en el enfoque "ingenuo" de simplemente combinar un modelo de recompensa aprendido a partir de preferencias de multitud con una recompensa de tarea posterior. Los análisis teóricos y empíricos revelan que este enfoque de combinación de recompensas sufre de dos problemas críticos:

1. Sesgo Específico del Usuario: El modelo de recompensa aprendido captura no solo criterios de seguridad compartidos, sino también componentes específicos del usuario. Si el conjunto de datos de la multitud está desequilibrado (por ejemplo, un usuario contribuye con la mayoría de los datos), la recompensa aprendida se sesga hacia los objetivos de ese usuario específico, degradando el rendimiento en otras tareas.
2. Sensibilidad a la Ponderación: El rendimiento es altamente sensible al peso de compensación entre la recompensa aprendida de preferencias y la recompensa de tarea, lo que hace que el método sea difícil de ajustar.

Metodología: RL Basado en Preferencias de Multitud Segura

Para superar estas limitaciones, los autores proponen Aprendizaje por Refuerzo Basado en Preferencias de Multitud Segura, un marco jerárquico que compone habilidades en lugar de combinar recompensas. La metodología consta de tres etapas principales:

1. Descubrimiento de Habilidades a partir de Preferencias de Multitud

En lugar de aprender una única recompensa global, el marco modela comportamientos diversos preferidos por los usuarios como habilidades de bajo nivel.

• Inferencia de Variables Latentes: Dado que el contexto real del usuario $z$ (que determina preferencias específicas) no se observa, el método utiliza un Autoencoder Variacional (VAE) para inferir una variable latente $z'$ a partir de los datos de preferencia de la multitud. Esta $z'$ sirve como un proxy para el contexto subyacente del usuario.
• Aprendizaje Condicionado por Latente: El marco aprende una función de recompensa condicionada por latente $r_\phi(s, a, z')$ o aprende directamente una política condicionada por latente $\pi_\theta(a|s, z')$.
  • Safe-VPL: Utiliza un enfoque de Aprendizaje de Preferencias Variacional (VPL) con un modelo Bradley-Terry para aprender una recompensa condicionada por $z'$, seguido de RL offline (por ejemplo, IQL) para aprender la política de bajo nivel.
  • Safe-CPL: Una variante novedosa que integra el Aprendizaje de Preferencias Contrastivas (CPL) en el marco VPL. Aprende directamente la política condicionada por latente $\pi_\theta(a|s, z')$ sin una etapa intermedia explícita de aprendizaje de recompensas, evitando la inestabilidad de la optimización de RL.

2. Composición de Políticas de Alto Nivel

Para una nueva tarea posterior con una recompensa agnóstica a la seguridad $r_{new}$, se entrena una política de alto nivel $\pi_h(z'|s)$ para componer las habilidades de bajo nivel aprendidas.

• Selección de Acción: La política de alto nivel genera una variable latente $z'$, que indexa una habilidad específica de bajo nivel $\pi_l(a|s, z')$ para generar la acción final.
• Herencia de Seguridad: Dado que todas las habilidades de bajo nivel se aprenden a partir de preferencias de multitud, codifican inherentemente los criterios de seguridad compartidos (por ejemplo, evitar pares estado-acción inseguros). Al restringir al agente a componer estas habilidades, se hace cumplir la seguridad sin señales de seguridad explícitas en la tarea posterior.
• Regularización: Para evitar que la política de alto nivel seleccione habilidades fuera de la distribución que podrían conducir a comportamientos inseguros, se aplica un término de regularización para mantener la variable latente seleccionada cerca de la distribución previa aprendida a partir de los datos de la multitud.

3. Entrenamiento Posterior

La política de alto nivel se entrena para maximizar la recompensa de la tarea posterior $r_{new}$ mientras se adhiere a las restricciones impuestas por el espacio de habilidades de bajo nivel. Esto puede realizarse tanto en configuraciones online (con interacción) como offline (usando solo conjuntos de datos existentes).

Contribuciones Clave

1. Formulación del Problema: El artículo formaliza el problema de transferir objetivos de seguridad compartidos desde preferencias de multitud heterogéneas hacia tareas posteriores, identificando las limitaciones de la combinación directa de recompensas bajo desequilibrio de preferencias.
2. Análisis Teórico: Los autores proporcionan pruebas teóricas que muestran que:
   • Un único modelo de recompensa aprendido a partir de datos de multitud preferirá trayectorias seguras sobre las inseguras si la penalización de seguridad es suficientemente grande (Teorema 4.2).
   • Sin embargo, si los datos de la multitud están desequilibrados, el ordenamiento de recompensas aprendido se alinea con los objetivos específicos del usuario mayoritario, lo que conduce a una degradación del rendimiento (Teorema 4.3).
   • El enfoque propuesto de composición de habilidades garantiza la seguridad si las políticas de bajo nivel son óptimas con respecto a sus utilidades condicionadas (Corolario A.6).
3. Marco Algorítmico: La propuesta de un marco jerárquico (Safe-VPL y Safe-CPL) que desacopla el descubrimiento de habilidades de la optimización de tareas, permitiendo la reutilización de comportamientos alineados con la seguridad en diversas tareas.
4. Validación Empírica: Extensos experimentos en seis entornos de RL Seguro (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) y una tarea conversacional de Modelo de Lenguaje Grande (LLM) como prueba de concepto.

Resultados Experimentales

El método se evaluó frente a varias líneas base, incluidos métodos Oráculo (entrenados con señales de seguridad de verdad fundamental), Solo Tarea (optimizando solo recompensas de tarea), Aprendizaje de Preferencias Solo Seguridad (SOPL) y Combinación de Recompensas (RC).

• Rendimiento de Seguridad: Los métodos propuestos (Safe-VPL y Safe-CPL) redujeron sustancialmente los costos de seguridad en comparación con las líneas base Solo Tarea. En la configuración offline, los costos de seguridad normalizados promedio disminuyeron de 1.0 (Solo Tarea) a aproximadamente 0.02–0.03, comparable a los métodos Oráculo.
• Rendimiento de Tarea: El enfoque logró un rendimiento de tarea comparable a los métodos Oráculo y superó significativamente a los métodos de Combinación de Recompensas (RC), especialmente en configuraciones de preferencia desequilibradas.
• Robustez ante el Desequilibrio: Mientras que el rendimiento de RC se degradó bruscamente cuando un usuario contribuyó con la mayoría de los datos (desviándose de la frontera Oráculo), el método propuesto de composición de habilidades permaneció robusto y cerca del rendimiento Oráculo independientemente del desequilibrio de preferencias.
• Evaluación de LLM: En un entorno simplificado de tipo bandito basado en lenguaje, el método evitó con éxito respuestas dañinas mientras lograba un fuerte rendimiento de tarea, whereas los agentes Solo Tarea seleccionaron frecuentemente respuestas dañinas para maximizar la recompensa.

Significado y Afirmaciones

El artículo afirma que su principal significado radica en demostrar que los objetivos de seguridad implícitos pueden descubrirse y transferirse desde preferencias de multitud sin requerir recompensas de seguridad explícitas o demostraciones.

• Reutilización de Datos: El enfoque permite la reutilización de datos de preferencia de multitud a través de tareas, incluso cuando esas preferencias no se recopilaron para una tarea posterior específica, reduciendo potencialmente el costo de la recopilación repetida de retroalimentación humana.
• Mitigación de Desafíos de Diseño de Recompensas: Al aprovechar señales de seguridad implícitas, el método aborda el problema común de recompensas diseñadas por humanos incompletas o mal especificadas.
• Escalabilidad: El marco asume que las preferencias de multitud reflejan un consenso compartido sobre la seguridad. Aunque los autores reconocen que el ruido del mundo real o la retroalimentación adversarial podrían desafiar esto, argumentan que su método ofrece una forma robusta de aprender comportamientos seguros en dominios donde las especificaciones de seguridad son difíciles de definir formalmente.

Los autores mantienen una postura modesta, señalando que sus experimentos dependen de preferencias anotadas sintéticamente generadas a partir de recompensas de verdad fundamental en lugar de retroalimentación humana naturalista, y que se necesita trabajo futuro para validar el enfoque frente a datos humanos reales más ruidosos.