A Descriptive and Normative Theory of Human Beliefs in RLHF

Resumen Técnico: Una Teoría Descriptiva y Normativa de las Creencias Humanas en RLHF

Planteamiento del Problema
El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF, por sus siglas en inglés) modela tradicionalmente las preferencias humanas como una función de la función de recompensa del humano o de los valores de estado-acción óptimos ($A^*$) del agente. Los enfoques estándar, incluyendo los modelos basados en el retorno o en el arrepentimiento (regret), asumen que los etiquetadores evalúan las trayectorias basándose en lo que realmente ocurrió o en lo que un agente óptimo podría lograr. Sin embargo, este trabajo postula que los etiquetadores humanos también mantienen creencias sobre las capacidades reales del agente que se está entrenando. Si un etiquetador asume que un agente es óptimo cuando no lo es (o viceversa), sus preferencias pueden conducir a políticas subóptimas o catastróficas tras el proceso de RLHF. El artículo investiga dos preguntas fundamentales: (1) ¿Afectan las creencias de los etiquetadores humanos sobre las capacidades del agente las preferencias que proporcionan de manera descriptiva? y (2) Normativamente, ¿cuál es el conjunto ideal de creencias que los etiquetadores deberían tener para maximizar el rendimiento de la política resultante?

Metodología
Los autores proponen un modelo de preferencia basado en creencias y lo validan mediante análisis teórico, experimentos sintéticos y un estudio con sujetos humanos.

1. Marco Teórico:

   • Los autores definen la Creencia de Capacidad del Agente como una función $Q$ ($Q^{\pi_{belief}}$) que representa la estimación del etiquetador sobre la política post-RLHF del agente.
   • Introducen un nuevo modelo de preferencia (Ecuación 3) donde la probabilidad de preferir una trayectoria $\sigma^+$ sobre una $\sigma^-$ está determinada por la función de ventaja $A^{\pi_{belief}}$ en lugar de la ventaja óptima $A^*$.
   • Ideal Normativo: El artículo define una creencia ideal normativa ($Q^{\pi^*_{belief}}$) no como la optimalidad absoluta, sino como la creencia que produce el mayor retorno esperado para la mejor política alcanzable dado los límites del agente (por ejemplo, límites de aproximación de funciones, actuadores ruidosos).
   • Límites Teóricos: Los autores derivan un límite formal (Teorema 4.3) sobre la pérdida de rendimiento de la política post-RLHF en función del "desacuerdo agente-etiquetador" ($\delta$), definido como la magnitud de la diferencia entre la creencia óptima y la creencia real del etiquetador. El límite muestra que el retorno esperado se degrada linealmente con la magnitud de este desacuerdo.

2. Experimentos Sintéticos:

   • Los autores realizaron experimentos en un dominio de GridWorld donde las capacidades del agente estaban limitadas por un parámetro de ruido $\epsilon$-greedy ($\epsilon$).
   • Las creencias del etiquetador fueron manipuladas variando el nivel de ruido asumido ($\epsilon'$) utilizado para generar preferencias sintéticas.
   • El estudio midió el retorno esperado de la política entrenada a través de una matriz de ruido real del agente ($\epsilon$) y ruido asumido por el etiquetador ($\epsilon'$).

3. Estudio con Sujetos Humanos:

   • Dominio: Una simulación de vehículo autónomo (CARLA).
   • Intervención: Los participantes fueron asignados a tres condiciones: (1) Control (sin inducción o priming), (2) Inducción de Seguridad (ver un video de un coche conduciendo de forma segura y competente), y (3) Inducción de Inseguridad (ver un video de un coche derrapando y chocando).
   • Tarea: Los participantes proporcionaron preferencias sobre pares de trayectorias de conducción, eligiendo entre rutas más rápidas/arriesgadas y rutas más lentas/seguras.
   • Análisis: El estudio utilizó análisis de sentimiento (vía GPT-4) sobre el texto libre de retroalimentación respecto a las capacidades del coche, y pruebas estadísticas (Kruskal-Wallis y la prueba de Dunn) sobre los datos de preferencia en escala Likert para determinar si la inducción (priming) cambió las creencias y las preferencias subsecuentes.

Contribuciones Clave

1. Ilustración del Desacuerdo: El artículo demuestra que un mal acuerdo entre las creencias de un etiquetador y las capacidades reales de un agente puede conducir a políticas subóptimas, incluso cuando el etiquetador actúa de manera "racional" basada en sus (incorrectas) creencias.
2. Teoría Normativa: Define un ideal normativo para las creencias del etiquetador que es relativo al techo de rendimiento alcanzable del agente, en lugar de la optimalidad absoluta, y proporciona un límite teórico sobre el arrepentimiento causado por las desviaciones de este ideal.
3. Validación Empírica de la Influencia de las Creencias: El estudio humano confirma que las creencias humanas sobre las capacidades del agente afectan significativamente la generación de preferencias. Específicamente, la inducción de los participantes con información sobre las capacidades del agente (segura vs. insegura) alteró estadísticamente sus preferencias.
4. Suboptimalidad de Asumir la Optimalidad: Los experimentos sintéticos muestran que asumir la optimalidad del agente (el enfoque estándar basado en el arrepentimiento) es a menudo subóptimo cuando el agente tiene limitaciones de rendimiento inherentes (por ejemplo, alto ruido).

Resultos

• Teóricos: El límite derivado (Ecuación 4) establece que el retorno esperado de la política post-RLHF está limitado inferiormente por el retorno óptimo menos un término proporcional al desacuerdo agente-etiquetador ($\delta / (1-\gamma)$).
• Sintéticos: En los experimentos de GridWorld, se lograron los mayores retornos de política cuando el ruido asumido por el etiquetador ($\epsilon'$) coincidía estrechamente con el ruido real del agente ($\epsilon$). Asumir un agente óptimo ($\epsilon'=0$) cuando el agente era ruidoso ($\epsilon=0.3$ o $0.5$) resultó en retornos significativamente menores, ya que el agente aprendió comportamientos arriesgados que no podía ejecutar de forma segura.
• Estudio Humano:
  • Creencias: El análisis de sentimiento de las respuestas de texto libre mostró que los participantes en el grupo de "inducción de inseguridad" mantenían una confianza significativamente menor en las capacidades del coche en comparación con el grupo de "inducción de seguridad".
  • Preferencias: El análisis estadístico reveló una diferencia significativa ($p=0.015$) en las preferencias entre los grupos de inducción segura e insegura. Los participantes inducidos con comportamientos inseguros fueron más propensos a preferir trayectorias más seguras y lentas, mientras que aquellos inducidos con comportamientos seguros estuvieron más dispuestos a aceptar trayectorias más rápidas y arriesgadas.
  • Conclusión: Las preferencias humanas no son estáticas; están influenciadas por las creencias de los etiquetadores sobre las capacidades actuales del agente.

Significancia y Reclamaciones
El artículo afirma que reducir el desajuste entre las creencias humanas y las capacidades del agente es crítico para mejorar el rendimiento de RLHF. Argumenta que la suposición estándar de racionalidad del etiquetador basada en la optimalidad absoluta es insuficiente cuando los agentes son imperfectos. Los autores sugieren que los profesionales deben gestionar activamente las creencias de los etiquetadores para alinearlas con las capacidades reales del agente.

El artículo propone dos prácticas recomendadas específicas:

1. Informar a los Etiquetadores: Comunicar directamente las limitaciones conocidas del agente (por ejemplo, restricciones de datos, límites físicos) a los etiquetadores antes de la recolección de datos.
2. Inducción Intermitente (Intermittent Priming): Utilizar bucles de recolección de preferencias en línea donde los etiquetadores sean expuestos a la política actual del agente (mediante demostraciones) para actualizar sus creencias continuamente.

Los autores enfatizan que esta calibración debe ser "veraz" (representativa del comportamiento real en la política) para evitar la manipulación. Concluyen que, si bien sus límites teóricos se derivan en entornos tabulares y su estudio humano es una prueba de concepto, los resultados apuntan hacia un cambio necesario en las mejores prácticas de RLHF: tratar las creencias humanas como una variable que debe alinearse con la realidad del agente para asegurar un alineamiento seguro y efectivo.