Risk-Aware Preference Learning for Stochastic Outcomes

Resumen Técnico: Aprendizaje de Preferencias Consciente del Riesgo para Resultados Estocásticos

Planteamiento del Problema
El aprendizaje de recompensas basado en preferencias es un paradigma estándar para alinear sistemas autónomos con la intención humana, particularmente en dominios como la navegación de robots sociales donde los objetivos (seguridad, eficiencia, normas) son difíciles de especificar manualmente pero fáciles de expresar mediante comparaciones. Sin embargo, los enfoques existentes asumen predominantemente que los evaluadores humanos valoran los resultados inciertos utilizando la Utilidad Esperada (UE), la cual agrega linealmente las utilidades de los resultados ponderadas por sus probabilidades.

Los autores identifican un desajuste crítico: la economía conductual demuestra que los humanos son sistemáticamente sensibles al riesgo, sobreponderando a menudo eventos catastróficos poco frecuentes (por ejemplo, colisiones) y exhibiendo aversión a la pérdida. En entornos estocásticos, asumir la UE cuando el decisor humano real es sensible al riesgo puede conducir a errores estructurales en el aprendizaje de la recompensa. Específicamente, el aprendiz puede codificar incorrectamente la sensibilidad al riesgo como diferencias en la utilidad del resultado, confundiendo lo que los usuarios valoran con la forma en que ponderan la incertidumbre. Este artículo investiga si el modelado de la sensibilidad al riesgo humano mejora la recuperación de la recompensa al aprender de las preferencias sobre resultados estocásticos de robots.

Metodología
El estudio emplea un marco de aprendizaje de preferencias de Bradley-Terry para comparar dos modelos de toma de decisiones humanas:

1. Utilidad Esperada (UE): El estándar de referencia donde el valor de una acción $A$ es la suma ponderada por probabilidad de las utilidades de los resultados: $V_{UE}(A) = \sum p_i \theta^\top \phi(o_i)$.
2. Teoría de la Perspectiva Acumulativa (TPA): Un modelo no lineal que captura la sensibilidad al riesgo a través de:
   • Función de Valor: Una transformación asimétrica de ganancias y pérdidas, $v(x)$, que incorpora la aversión a la pérdida ($\lambda > 1$) y la sensibilidad decreciente ($\alpha, \eta$).
   • Ponderación de Probabilidades: Una función de distorsión, $w(p)$, que sobrepondera los eventos raros cuando el parámetro $\gamma < 1$.
   • Pesos de Decisión: Calculados mediante una transformación dependiente del rango sobre las probabilidades acumuladas.

Configuración Experimental
Los autores construyeron una simulación de navegación social en 2D donde un robot selecciona entre siete meta-acciones (por ejemplo, avanzar, girar, detenerse) en entornos dinámicos poblados por peatones (modelados mediante el modelo de fuerza social de Helbing–Molnár).

• Estocasticidad: Cada acción del robot induce una distribución de resultados. Para cada acción, se simularon $K=50$ ejecuciones estocásticas para generar una distribución empírica de vectores de características (distancia mínima de seguridad, desviación, progreso, suavidad, conteo de colisiones).
• Maestros Sintéticos: Los datos de preferencia fueron generados por "maestros" utilizando ya sea el modelo de UE o el modelo de TPA. Los maestros de TPA utilizaron dos perfiles de riesgo: T&K (basado en los parámetros empíricos de Tversky y Kahneman) y Strong (sensibilidad al riesgo amplificada).
• Aprendices: Se entrenaron dos clases de aprendices sobre las comparaciones por pares generadas:
  • Aprendiz de UE: Asume la agregación de utilidad lineal.
  • Aprendiz de TPA: Estima conjuntamente los pesos de la recompensa ($\theta$) y los parámetros de la TPA.
• Evaluación: El rendimiento se midió mediante el arrepentimiento de la acción mantenida (held-out action regret), definido como la diferencia entre el valor de la acción elegida por el modelo de usuario real y la acción seleccionada por el modelo aprendido.

Resultos Clave
Los experimentos arrojaron los siguientes hallazgos respecto a la recuperación de la recompensa:

• Maestros de UE: Cuando las preferencias fueron generadas por un maestro de UE, el aprendiz de UE logró el menor arrepentimiento. El aprendiz de TPA no superó al aprendiz de UE, lo que sugiere que introducir parámetros de TPA cuando el proceso subyacente es lineal añade una flexibilidad innecesaria y reduce la eficiencia de muestreo.
• Maestros de TPA: Cuando las preferencias fueron generadas por maestros sensibles al riesgo (TPA), el aprendiz de TPA superó sustancialmente al aprendiz de UE.
  • A medida que aumentaba el número de pares de entrenamiento, el arrepentimiento del aprendiz de TPA disminuía de forma constante.
  • El aprendiz de UE se mantuvo en un nivel de arrepentimiento significativamente más alto.
  • Los resultados indican que, cuando los usuarios exhiben sensibilidad al riesgo, un aprendiz de UE intenta explicar estas elecciones distorsionando la función de recompensa recuperada, mientras que un aprendiz de TPA logra separar los pesos de la recompensa de la sensibilidad al riesgo.

Significancia y Reivindicaciones
El artículo concluye que el modelado explícito de la sensibilidad al riesgo humano mediante la Teoría de la Perspectiva Acumulativa mejora el aprendizaje de la recompensa bajo incertidumbre, particularmente cuando el proceso generador de preferencias implica una fuerte sensibilidad al riesgo. Los autores argumentan que hacer coincidir el modelo de preferencia del aprendiz con el proceso de elección sensible al riesgo del maestro es crucial para recuperar funciones de recompensa precisas en dominios estocásticos.

Los autores mantienen una postura modesta respecto al alcance de estos hallazgos:

• Los resultados se presentan como evidencia preliminar derivada de datos sintéticos.
• El estudio demuestra la ventaja teórica y algorítmica de los aprendices basados en TPA en simulación, pero establece explícitamente que la validación con sujetos humanos sigue siendo un trabajo futuro.
• El artículo no pretende el despliegue inmediato en robots reales, sino que destaca la importancia de abordar el desajuste UE-TPA para evitar el aprendizaje de recompensas sesgado en aplicaciones críticas para la seguridad, como la navegación social.