Resumen Técnico: ¿Pueden las Preferencias Reveladas Aclarar la Alineación y la Dirección de los LLM?

Declaración del Problema

A medida que los Modelos de Lenguaje Grande (LLM) pasan de responder preguntas a apoyar decisiones de alto riesgo bajo incertidumbre (por ejemplo, diagnóstico médico), la alineación depende no solo de la precisión factual, sino de cómo los modelos ponderan implícitamente las compensaciones entre diferentes resultados. Los métodos de evaluación actuales a menudo se basan en la precisión estática o en evaluaciones heurísticas de sesgo, lo que falla en caracterizar rigurosamente las creencias y preferencias subyacentes que impulsan acciones con consecuencias. Específicamente, sigue sin estar claro si los LLM se comportan como agentes coherentes orientados a objetivos, si sus objetivos declarados coinciden con sus políticas de decisión reales y si las instrucciones explícitas del usuario (dirección) pueden alterar esas políticas de manera confiable.

Metodología

Los autores proponen un flujo de trabajo empírico basado en la teoría de la decisión y el análisis de preferencias reveladas para inferir los modelos de utilidad implícitos de los LLM. El marco trata al LLM como un agente que toma decisiones en un problema de decisión estadístico y procede en tres etapas:

1. Elaboración de Creencias y Acciones:

   • Creencias: Para una tarea de decisión dada con contexto $x$, se solicita al modelo que informe una distribución de probabilidad subjetiva $P^E(\theta | x)$ sobre el estado latente $\theta$ (por ejemplo, la probabilidad de que un paciente tenga una enfermedad).
   • Acciones: Se solicita al modelo que tome una decisión $a \in \mathcal{A}$ (por ejemplo, diagnosticar, no diagnosticar o diferir) basándose en el mismo contexto.
   • Autodeclaraciones: Se le pide al modelo que describa verbalmente la función de pérdida (costos de falsos positivos, falsos negativos y diferimiento) que pretende utilizar, tanto globalmente como para casos específicos.

2. Estimación de la Función de Pérdida (Preferencias Reveladas):

   • Utilizando las creencias elaboradas y las acciones observadas, los autores ajustan un modelo de elección discreta (específicamente un modelo logit multinomial) para recuperar los parámetros de la función de pérdida $\hat{c}$ que mejor racionalizan el comportamiento observado.
   • La función de pérdida se parametriza como $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • El análisis se centra en las relaciones de estos costos (por ejemplo, $c_{FN}/c_{FP}$), las cuales se identifican incluso si la escala absoluta no lo está.

3. Métricas de Evaluación:

   • Consistencia (ILFC): El porcentaje de casos en los que la decisión realizada por el modelo coincide con la decisión óptima derivada de combinar sus creencias elaboradas con la función de pérdida recuperada.
   • Veracidad: Una comparación entre las relaciones de costos autodeclaradas por el modelo y las estimaciones de preferencias reveladas.
   • Análisis de Dirección: El flujo de trabajo prueba si la indicación con funciones de costo específicas o probabilidades de verdad fundamental desplaza las preferencias implícitas del modelo hacia el objetivo.
   • Predicción Contrafactual: Los autores simulan un agente racional utilizando las creencias y preferencias recuperadas para predecir el beneficio de las intervenciones (por ejemplo, "¿Cuál sería la reducción de la pérdida si corrigiéramos las creencias del modelo?"). Estas predicciones se comparan con la reducción de pérdida realizada después de la indicación.

Contribuciones Clave

1. Un Marco para Inferir Utilidades Implícitas: El artículo introduce un procedimiento estructurado para elicitar creencias y decisiones por separado, y luego estima una función de pérdida que racionaliza el comportamiento, avanzando más allá de la precisión estática hacia la alineación basada en la teoría de la decisión.
2. Pruebas Rigurosas de Consistencia: Los autores proporcionan un método para probar si los modelos se comportan como agentes coherentes orientados a objetivos, comparando las decisiones observadas contra la política óptima implícita por sus propias creencias y preferencias recuperadas.
3. Evaluación de la Autodeclaración y la Dirección: El marco prueba si los modelos pueden verbalizar fielmente sus objetivos y si la indicación puede dirigir con éxito sus políticas de decisión para implementar funciones de costo especificadas por el usuario.
4. Descomposición Contrafactual: Los autores demuestran cómo las preferencias reveladas pueden predecir la eficacia de las intervenciones, distinguiendo entre cambios impulsados por actualizaciones de creencias versus desplazamientos de preferencias.

Configuración Experimental y Resultados

El flujo de trabajo se aplicó a cuatro dominios de diagnóstico clínico (enfermedad cardíaca estructural, diabetes, fiebre pediátrica y llanto infantil) utilizando cuatro modelos de vanguardia y de código abierto (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• Coherencia Interna: Los modelos exhiben un grado "sustancial pero imperfecto" de consistencia interna. Cuando se combinan las creencias y las preferencias recuperadas, explican una gran parte de las decisiones (por ejemplo, hasta un 99% de consistencia para GPT-5-High con probabilidades verdaderas), significativamente mejor que las preferencias autodeclaradas.
• Informes Fieles: Los modelos luchan por describir con precisión la función de pérdida que explica sus decisiones. Las relaciones de costos autodeclaradas a menudo se desvían significativamente de las preferencias reveladas (por ejemplo, los modelos a menudo exageran el costo de los falsos negativos en relación con los falsos positivos en sus informes verbales en comparación con sus elecciones reales).
• Capacidad de Dirección:
  • Indicación de Función de Costo: Especificar explícitamente las relaciones de costo en las indicaciones mueve las preferencias implícitas en la dirección correcta en relación con la línea base, pero el movimiento es heterogéneo. Los modelos a menudo se quedan cortos, se exceden o, ocasionalmente, se mueven en la dirección equivocada.
  • Indicación de Probabilidad: Proporcionar probabilidades de verdad fundamental no actualiza simplemente las creencias manteniendo las preferencias fijas. En cambio, altera la función de costo implícita del modelo (preferencias), lo que sugiere que las indicaciones dirigidas a un componente de la toma de decisiones tienen efectos no deseados en otros.
• Validez Contrafactual: La descomposición de preferencias reveladas predice con éxito los beneficios de la indicación de funciones de costo (alta correlación entre la reducción de pérdida predicha y realizada). Sin embargo, falla en predecir los beneficios de la indicación probabilística a menos que también se tenga en cuenta el cambio en la función de costo implícita.

Significado y Afirmaciones

El artículo afirma que las preferencias reveladas ofrecen una herramienta más precisa y rigurosa para evaluar la transparencia y la capacidad de dirección de la toma de decisiones de los LLM que los métodos heurísticos actuales.

• Limitaciones de la Autodeclaración: Los resultados sugieren que los objetivos verbalizados son descripciones poco fiables de las políticas de decisión operativas. Confiar en las autodeclaraciones para la verificación de la alineación es insuficiente.
• Desafíos de Dirección: Aunque los modelos pueden ser dirigidos, no adoptan fielmente los objetivos especificados por el usuario. La naturaleza de "caja negra" de sus compensaciones internas significa que, incluso con instrucciones explícitas, los modelos pueden no implementar la función de costo deseada, y la indicación puede inducir desplazamientos no deseados en las preferencias.
• Utilidad del Marco: La metodología propuesta permite a los investigadores atribuir errores de decisión a errores de creencias factuales o a preferencias desalineadas, proporcionando una manera estructurada de diagnosticar y potencialmente mejorar la alineación de la IA en dominios de alto riesgo.

Los autores enfatizan que sus técnicas describen comportamientos observables dentro de un marco de caja negra y no afirman revelar mecanismos internos, pero proporcionan una base para pasar de afirmaciones informales sobre la búsqueda de objetivos a una fundamentación empíricamente comprobable.