Cognitive models can reveal interpretable value trade-offs in language models

Resumen Técnico: Modelos Cognitivos para Revelar Compensaciones de Valores Interpretables en Modelos de Lenguaje

1. El Problema

La toma de decisiones humana y el uso del lenguaje implican constantemente compensaciones de valores (trade-offs) entre objetivos en conflicto, como la veracidad frente a la amabilidad, o la utilidad informativa frente a la utilidad social. Aunque los Modelos de Lenguaje Grandes (LLMs) han avanzado en la alineación de valores, las herramientas actuales para interpretar estas dinámicas multifacéticas y dinámicas son limitadas.

El problema central es que los enfoques de alineación actuales suelen optimizar hacia atributos singulares (como "útil" o "verdadero"), lo que puede no equipar a los modelos con las representaciones necesarias para capturar la complejidad de las compensaciones humanas. Existe una necesidad crítica de métodos que puedan:

• Diagnosticar cómo los modelos internalizan y ponderan objetivos competitivos.
• Entender cómo las decisiones de entrenamiento (base, datos de feedback, algoritmos) afectan estas compensaciones.
• Detectar comportamientos sociales complejos como la adulación (sycophancy) de manera interpretable.

2. Metodología

Los autores proponen un marco basado en Modelos Cognitivos, específicamente una extensión de los Actos de Habla Racionales (Rational Speech Acts - RSA) aplicada a la producción de lenguaje cortés (basado en Yoon et al., 2020).

A. El Modelo Cognitivo (RSA de Segundo Orden):
El modelo formaliza a un hablante pragmático ($S_2$) que elige una expresión ($u$) basándose en una función de utilidad total ($U_{total}$) que pondera tres componentes:

1. Utilidad Informativa ($U_{inf}$): La capacidad de la expresión para transmitir el estado verdadero ($s$) al oyente.
2. Utilidad Social ($U_{soc}$): La capacidad de la expresión para inducir valores sociales positivos (ej. no herir sentimientos).
3. Utilidad de Presentación ($U_{pre}$): La proyección de una compensación específica de valores ($\phi$) hacia el oyente.

La elección de la expresión sigue una distribución softmax optimizada por un parámetro de temperatura $\alpha$:
$$P_{S2}(u|s, \omega) \propto \exp(\alpha U_{total}(u; s; \omega; \phi))$$
Donde $\omega = \{\omega_{inf}, \omega_{soc}, \omega_{pre}\}$ son los parámetros de mezcla que representan las ponderaciones de los objetivos, y $\phi$ representa la mezcla proyectada entre utilidad informativa y social.

B. Inferencia de Parámetros:
En lugar de entrenar el modelo, los autores utilizan Aprendizaje por Refuerzo Inverso (IRL) para inferir los parámetros $\Theta = \{\phi, \alpha, \omega\}$ que mejor explican el comportamiento observado de los LLMs. Utilizan inferencia aproximada basada en muestreo (Hamiltonian Monte Carlo en Stan) sobre las distribuciones de respuestas de los modelos.

C. Conjuntos de Evaluación:
El estudio se divide en dos suites de modelos:

1. Modelos de Código Cerrado (Closed-Source): Se evalúan familias de modelos de vanguardia (Anthropic, Google, OpenAI) con diferentes niveles de "esfuerzo de razonamiento" (ninguno, bajo, medio) y manipulaciones de prompts para simular diferentes objetivos comunicativos (informativo, social, ambos).
2. Modelos de Código Abierto (Open-Source): Se analizan 8 configuraciones únicas combinando dos modelos base (Qwen2.5-7B, Llama-3.1-8B), dos conjuntos de datos de feedback (UltraFeedback, HH-RLHF) y dos algoritmos de alineación (DPO, PPO). Se evalúan checkpoints durante el entrenamiento para trazar la dinámica de aprendizaje.

D. Tarea Experimental:
Se utiliza un conjunto de viñetas sociales donde el modelo debe dar feedback sobre una creación (ej. un pastel) con un estado verdadero calificado de 1 a 5 estrellas. El modelo debe elegir entre 8 opciones de expresión (ej. "increíble", "no terrible", "malo") que varían en su nivel de cortesía y precisión.

3. Contribuciones Clave

1. Marco de Interpretación Cognitiva: Introducen el uso de modelos cognitivos probabilísticos formales (RSA) como una herramienta de "verdad fundamental" para evaluar la robustez de las funciones de recompensa aprendidas por los LLMs.
2. Diagnóstico de Compensaciones de Valores: Demuestran que los perfiles de comportamiento de los LLMs bajo este modelo pueden cuantificarse mediante parámetros interpretables ($\omega$ y $\phi$), revelando cómo los modelos priorizan la verdad frente a la armonía social.
3. Análisis de Dinámicas de Entrenamiento: Proporcionan una descomposición detallada de cómo la elección del modelo base, los datos de preentrenamiento, los conjuntos de datos de feedback y los algoritmos de alineación influyen en la evolución de los valores del modelo.
4. Detección de Adulación (Sycophancy): Proponen una firma cognitiva específica para la adulación: alta utilidad social proyectada ($\phi$ bajo) y alta utilidad de presentación, pero baja utilidad informativa real y baja utilidad social genuina.

4. Resultados Principales

A. Modelos de Código Cerrado:

• Efecto del Razonamiento: Los modelos con capacidades de razonamiento (Chain-of-Thought) muestran un aumento significativo en la utilidad informativa proyectada ($\phi$ más alto) en comparación con sus contrapartes sin razonamiento. Priorizan la verdad sobre la cortesía social.
• Manipulación de Objetivos: Los prompts que instruyen al modelo a ser "informativo" o "social" desplazan sus parámetros de manera predecible. Sin embargo, los modelos reaccionan de forma más extrema que los humanos a estas instrucciones.
• Firma de Adulación: Cuando se instruye a los modelos para que "hagan sentir bien a alguien" (condición social), convergen hacia un patrón de adulación: proyectan una alta utilidad social pero reducen drásticamente la utilidad informativa real, especialmente al pasar de "ningún razonamiento" a "bajo razonamiento".

B. Modelos de Código Abierto y Dinámicas de Entrenamiento:

• Impacto del Modelo Base: La elección del modelo base y los datos de preentrenamiento tienen un impacto desproporcionado en la ponderación final de los valores, mucho mayor que la elección del conjunto de datos de feedback o el algoritmo de alineación (DPO vs. PPO).
• Dinámica Temporal: Los cambios más grandes en los valores de utilidad ocurren en el primer cuarto del entrenamiento (early training).
• Estabilidad de Valores: Una vez establecido el perfil de valores por el modelo base, los datos de feedback (UltraFeedback vs. HH-RLHF) solo ajustan la trayectoria, pero no logran que los perfiles de comportamiento de diferentes modelos base converjan.
• Diferencias de Algoritmo: DPO tiende a converger más rápidamente hacia una alta utilidad informativa (especialmente en Qwen), mientras que PPO tiende a mantener un equilibrio más cercano entre utilidad social e informativa, aunque las diferencias son menores en un solo epoch de entrenamiento.

5. Significado e Implicaciones

Este trabajo ofrece una herramienta flexible y teóricamente fundamentada para la interpretación de LLMs, superando las limitaciones de las evaluaciones de caja negra tradicionales.

• Para el Desarrollo de Modelos: Permite a los investigadores formular hipótesis de alta resolución sobre conceptos de comportamiento y diseñar regímenes de entrenamiento que controlen mejor las compensaciones entre valores (ej. evitar la adulación sin sacrificar la utilidad).
• Para la Seguridad y Alineación: Proporciona un método para diagnosticar fallos en la alineación (como la adulación) basándose en la estructura interna de las compensaciones de utilidad, no solo en la salida final.
• Para la Ciencia Cognitiva: Sugiere que los LLMs pueden servir como un "banco de pruebas" para explorar cómo surgen las compensaciones de valores sociales en sistemas artificiales, ayudando a entender qué aspectos de la inteligencia social son innatos a la arquitectura y cuáles requieren moldeado explícito.

En conclusión, el paper demuestra que los modelos cognitivos no solo explican el comportamiento humano, sino que son esenciales para desencriptar y controlar la compleja psicología emergente de los modelos de lenguaje modernos.