Alignment Makes Language Models Normative, Not Descriptive

Resumen Técnico: Alineación vs. Predicción del Comportamiento Humano

1. El Problema

El uso de Modelos de Lenguaje Grandes (LLM) como proxies para simular o predecir el comportamiento humano en ciencias sociales y economía ha crecido exponencialmente. Sin embargo, existe una suposición implícita y no verificada en la literatura actual: que los modelos alineados (optimizados mediante RLHF o DPO para ser útiles, seguros y seguir instrucciones) son equivalentes o superiores a los modelos base (pre-entrenados) para predecir cómo actúan realmente las personas.

Los autores argumentan que la alineación introduce un sesgo normativo. Al optimizar los modelos para que sus respuestas sean aprobadas por evaluadores humanos (cooperativas, justas, socialmente apropiadas), se estrecha la distribución de salida del modelo hacia comportamientos ideales ("cómo deberían actuar"), en detrimento de la captura de dinámicas descriptivas complejas ("cómo actúan realmente"), como el engaño, la retaliación, la reciprocidad y la adaptación dependiente de la historia.

2. Metodología

El estudio realiza una comparación sistemática y rigurosa entre modelos base y sus contrapartes alineadas para evaluar su capacidad predictiva en entornos estratégicos.

• Datos y Escala:

  • Se evaluaron 120 pares de modelos (base vs. alineado) de 23 familias diferentes (incluyendo Llama, Qwen, Gemma, Mistral, etc.).
  • Se utilizaron más de 10,050 decisiones humanas reales extraídas de cuatro familias de juegos estratégicos:
    1. Negociación (Bargaining): Juego de ofertas alternas (Rubinstein).
    2. Persuasión: Juego de "cheap talk" repetido con problemas de credibilidad.
    3. Negociación bilateral: Ofertas de precios con opción de salida.
    4. Juegos de Matriz Repetidos: Dilema del Prisionero y Batalla de los Sexos.
  • Método de Predicción: En lugar de generar texto, se extrajeron las probabilidades logarítmicas (logprobs) de los tokens de decisión específicos (ej. "aceptar", "rechazar") para calcular la distribución de probabilidad predicha por el modelo. Esto permite una comparación determinista y justa sin sesgos de muestreo.
  • Métrica Principal: Correlación de Pearson entre la probabilidad predicha por el modelo y la decisión humana real (codificada como 0 o 1).

• Condiciones de Control:

  • Se compararon pares del mismo proveedor para aislar el efecto de la alineación.
  • Se probaron múltiples formatos de prompt (nativo vs. plantilla de chat) para descartar que las diferencias se deban al formato de entrada.
  • Se incluyeron condiciones de frontera (juegos de una sola ronda y loterías no estratégicas) para probar los límites de la hipótesis.

3. Contribuciones Clave

1. Evidencia Empírica de la "Tasa de Alineación" (Alignment Tax) en Predicción: Demuestran que la alineación degrada significativamente la fidelidad predictiva del comportamiento humano en contextos estratégicos interactivos, contradiciendo la práctica común de usar modelos alineados para simulaciones sociales.
2. Distinción Normativa vs. Descriptiva: Establecen que los modelos alineados son mejores predictores de comportamientos normativos (racionales, de equilibrio de Nash, éticos), mientras que los modelos base son superiores para predecir comportamientos descriptivos (complejos, históricos, emocionales y estratégicos).
3. Análisis de la Dinámica Temporal: Identifican que la ventaja de los modelos base no es estática; emerge a medida que se acumula la historia de interacción. En la primera ronda (sin historia), los modelos alineados a menudo superan a los base, pero invierten esta ventaja rápidamente en rondas subsiguientes.

4. Resultados Principales

• Ventaja Abrumadora de los Modelos Base en Juegos Multironda:

  • En juegos estratégicos repetidos (negociación, persuasión, etc.), los modelos base superaron a sus contrapartes alineadas en una proporción de 9.7:1 (213 victorias frente a 22).
  • Esta ventaja fue robusta a través de todas las familias de modelos, formulaciones de prompts y configuraciones de juego.
  • La ventaja crece con la escala del modelo (tamaño de parámetros).

• Inversión de la Ventaja en Condiciones de Frontera:

  • Juegos de Una Sola Ronda (One-shot): En juegos de matriz 2x2 sin historia previa, los modelos alineados ganaron con una proporción de 4.1:1. Sus predicciones se alinearon más estrechamente con el Equilibrio de Nash, que a su vez correlaciona bien con el comportamiento humano en estos contextos simples.
  • Loterías No Estratégicas: En decisiones individuales sin interacción (elección de loterías), los modelos alineados ganaron 2.2:1.
  • Primera Ronda de Juegos Repetidos: Dentro de los juegos multironda, en la ronda 1 (antes de que se desarrolle la historia), los modelos alineados a menudo ganaban, pero perdían consistentemente desde la ronda 2 en adelante.

• Robustez:

  • El resultado se mantuvo independientemente del formato del prompt (texto plano vs. plantilla de chat), descartando que la ventaja se deba a la incompatibilidad de formatos.
  • La ventaja de los modelos base se observó en todas las familias de modelos probadas, desde modelos pequeños (~1B) hasta grandes (>70B).

5. Significado e Implicaciones

• Para la Investigación en Ciencias Sociales: El uso de modelos alineados para simular participantes humanos (e.g., en estudios de opinión, economía conductual o dinámica social) puede producir resultados sesgados hacia un comportamiento "idealizado" o normativo, en lugar de reflejar la realidad descriptiva. Esto podría llevar a conclusiones erróneas sobre cómo los humanos toman decisiones en situaciones de conflicto o cooperación.
• Para el Desarrollo de Modelos: Existe una compensación fundamental (trade-off) entre optimizar un modelo para su uso humano (ayuda, seguridad, alineación) y su utilidad como proxy de comportamiento humano. Los métodos actuales de alineación (RLHF/DPO) colapsan la diversidad de preferencias hacia modos dominantes, suprimiendo las "colas" de la distribución donde residen comportamientos estratégicos complejos como la retaliación o el engaño.
• Recomendación Práctica:
  • Para simulaciones de comportamiento humano en entornos interactivos y estratégicos, se deben preferir los modelos base.
  • Para tareas de una sola ronda, decisiones individuales no estratégicas o aplicaciones donde se busca el comportamiento "correcto" o normativo, los modelos alineados siguen siendo apropiados.

En conclusión, el artículo demuestra que la alineación transforma a los LLMs en modelos de cómo la gente debería comportarse según ciertas normas, pero los hace peores predictores de cómo la gente realmente se comporta en interacciones estratégicas complejas.