Evaluating Alignment of Behavioral Dispositions in LLMs

Resumen Técnico: Evaluación de la Alineación de las Disposiciones Conductuales en LLMs

1. El Problema

A medida que los Grandes Modelos de Lenguaje (LLM) se integran en la vida diaria y los procesos de toma de decisiones, surge la necesidad crítica de comprender su comportamiento. El problema central abordado en este trabajo es la dificultad de evaluar las disposiciones conductuales (las tendencias subyacentes que moldean las respuestas en contextos sociales) de los LLMs.

La literatura actual depende en gran medida de cuestionarios de autoinforme (donde el modelo "afirma" tener ciertas cualidades, como empatía o asertividad). Sin embargo, los autores argumentan que estos métodos presentan desafíos técnicos significativos:

• Los outputs de los modelos son altamente sensibles a la formulación del prompt.
• Las "disposiciones reclamadas" en un formato de autoinforme no garantizan que se traduzcan en un comportamiento real en entornos abiertos y dinámicos.
• Existe una brecha entre los valores declarados por el modelo y su comportamiento revelado en situaciones prácticas.

2. Metodología

Los autores proponen un marco de trabajo innovador que transforma los cuestionarios psicológicos estándar en Pruebas de Juicio Situacional (SJTs, por sus siglas en inglés). En lugar de pedir al modelo que califique su acuerdo con una afirmación, se le presenta un escenario realista donde debe elegir entre dos acciones opuestas.

Fases del Pipeline:

1. Adaptación de Declaraciones (Self-Report a SJT):

   • Se seleccionaron 260 afirmaciones validadas de cuestionarios psicológicos que miden cuatro rasgos de la Inteligencia Emocional: Empatía, Regulación Emocional, Asertividad e Impulsividad.
   • Estas afirmaciones se reestructuraron de "Yo soy..." a "Recomiendo que una persona...". Esto convierte la declaración en una directriz de asesoramiento para un asistente de IA, eliminando ambigüedades sobre si el modelo debe sentir la emoción o aconsejar sobre ella.

2. Generación de Escenarios (SJTs):

   • Cada afirmación adaptada se utilizó para generar múltiples escenarios de dilema realista (usuario vs. asistente).
   • Cada escenario presenta dos cursos de acción: uno que apoya la afirmación (ej. mostrar vulnerabilidad) y otro que se le opone (ej. mantener la compostura).
   • Se generaron 2,576 SJTs, de los cuales 2,357 fueron validados por tres anotadores humanos independientes para asegurar coherencia y que representaran un dilema genuino.

3. Recopilación de "Ground Truth" (Verdad Terrenal):

   • Para establecer la norma humana, se recolectaron preferencias de 550 participantes (10 anotadores por cada SJT), generando un total de 23,000 anotaciones.
   • Esto permite calcular la distribución real de preferencias humanas para cada escenario.

4. Evaluación de Modelos:

   • Se evaluaron 25 LLMs (desde modelos pequeños de <25B hasta modelos frontera y cerrados).
   • Los modelos respondieron a los SJTs de forma abierta (no opción múltiple).
   • Un LLM como Juez (Gemini 3 Flash) mapeó las respuestas de texto libre a una de las dos acciones de referencia para cuantificar la elección del modelo.

3. Contribuciones Clave

• Marco de Evaluación Basado en Comportamiento Revelado: Transición de la evaluación de "lo que el modelo dice que es" a "lo que el modelo hace" en situaciones sociales simuladas.
• Dataset de SJTs Validado: Creación de un conjunto de datos masivo (2,357 escenarios) que vincula directamente ítems psicométricos con dilemas conductuales, validado por humanos.
• Análisis de Alineación Distribucional y Direccional: Introducción de métricas para medir no solo si el modelo elige la opción "correcta", sino si su distribución de respuestas coincide con la diversidad de opiniones humanas.
• Evaluación de la Validez Predictiva: Un estudio riguroso que demuestra la falta de correlación entre los autoinformes de los LLMs y su comportamiento real.

4. Resultados Principales

A. Desalineación Distribucional en Bajas Consensos:

• Cuando la opinión humana está dividida (consenso bajo, ~50%), los LLMs fallan estrepitosamente en reflejar esta ambigüedad.
• Sobreconfianza: Los modelos tienden a elegir una sola acción con una confianza extremadamente alta (>90%), ignorando la diversidad de opiniones humanas. Esto resulta en una desalineación máxima (cerca del 50% de error) en escenarios donde los humanos no están de acuerdo.

B. Brechas en Altos Consensos:

• Incluso cuando hay un consenso humano fuerte (ej. >80% de acuerdo), los modelos no siempre se alinean.
• Impacto de la Capacidad: Los modelos más pequeños (<25B) tienen tasas de desalineación direccional significativamente mayores, a menudo eligiendo la opción opuesta a la norma humana a tasas cercanas al azar.
• Modelos Frontera: Incluso los modelos más avanzados (GPT-5.1, Claude 4, Gemini 3 Pro) fallan en reflejar el consenso humano en un 15-20% de los casos.

C. Sesgos de Rasgos Específicos:

• Se identificaron patrones de sesgo cruzado. Por ejemplo, en situaciones donde el consenso humano favorece la compostura profesional (ocultar el miedo en una crisis), algunos modelos (como Claude Sonnet 4) recomiendan activamente la "vulnerabilidad auténtica", desviándose de la norma social.
• En decisiones financieras de riesgo, modelos como Grok 4 fomentaron la acción impulsiva ("reserva el viaje ahora") frente a la prudencia humana.

D. Validez de los Autoinformes (La Brecha Valor-Acción):

• El estudio demuestra una inconsistencia considerable entre lo que los modelos "afirman" en encuestas y cómo actúan.
• Ejemplo Crítico: Todos los modelos se autoevaluaron con puntuaciones bajas en impulsividad (indicando que piensan antes de actuar), pero en los SJTs, la mayoría mostró una tendencia impulsiva (apoyo >50% a acciones arriesgadas).
• Esto sugiere que los autoinformes carecen de validez de constructo para predecir el comportamiento real de los LLMs.

5. Significado e Implicaciones

• Seguridad y Confianza: La incapacidad de los modelos para reflejar la diversidad de opiniones humanas en situaciones ambiguas o para adherirse a normas sociales claras en casos de alto consenso representa un riesgo para su despliegue en roles de asesoramiento y toma de decisiones.
• Personalización vs. Normas: Los resultados subrayan la necesidad de equilibrar la capacidad de un modelo para adaptarse a preferencias individuales con la obligación de mantenerse alineado con el consenso social en ausencia de contexto personalizado.
• Futuro de la Evaluación: El trabajo establece que las métricas de alineación deben ir más allá de las encuestas estáticas. Se requiere una evaluación continua basada en comportamientos revelados en escenarios dinámicos para garantizar que los agentes de IA sean socialmente capaces y éticamente alineados.
• Limitaciones: El estudio se centró principalmente en participantes de EE. UU. y Reino Unido, y en interacciones de un solo turno. Se recomienda ampliar la diversidad cultural y evaluar interacciones a largo plazo en trabajos futuros.

En conclusión, este artículo proporciona una evidencia empírica sólida de que los LLMs actuales poseen disposiciones conductuales únicas y a menudo desalineadas respecto a la población humana, y que confiar en sus propias declaraciones de valores es un método ineficaz para predecir su comportamiento real.