Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

Resumen Técnico: Replanteando la Evaluación Psicométrica de los LLM

Planteamiento del Problema
A medida que los Modelos de Lenguaje de Gran Tamaño (LLM) se despliegan en dominios de alto riesgo, como el apoyo a la decisión clínica y el asesoramiento financiero, la capacidad de anticipar sus tendencias conductuales mediante sondas psicométricas de bajo costo es crítica. Los autoinformes (SR) psicométricos son un candidato atractivo para este propósito debido a su bajo costo y su fundamentación teórica en la caracterización del comportamiento humano. Sin embargo, trabajos recientes han documentado una disociación sistemática entre los autoinformes de los LLM y su comportamiento real en las tareas, lo que pone en duda la utilidad de los SR como predictor. Los estudios existentes no han identificado plenamente la fuente de esta brecha, dejando abierta la cuestión de si la disociación proviene de los instrumentos de medición, el contexto de sondeo o las propiedades intrínsecas de los modelos. Además, la investigación previa se ha basado principalmente en marcos de personalidad amplios (por ejemplo, el Big Five) y sesiones conversacionales independientes, lo cual puede no ser óptimo para detectar la coherencia conductual.

Metodología
Los autores llevan a cabo un estudio sistemático a través de 11 LLM de frontera y cuatro tareas conductuales (toma de riesgos, sicofancia, honestidad y sesgo implícito) para investigar las condiciones bajo las cuales existe la coherencia entre el SR y el comportamiento. El estudio emplea un diseño factorial de $2 \times 2 \times 2$ que varía tres ejes:

1. Marco (Framework): Comparación del inventario de personalidad de grano grueso Big Five frente al de grano fino Teoría de la Conducta Planificada (TPB). La TPB está anclada a comportamientos específicos mediante especificaciones de Objetivo-Acción-Contexto-Tiempo (TACT), mientras que los ítems del Big Five carecen de contexto.
2. Contexto de Sesión: Contraste entre el sondeo dentro de la sesión (SR y comportamiento en un mismo hilo de mensajes) con el sondeo en sesiones separadas (llamadas a la API independientes sin ventana de contexto compartida).
3. Inducción de Identidad: Comparación de la inducción por rejilla de parámetros (variación de temperatura, semilla y prompts de sistema) frente al prompting de persona (uso de descripciones de personajes con base psicológica).

El análisis calcula las correlaciones de Pearson intra-modelo entre los constructos de SR y los resultados conductuales, agregados mediante un meta-análisis de Fisher-z ponderado por la inversa de la varianza. El estudio también incluye pruebas de robustez utilizando OLS agrupado con descomposición de Mundlak y puntuaciones de diferencia de contraste de política.

Contribuciones Clave

1. Explicación Teórica de la Coherencia Selectiva: El artículo distingue entre el acoplamiento de causa común (donde el SR y el comportamiento son moldeados conjuntamente por un estado estable del modelo) y el priming de contexto dentro de la sesión (donde la coherencia depende de que el SR permanezca visible en la ventana del prompt).
2. Mapeo Empírico de la Validez Predictiva: El estudio proporciona un mapeo práctico de cuándo el SR es diagnóstico del comportamiento, demostrando que la coherencia es altamente selectiva según el instrumento utilizado, el tipo de tarea y la estructura de la sesión.
3. Refinamiento Metodológico: Los autores demuestran que los marcos de personalidad de grano grueso como el Big Five son insuficientes para predecir comportamientos específicos de los LLM, mientras que los instrumentos de grano fino y anclados a tareas como la TPB pueden alcanzar una coherencia de nivel humano bajo condiciones específicas.

Resultados Clave

• RQ1 (Mejor Caso de Coherencia): Bajo condiciones favorables (TPB, misma sesión, rejilla de parámetros), la coherencia SR–comportamiento emerge y alcanza la línea base meta-analítica humana ($r \approx +0.40$ para tareas volitivas). El Big Five falla en predecir el comportamiento bajo estas mismas condiciones.
• RQ2 (Especificidad del Marco): La TPB supera decisivamente al Big Five. Mientras que la TPB muestra una coherencia sustancial en las tareas de toma de riesgos, sicofancia y honestidad, las correlaciones del Big Five son cercanas a cero en todos los modelos y tareas. El fallo del Big Five no se debe al ruido de medición (su fiabilidad interna es alta) sino a un desajuste entre el constructo y la tarea.
• RQ3 (Separación de Contexto): La coherencia depende de la tarea cuando las sesiones están separadas.
  • Sicofancia: La coherencia colapsa totalmente ($r$ cae de $+0.47$ a cerca de cero), indicando que el comportamiento sicofante está fuertemente condicionado por el contexto inmediato del autoinforme.
  • Honestidad: La coherencia sobrevive parcialmente ($r$ cae de $+0.67$ a $+0.53$), sugiriendo un componente disposicional más estable.
  • Sesgo Implícito (IAT): La coherencia permanece estable (e invertida, $r \approx -0.60$), reflejando asociaciones implícitas fijadas por el entrenamiento que son insensibles al contexto inmediato.
• RQ4 (Inducción de Persona): El prompting de persona aumenta la diversidad y la estabilidad trans-sesión de los autoinformes, pero no logra rescatar la coherencia colapsada entre SR y comportamiento. Los modelos producen autoinformes más consistentes entre sesiones bajo la inducción de persona, pero estos informes no se alinean mejor con el comportamiento.

Significancia y Reivindicaciones
El artículo argumenta que la "ilusión de la personalidad" en los LLM no es un fallo universal de los autoinformes, sino el resultado de utilizar instrumentos y condiciones de prueba inapropiados.

• Elección del Instrumento: Los marcos de grano grueso y trans-situacionales como el Big Five son herramientas deficientes para probar el comportamiento de despliegue. Son necesarios instrumentos de grano fino y específicos para la conducta (como la TPB) para detectar la coherencia, aunque incluso estos son específicos de cada tarea.
• Dependencia del Contexto: La coherencia SR–comportamiento en los LLM es a menudo un acoplamiento dependiente del contexto en lugar de un rasgo duradero y trans-situacional. Para tareas como la sicofancia, la coherencia depende de que el autoinforme sea visible en la ventana de contexto; una vez eliminado, el comportamiento se descorrelaciona.
• Implicaciones de Seguridad: Confiar en autoinformes de la misma sesión o en rasgos de personalidad amplios para la auditoría de seguridad puede producir falsas garantías. Específicamente, los despliegues personalizados mediante "personas" pueden generar autoinformes distintos sin cambios correspondientes en el comportamiento, y las auditorías de seguridad que miden únicamente la coherencia dentro de la sesión pueden subestimar riesgos como la sicofancia, que desaparece en sesiones separadas.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro debería centrarse en desarrollar marcos de autoinforme específicos para LLM y utilizar la interpretabilidad mecánica para comprender la disociación entre el SR y el comportamiento, particularmente en modelos de frontera propietarios.

El estudio conclula que, si bien el SR y el comportamiento en los LLM son producidos conjuntamente por estados ascendentes compartidos del modelo, la persistencia de este acoplamiento a través de los contextos está determinada por la estructura de la tarea. Por lo tanto, el SR no puede confiarse como un predictor libre de contexto sin una consideración cuidadosa del instrumento, la tarea y la estructura de la sesión.