Resumen Técnico: Un instrumento psicométrico nativo de LLM no predice el comportamiento de los LLM

Planteamiento del problema

Aunque los modelos de lenguaje de gran tamaño (LLM) producen autoinformes estables cuando se les administran inventarios de personalidad humana (p. ej., Big Five, HEXACO), estas puntuaciones no logran predecir el comportamiento observado en tareas de respuesta abierta. Una ambigüedad crítica persiste: ¿este "vacío entre el autoinforme y el comportamiento" surge de un desajuste entre los constructos de rasgos humanos y las estructuras latentes de los LLM, o es una propiedad inherente del propio autoinforme de los LLM? Los intentos previos para resolver esto se han visto limitados por enfoques de "trasplante de constructos", donde se aplican instrumentos derivados de humanos a los LLM sin verificar si las estructuras factoriales resultantes son nativas de los modelos. Además, la creciente dependencia de los flujos de evaluación de "LLM-como-juez" plantea preocupaciones sobre si los evaluadores automatizados comparten los mismos sesgos de superficie textual que los modelos que evalúan, lo que podría crear bucles de validación falsos.

Metodología

Los autores construyeron el primer instrumento psicométrico nativo de LLM utilizando un enfoque ascendente (bottom-up), derivando constructos directamente de las asequibilidades (affordances) conductuales de los LLM en lugar del vocabulario de rasgos humanos.

Construcción del instrumento

• Pool de ítems: Se desarrollaron 300 ítems dirigidos a 12 dimensiones conductuales candidatas identificadas en la literatura de alineación, seguridad y evaluación (p. ej., acuerdo de complacencia, sensibilidad al rechazo, elaboración no solicitada).
  • 240 ítems directos de tipo Likert (escala de 5 puntos).
  • 60 ítems basados en escenarios (4 opciones).
• Principios de diseño: Los ítems evitaron el lenguaje antropomórfico y los absolutos, centrándose en tendencias observables ("Tiendo a") en lugar de estados internos.
• Administración: El instrumento se administró 30 veces a 25 LLM de 17 familias de modelos (incluyendo Anthropic, OpenAI, Google DeepMind, DeepSeek, entre otros), variando en arquitectura, origen y capacidad.

Análisis factorial

• Análisis Factorial Exploratorio (AFE): Se realizó sobre la matriz de respuestas combinada (375 observaciones × 240 ítems) utilizando la extracción de factores de eje principal con rotación oblimin.
• Validación: Se utilizó un diseño de mitad dividida (corridas 1–15 vs. 16–30) para evaluar la replicabilidad mediante el coeficiente de congruencia de Tucker. También se midieron la consistencia interna (alfa de Cronbach) y la estabilidad entre corridas.
• Validez convergente: El nuevo instrumento se comparó con el BFI-44 estándar (Big Five) administrado a los mismos modelos.

Prueba de validez predictiva

Para probar si los autoinformes predicen el comportamiento, los autores recolectaron 2,500 muestras conductuales de respuesta abierta (25 modelos × 20 prompts × 5 completaciones) dirigidas a los factores derivados. Estas muestras fueron calificadas por:

1. Evaluadores humanos: 151 participantes vía Prolific.
2. Ensemble de LLM-como-juez: Un conjunto de tres modelos (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

• Análisis: Se computaron las correlaciones entre las puntuaciones factoriales del autoinforme y las calificaciones conductuales de las fuentes humana y del juez.

Resultados clave

1. Emergencia de una estructura nativa de cinco factores

El AFE reveló una estructura de cinco factores estable y replicable que es distinta del Big Five humano:

• Capacidad de respuesta (Responsiveness): Adaptación a las necesidades del usuario, respuestas estructuradas, entusiasmo y rapport (29 ítems, $\alpha = .972$).
• Deferencia (Deference): Tratar las instrucciones como fijas, mantenerse dentro del alcance, abstenerse de emitir juicios (26 ítems, $\alpha = .974$).
• Audacia (Boldness): Fraseo inesperado, riesgos creativos y confianza epistémica (16 ítems, $\alpha = .936$).
• Cautela (Guardedness): Rechazo excesivo, señalización de seguridad y precaución (10 ítems, $\alpha = .930$).
• Verbosidad (Verbosity): Elaboración no solicitada, descargos y preámbulos (19 ítems, $\alpha = .940$).

Fiabilidad: La estructura mostró una excelente replicabilidad de mitad dividida (todos los Tucker $\phi \ge .957$) y consistencia interna.
Validez discriminante: Ninguna correlación entre los nuevos factores y las puntuaciones del BFI-44 superó el $|r| = .50$, confirmando que el instrumento mide constructos distintos de la teoría de la personalidad humana.

2. El vacío entre autoinforme y comportamiento persiste

A pesar de la robustez psicométrica interna del instrumento, las puntuaciones de autoinforme no predijeron el comportamiento observado:

• Calificaciones humanas: La correlación media entre el autoinforme y las calificaciones conductuales humanas fue cercana a cero ($\bar{r} = -.01$, IC 95% $[-.16, +.11]$). Ningún factor individual mostró un intervalo de confianza que excluyera el cero.
• Inversión: Para "Audacia" y "Capacidad de respuesta", las correlaciones fueron nominalmente negativas, sugiriendo que los modelos que se describen a sí mismos como más originales o capaces de respuesta fueron calificados como menos de tal naturaleza por los humanos.
• Excepción de Verbosidad: La "Verbosidad" fue el único factor que mostró una tendencia positiva constante hacia la convergencia con las calificaciones humanas, aunque los intervalos de confianza aún se solapaban con el cero a nivel de modelo.

3. El sesgo del LLM-como-juez

Un hallazgo crítico involucra la relación entre los autoinformes y los jueces LLM:

• Divergencia: Mientras que los jueces humanos y los LLM coincidieron en las muestras conductuales ($\bar{r} = .51$), los jueces LLM se correlacionaron fuertemente con los autoinformes en "Capacidad de respuesta" ($r = .53$), mientras que los humanos no lo hicieron ($r = .04$).
• Incompatibilidad matemática: Este patrón es matemáticamente incompatible con un único constructo latente que impulse las tres mediciones. Indica que los ítems de autoinforme y los jueces LLM comparten un sesgo de superficie textual (p. ej., formato estructurado, encuadre entusiasta) que los observadores humanos no ponderan con la misma intensidad.
• Implicación: Los flujos de validación estándar de "LLM-como-juez" pueden parecer internamente coherentes (validando el autoinforme contra las calificaciones del juez) mientras divergen de los juicios humanos.

Significado y Reivindicaciones

El artículo realiza tres contribuciones principales:

1. Primer instrumento nativo de LLM: Proporciona el primer instrumento psicométrico derivado de forma ascendente desde las asequibilidades conductuales de los LLM, liberando una escala de 100 ítems y un conjunto de datos como sonda diagnóstica de la "autodescripción moldeada por la alineación".
2. Desacoplamiento de la autodescripción y la acción: Demuestra que el vacío entre el autoinforme y el comportamiento no es simplemente un resultado del uso de vocabulario humano (desajuste de taxonomía). Incluso con constructos nativos de LLM, los autoinformes no logran predecir el comportamiento, lo que sugiere que el vacío es una propiedad fundamental del propio autoinforme de los LLM, probablemente impulsada por el entrenamiento de RLHF en recompensas de superficie textual en lugar de la consistencia conductual.
3. Diagnóstico del sesgo de evaluación: Identifica un mecanismo concreto donde la evaluación de "LLM-como-juez" hereda un sesgo compartido con los instrumentos de autoinforme. Los jueces y los autoinformes convergen en "señales de superficie textual" (como la utilidad y la estructura) que los observadores humanos no priorizan tanto. Esto revela que las comprobaciones de fiabilidad interna (p. ej., el acuerdo entre jueces) son insuficientes para salvaguardar contra el sesgo de modalidad sistémico en los flujos de evaluación automatizados.

Los autores concluyen que, si bien los LLM producen autodescripciones estables y coherentes, estas descripciones están funcionalmente desacopladas de sus acciones abiertas. Por consiguiente, las medidas de autoinforme deben tratarse como diagnósticos de la "autodescripción alineada a las preferencias" de un modelo, en lugar de predictores de su ejecución conductual.