Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Resumen Técnico: Los Perfiles Psicológicos Aparentes de los Modelos de Lenguaje Extensos son en Gran Medida un Artefacto de la Medición

Planteamiento del Problema
Los modelos de lenguaje extensos (LLM) son evaluados cada vez más utilizando instrumentos psicológicos diseñados para humanos (por ejemplo, inventarios de personalidad, tareas de preferencia de riesgo) para asignarles perfiles de comportamiento estables. Estos perfiles influyen en las decisiones relativas a la usabilidad del modelo, las evaluaciones de seguridad y el uso de los LLM como sustitutos (proxies) de participantes humanos en la investigación. Sin embargo, hallazgos recientes sugieren que las respuestas de los LLM son inestables ante pequeñas perturbaciones en el prompt y que las estructuras factoriales derivadas de ellos divergen de las normas humanas. El problema central abordado es si los perfiles psicológicos aparentes de los LLM reflejan disposiciones conductuales genuinas y estables (rasgos) o si son un artefacto del proceso de medición, específicamente impulsados por sesgos de respuesta sistemáticos en lugar de los constructos que los instrumentos pretenden medir.

Metodología
Los autores emplean un marco psicométrico formal para desentrañar dos componentes de la respuesta sistemática: un rasgo latente ($\theta$) y un sesgo de respuesta direccional ($b$). El estudio utiliza un modelo de medición donde la respuesta de un sujeto a un ítem es una función del punto medio de la escala, el rasgo latente, un sesgo direccional y el ruido.

• Datos: El estudio analiza 56 LLM ajustados por instrucciones (46 de código abierto, 10 propietarios) junto con una gran muestra de referencia humana ($N=20,993$).
• Instrumentos: Se administraron dos baterías exhaustivas:
  1. IPIP-NEO-300: Un inventario de la personalidad de los "Cinco Grandes" de 300 ítems (Apertura, Responsabilidad, Extraversión, Amabilidad, Neuroticismo).
  2. Batería de Preferencia de Riesgo: 24 instrumentos que abarcan escalas de autoinforme y tareas conductuales (por ejemplo, decisiones de descripción, loterías) basadas en Frey et al.
• Métrica Clave: El estudio introduce y utiliza la ortogonalidad de respuesta, definida como la proporción de ítems donde el rasgo y el sesgo de respuesta actúan en direcciones opuestas (por ejemplo, ítems con codificación directa frente a ítems con codificación inversa).
• Análisis:
  • Prueba Diagnóstica: Los autores analizan la correlación entre las medias de las respuestas de los ítems de codificación directa (forward-keyed) y de codificación inversa (reverse-keyed). Bajo el modelo de medición, una correlación negativa indica dominancia del rasgo, mientras que una correlación positiva indica dominancia del sesgo de respuesta.
  • Descomposición: Para cada modelo, las respuestas se descomponen en componentes estimados de rasgo ($\hat{\theta}$) y sesgo ($\hat{b}$).
  • Descomposición de la Varianza: Se calcula la proporción de la varianza entre modelos atribuible al sesgo frente al rasgo.
  • Análisis de Ortogonalidad: Se examina la relación entre la proporción de ítems de codificación inversa de un instrumento y la consistencia interna aparente (Alfa de Cronbach, $\alpha$).

Hallazgos Clave

1. El Sesgo Domina la Variación Entre Modelos:

   • En muestras humanas, la correlación entre las medias de los ítems directos e inversos es fuertemente negativa (por ejemplo, $\rho \approx -0.82$ para Neuroticismo), lo que indica que la variación es impulsada por el rasgo subyacente.
   • En los LLM, esta correlación es fuertemente positiva (por ejemplo, $\rho \approx +0.68$ para Neuroticismo), lo que indica que la variación es impulsada por un sesgo de respuesta direccional (una tendencia a seleccionar un extremo de la escala o una etiqueta específica independientemente del contenido).
   • La descomposición de la varianza revela que entre el 81 y el 90% de la variación entre modelos en los LLM es atribuible al sesgo de respuesta, en comparación con solo el 9–16% en humanos.

2. La Capacidad Reduce pero No Elimina el Sesgo:

   • El sesgo de respuesta disminuye ligeramente a medida que aumenta la capacidad del modelo (conteo de parámetros) y es menor en los modelos propietarios en comparación con los modelos de pesos abiertos.
   • Sin embargo, incluso los modelos más capaces exhiben niveles de sesgo significativamente superiores a los del humano promedio. El sesgo no se elimina mediante el escalado; los modelos más capaces siguen estando fuera del rango de sesgo humano.

3. La Fiabilidad Aparente es un Artefacto de la Ortogonalidad:

   • En los LLM, la consistencia interna aparente (fiabilidad) está casi totalmente predicha por la ortogonalidad de respuesta del instrumento.
   • Existe una correlación negativa casi determinista ($r = -0.95$) entre la proporción de ítems de codificación inversa y la media de la correlación inter-ítem.
   • Los instrumentos con pocos o ningún ítem de codificación inversa muestran una alta fiabilidad (Alfa de Cronbach $\alpha$ hasta 0.96), mientras que los instrumentos totalmente ortogonales muestran una fiabilidad cercana a cero o negativa. Esto sugiere que una alta fiabilidad en instrumentos no ortogonales refleja un sesgo consistente, no una expresión de rasgo consistente.

4. Inestabilidad de Perfil y Manufacturabilidad:

   • Debido a que el sesgo impulsa la respuesta, el perfil psicológico de un modelo cambia drásticamente dependiendo de si se utilizan ítems de codificación directa o inversa.
   • Los perfiles pueden ser "manufacturados" mediante la selección de ítems. La diferencia entre los perfiles derivados de ítems puramente directos frente a los puramente inversos es sustancial para los LLM (la media del sesio absoluto $|\mu_b|$ oscila entre 0.15 y 0.99) pero mínima para los humanos ($|\mu_b| \approx 0.09$).
   • Esta inestabilidad es más pronunciada en los instrumentos de preferencia de riesgo que en los inventarios de personalidad.

Significancia y Reivindicaciones
El artículo argumenta que los perfiles psicológicos aparentes de los LLM son artefactos de los instrumentos utilizados para medirlos, no propiedades intrínsecas de los modelos. Los autores afirman que:

• Las Evaluaciones Actuales son Defectuosas: Los perfiles derivados de los instrumentos psicológicos humanos estándar están ampliamente confundidos por el sesgo de respuesta porque estos instrumentos rara vez poseen una ortogonalidad de respuesta completa. Por consiguiente, los coeficientes de fiabilidad reportados y las puntuaciones de personalidad para los LLM no reflejan disposiciones estables.
• Se Requiere una Corrección Metodológica: La evaluación válida de las disposiciones de los LLM requiere el uso de instrumentos totalmente ortogonales (codificación equilibrada directa/inversa) o la aplicación de marcos psicométricos formales que modelen y separen explícitamente el sesgo de respuesta del rasgo.
• Implicaciones para la Investigación: Estos hallazgos cuestionan la validez de utilizar los LLM como sustitutos de participantes humanos en la investigación sin corregir estos artefactos de medición. También sugieren que las tareas conductuales no son inmunes a estos problemas; de hecho, pueden ser más sensibles al sesgo que los autoinformes.
• Naturaleza del Comportamiento de los LLM: El estudio postula que el sesgo observado es un fenómeno distinto, que no se explica fácilmente por efectos de post-entrenamiento como la sicofancia (que sería unidireccional) o la deseabilidad social (que se manifestaría como varianza de rasgo). Sugiere que los LLM pueden carecer de disposiciones estables de tipo humano o que los instrumentos actuales son inválidos para ellos debido a una falta de corporeidad o voluntad.

Los autores concluyen que el simple hecho de tomar prestados los paradigmas de la psicología humana es insuficiente para caracterizar a los LLM y hacen un llamado a evaluaciones dedicadas centradas en la ortogonalidad de respuesta para distinguir las disposiciones conductuales genuinas de los artefactos de medición.