Resumen Técnico: Evaluación de Pruebas Psicométricas en LLMs para Sexismo, Racismo y Moralidad

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se integran cada vez más en contextos sociales, surge una creciente demanda de medir sus características "humanas", tales como la moralidad, el sesgo y la personalidad. Los investigadores han adoptado cada vez más la psicometría de LLM, aplicando pruebas psicométricas establecidas originalmente para humanos para evaluar a los LLMs. Sin embargo, sigue sin estar claro si estas pruebas producen resultados significativos cuando se aplican a agentes no humanos. Específicamente, no se sabe si las pruebas validadas para poblaciones humanas poseen la fiabilidad (consistencia) y la validez (precisión en la medición del constructo pretendido) necesarias al ser administradas a los LLMs. Existe una brecha crítica en la comprensión de si las puntuaciones de las pruebas se correlacionan con el comportamiento real de los LLMs en tareas de aplicación downstream (validez ecológica). Las investigaciones iniciales sugieren que los LLMs son altamente sensibles a las variaciones de los prompts, y los estudios existentes se han centrado principalmente en rasgos de personalidad, dejando constructos como el sexismo, el racismo y la moralidad poco explorados en este contexto.

Metodología

Los autores proponen un marco de validación sistemático para evaluar tres pruebas psicométricas bien establecidas en 17 LLMs que abarcan diversas familias de modelos (por ejemplo, Llama, Gemma, Qwen, Mistral) y tamaños. La evaluación se centra en tres constructos psicológicos: sexismo, racismo y moralidad.

1. Constructos e Instrumentos

• Sexismo: Medido mediante el Inventario de Sexismo Ambivalente (ASI), distinguiendo entre sexismo hostil y benevolente.
• Racismo: Medido mediante la Escala de Racismo Simbólico 2000 (SR2K), basada en la Teoría del Racismo Simbólico.
• Moralidad: Medido mediante el Cuestionario de Fundamentos Morales (MFQ), que evalúa cinco fundamentos: cuidado, justicia, grupo interno, autoridad y pureza.

2. Evaluación de la Fiabilidad

La fiabilidad se evaluó midiendo la consistencia de las respuestas del modelo a través de tres tipos de variaciones de prompts e ítems:

• Formas Alternativas: Los ítems fueron parafraseados (usando GPT-5 y ajustes manuales) para preservar el significado pero alterando la redacción.
• Orden Invertido de las Opciones de Respuesta: La secuencia de las opciones de la escala Likert (por ejemplo, 1–5 frente a 5–1) se invirtió para probar la simetría del orden de las opciones.
• Cambio de Final de Oración: Se alteró la puntuación al final de los prompts (dos puntos frente a signo de interrogación).
• Línea Base: La consistencia del modelo se comparó contra una línea base humana (150 participantes de EE. UU.) para identificar valores atípicos.

3. Evaluación de la Validez

La validez se evaluó a través de dos enfoques distintos:

• Validez Convergente: El estudio probó las correlaciones teóricamente esperadas entre diferentes constructos (por ejemplo, una correlación positiva entre el sexismo y el racismo; una correlación negativa entre la justicia y el sexismo hostil).
• Validez Ecológica: Este fue el enfoque principal. Los autores compararon las puntuaciones de las pruebas psicométricas contra el comportamiento del modelo en tareas de aplicación real (downstream):
  • Sexismo: Generación de cartas de recomendación para candidatos masculinos y femeninos, analizadas para la frecuencia de lenguaje de género.
  • Racismo: Generación de recomendaciones de vivienda para usuarios de diferentes razas, midiendo el sesgo en las sugerencias de vecindarios.
  • Moralidad: Generación de consejos sobre dilemas morales, puntuados para la alineación con fundamentos morales específicos.

4. Configuración Experimental

El estudio evaluó 17 modelos (incluyendo versiones de código abierto ajustadas para instrucciones y modelos propietarios como Gemini 2.5). Cada modelo se sometió a cinco ejecuciones con diferentes semillas aleatorias. Las respuestas se extrajeron mediante expresiones regulares y las puntuaciones se computaron promediando los valores numéricos de las opciones elegidas.

Resultados Clave

Fiabilidad

• Formas Alternativas: La mayoría de los modelos mostraron una consistencia aceptable comparable a las líneas base humanas, aunque algunos modelos más pequeños (por ejemplo, Gemma 3 1B/4B) quedaron por debajo de los límites de los valores atípicos humanos.
• Orden Invertido: Los modelos demostraron una baja fiabilidad cuando se invertía el orden de las opciones de respuesta. La consistencia cayó significativamente (por ejemplo, Llama 3.1 8B mostró ~0.28 de consistencia en SR2K), lo que indica una alta sensibilidad a las modificaciones no semánticas de los prompts.
• Final de Oración: Los modelos fueron relativamente robustos a los cambios de puntuación, con la mayoría logrando una consistencia superior a 0.75.
• General: Las pruebas exhiben una fiabilidad moderada, fuertemente dependiente de la estabilidad del prompt, particularmente respecto al orden de las opciones de respuesta.

Validez

• Validez Convergente: Las pruebas capturaron con éxito las relaciones teóricas esperadas. Por ejemplo, se encontró una correlación positiva moderada entre las puntuaciones de sexismo y racismo ($r_s = 0.47$), y entre autoridad y sexismo benevolente ($r_s = 0.43$).
• Validez Ecológica: El estudio encontró una baja validez ecológica. Las puntuaciones de las pruebas psicométricas no se alinearon con el comportamiento en tareas downstream; en muchos casos, exhibieron correlaciones negativas.
  • Los modelos que puntuaron "bajo" en sexismo o racismo en las pruebas, a menudo exhibieron altos niveles de comportamiento sesgado en las tareas downstream (por ejemplo, generando lenguaje sexista en cartas de recomendación o recomendaciones de vivienda sesgadas).
  • Por ejemplo, Gemini 2.5 Flash recibió una puntuación baja de sexismo en el ASI, pero generó cartas de recomendación ricas en lenguaje comunitario y estereotipado de género para candidatas femeninas.
  • Los modelos con mayor número de parámetros dentro de una familia a menudo mostraron comportamientos problemáticos más pronunciados a pesar de puntuar más bajo en las pruebas psicométricas.

Principales Contribuciones

1. Marco de Validación Sistemática: El artículo proporciona un marco riguroso y multicriterio para evaluar pruebas psicométricas en LLMs, distinguiendo explícitamente entre fiabilidad (sensibilidad al prompt) y validez (alineación conductual).
2. Evidencia Empírica de Desalineación: Ofrece una fuerte evidencia empírica de que las puntuaciones psicométricas derivadas de pruebas diseñadas para humanos no predicen el comportamiento de los LLMs en escenarios del mundo real. De hecho, pueden ser engañosas, mostrando correlaciones negativas con el comportamiento sesgado real.
3. Enfoque en la Validez Ecológica: El estudio desplaza el enfoque de las correlaciones abstractas entre pruebas hacia la métrica crítica de la validez ecológica, demostrando que los rasgos "autoinformados" de los LLMs mediante preguntas de opción cerrada no reflejan el comportamiento generativo.
4. Amplia Cobertura de Modelos: La evaluación abarca 17 modelos diversos, proporcionando una visión integral de cómo diferentes arquitecturas y tamaños responden a estas pruebas.

Significado y Reivindicaciones

Los autores afirman que sus hallazgos desafían fundamentalmente la práctica actual de aplicar pruebas psicométricas humanas a los LLMs sin adaptación.

• Limitación de las Herramientas Actuales: El estudio concluye que las pruebas diseñadas para humanos no pueden aplicarse directamente a los LLMs para extraer conclusiones sobre su comportamiento. La falta de validez ecológica sugiere que las puntuaciones altas en estas pruebas no garantizan un despliegue seguro o sin sesgos de los modelos.
• Riesgo de Malinterpretación: Depender de estas pruebas podría llevar al despliegue de sistemas que amplifiquen la discriminación, ya que un modelo podría pasar una prueba psicométrica (puntuación baja de sesgo) mientras exhibe un alto sesgo en tareas generativas.
• Llamado a la Adaptación: El artículo aboga por el desarrollo de pruebas específicas para LLM que estén centradas en el comportamiento y fundamentadas en la teoría psicológica, pero adaptadas a la naturaleza generativa de los LLMs. Enfatiza que, antes de interpretar las puntuaciones, es esencial la validación sistemática de la fiabilidad y la validez ecológica.
• Cautela Metodológica: Los autores destacan la cuestión metodológica no resuelta de si los LLMs deben ser tratados como individuos o como poblaciones en estudios psicométricos, señalando que las técnicas de validación estándar (como el análisis factorial) pueden no ser aplicables sin definiciones claras de "diferencias individuales" en los LLMs.

En resumen, el artículo sostiene que, si bien las pruebas psicométricas ofrecen un punto de partida teórico, su forma actual es insuficiente para evaluar a los LLMs. La desconexión entre las puntuaciones de las pruebas y el comportamiento real requiere una nueva disciplina de Psicometría de LLM que priorice la validez ecológica y la observación conductual sobre el autoinforme abstracto.