Resumen Técnico: La verdad no muestreada: La psicometría en los SLM mide artefactos de prompts, no constructos psicológicos

Declaración del Problema

La investigación actual que utiliza Modelos de Lenguaje Pequeños (SLM) para evaluaciones psicométricas opera sobre una premisa frágil: que los resultados de los modelos reflejan un razonamiento semántico respecto a las personas y los ítems de la encuesta inyectados. Sin embargo, el campo carece de un diseño experimental unificado para evaluar simultáneamente cómo los componentes del prompt (instrucciones, símbolos de opciones, redacción de ítems y personas) influyen en las respuestas cuando el significado semántico se mantiene constante. Estudios previos han señalado la sensibilidad a variaciones específicas de los prompts (por ejemplo, símbolos de opciones de respuesta o personas), pero la verdadera relación señal-artefacto sigue siendo desconocida. En consecuencia, existe un riesgo significativo de que los investigadores estén malinterpretando el ruido inducido por el prompt como rasgos psicológicos simulados, socavando la validez de constructo y la fiabilidad operativa de los SLM en la evaluación psicológica.

Metodología

Para abordar esta brecha, los autores introducen un marco de Matriz de Variantes de Prompt diseñado para aislar la varianza de los artefactos de la señal semántica genuina.

• Configuración Experimental: El estudio evalúa 13 modelos de pesos abiertos (instruction-tuned) con instrucciones (que van desde 0.6B hasta 14B de parámetros) a través de cuatro familias: Llama-3.1/3.2, Qwen3, Ministral-3 y Gemma-4. Las capacidades de razonamiento fueron desactivadas para centrarse en el seguimiento directo de instrucciones.
• Inventarios Psicométricos: Los modelos fueron probados utilizando el Inventario de los Cinco Grandes (BFI) y el Short Dark Triad (SD3), utilizando escalas Likert de 5 puntos estandarizadas.
• Matriz de Variantes de Prompt: Los autores construyeron un producto cartesiano de variaciones de prompts semánticamente equivalentes. Para cada uno de los cuatro componentes principales, se crearon cinco variantes distintas preservando el significado subyacente:
  • Personas: Variaciones en el vocabulario y el orden de las oraciones basadas en textos base del conjunto de datos Nemotron.
  • Instrucciones: Adaptaciones de instrucciones de investigación estándar con restricciones estrictas de formato.
  • Ítems: Variantes léxicas que incluyen la redacción original del cuestionario y cuatro paráfrasis.
  • Símbolos de Opciones: Cinco conjuntos ordinales distintos (números arábigos 1-5, números romanos I-V, letras mayúsculas A-E, letras minúsculas a-e y alfanuméricos x1-x5).
• Métricas:
  • Extracción de Distribución Basada en Logits: En lugar de la generación de texto codiciosa (greedy), el estudio extrae la distribución de probabilidad completa sobre los símbolos objetivo para capturar la incertidumbre del modelo.
  • Distancia de Wasserstein de Pareja Promedio (APWD): Utilizada para cuantificar los desplazamientos distribucionales. A diferencia de las métricas de probabilidad estándar, la distancia 1-Wasserstein ($W_1$) tiene en cuenta la magnitud ordinal de los errores en las escalas Likert.
  • Descomposición de Varianza Basada en Distancia: Se aplicó el Análisis de Varianza Multivariante Permutacional (PERMANOVA) a las matrices de distancia para particionar la varianza total en componentes atribuibles a la persona semántica versus artefactos específicos del prompt (instrucciones, ítems, símbolos).

Resultados Clave

1. Dominio de la Varianza de Artefactos

El estudio encuentra que la varianza inducida por el prompt frecuentemente supera la señal semántica.

• Error de Medición: Los puntajes de APWD oscilaron entre 0.5 y 1.0, lo que indica que las variaciones del prompt pueden desplazar los resultados del modelo hasta un paso ordinal completo.
• Limitaciones de Escala: Aunque algunos modelos (Llama, Qwen) mostraron estabilización en escalas mayores (hasta 14B), otros (Ministral, Gemma) se volvieron más volátiles. Crucialmente, escalar a 14B de parámetros no logró resolver la fragilidad; incluso los modelos grandes exhibieron un dominio significativo de los artefactos.
• Sensibilidad del Modelo: Los modelos pequeños (por ejemplo, 1B de parámetros) a menudo mostraron una varianza marginal cercana a cero para los componentes semánticos, no debido a la robustez, sino debido a un fallo sistémico en el procesamiento de señales semánticas, resultando en respuestas dominadas enteramente por las restricciones de formato.

2. Vulnerabilidades Específicas de Componentes

• Instrucciones y Símbolos: En casi todas las arquitecturas, las instrucciones de la tarea y los símbolos de las opciones impulsaron una varianza marginal significativamente mayor que la paráfrasis de los ítems.
• Firmas Arquitectónicas: Las vulnerabilidades variaron según la familia de modelos. Por ejemplo, los modelos Qwen mostraron alta sensibilidad a las variaciones de instrucción, mientras que los modelos Llama fueron más vulnerables a las variantes de los símbolos de opción.
• Divergencia Intra-Familia: Los patrones de robustez no fueron consistentes ni siquiera dentro de las familias de modelos; por ejemplo, Qwen3-14B desarrolló una sensibilidad única a las variaciones de ítems ausente en sus contrapartes más pequeñas.

3. Descomposición de la Varianza

• Participación de la Varianza Explicada por Artefactos (ASV): Incluso a la escala de 14B, un grupo crítico de ítems arrojó un ASV > 50%, lo que significa que los artefactos del prompt explicaron más varianza que la persona semántica pretendida.
• SD3 vs. BFI: El conjunto de datos Short Dark Triad (SD3) exhibió una inestabilidad absoluta mayor y un dominio de artefactos más fuerte (el ASV mediano se desplazó a 80–100%) en comparación con el Big Five Inventory (BFI), lo que sugiere una representación de rasgos más débil en las personas base o en los propios modelos.
• Varianza No Explicada: Una parte sustancial de la varianza permaneció sin explicar, atribuida a interacciones complejas entre los componentes del prompt.

Significado y Reivindicaciones

El artículo sostiene que, bajo los paradigios actuales de prompting, los SLM (hasta 14B de parámetros) son en gran medida poco fiables para la evaluación psicométrica porque sus resultados reflejan el cumplimiento del prompt en lugar de rasgos psicológicos simulados.

• Utilidad Diagnóstica: La principal contribución es la Matriz de Variantes de Prompt y el marco asociado de descomposición de varianza basada en la distancia. Esto sirve como una herramienta diagnóstica para identificar variantes de prompt específicas que desestabilizan las distribuciones de los modelos e para aislar la varianza de los artefactos de la comprensión semántica.
• Advertencia Metodológica: Los autores advierten que, sin aislar el razonamiento semántico genuino de los artefactos, el campo corre el riesgo de construir literatura inválida basada en el cumplimiento del prompt. Destacan que tratar los resultados de los SLM como mediciones psicológicas válidas conlleva el riesgo de propagar el ruido de los artefactos como razonamiento humano.
• Direcciones Futuras: El marco sugiere dos caminos a seguir: utilizar el diseño para identificar artefactos destructivos y aislar el impacto semántico para evaluar mejor la comprensión latente. Los autores señalan que la investigación futura debería probar si estas vulnerabilidades persisten en los modelos de frontera (>70B de parámetros) y si la inyección de anclajes psicológicos más profundos y explícitos puede superar el observado dominio de los artefactos.

El estudio concluye que, si bien el marco ofrece un mecanismo para diagnosticar estos problemas, el estado actual de los SLM en la psicometría está comprometido por una fragilidad estructural donde los artefactos del prompt eclipsan la señal psicológica pretendida.