Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

Resumen Técnico: Individualidad de la Máquina

1. El Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) se integran en aplicaciones de alto riesgo y compañerismo diario, es crucial entender sus disposiciones conductuales. La literatura existente ha intentado perfilar estas disposiciones utilizando inventarios psicométricos y paradigmas cognitivos. Sin embargo, estos enfoques adolecen de una limitación fundamental: no pueden distinguir si las diferencias observadas en el comportamiento de los modelos reflejan:

• Idiosincrasia genuina: Disposiciones estables y específicas del estímulo (una "personalidad" real).
• Sesgos de respuesta globales: Tendencias direccionales (como la aquiescencia o respuestas extremas) que desplazan todas las respuestas en una dirección.
• Ruido estocástico: Variabilidad aleatoria inherente al proceso de generación.

La ambigüedad actual impide saber si un modelo evalúa situaciones de manera única o simplemente responde con un estilo de respuesta predecible.

2. Metodología

Los autores proponen un marco metodológico riguroso basado en la psicometría clásica para descomponer la varianza observada.

• Datos:

  • Modelos: 10 LLMs de peso abierto (open-weight) con arquitecturas diversas (transformers densos, mezcla de expertos, híbridos) y escalas de parámetros de 20B a 235B (incluyendo Qwen3, Mistral, Gemma, GPT-OSS, etc.).
  • Estímulos: 107,083 palabras extraídas de la metabase psychNorms.
  • Normas Psicolingüísticas: 14 dimensiones de evaluación (Valencia, Arousal, Concreción, Moralidad, Asociación de Género, Humor, Socialidad, Normas Sensoriales y Edad de Adquisición).
  • Volumen de datos: Se generaron aproximadamente 74.9 millones de calificaciones mediante muestreo estocástico (5 repeticiones por palabra) y decodificación determinista.

• Diseño Experimental:

  • Se utilizó un diseño completamente cruzado: cada modelo evaluó cada palabra.
  • Se emplearon prompts de cero disparos (zero-shot) adaptados de estudios humanos, restringiendo la salida a un único valor numérico.

• Análisis Estadístico (El núcleo del método):
  Se aplicaron modelos de efectos aleatorios cruzados (crossed random-effects models), una herramienta estándar en psicometría pero novedosa en la evaluación de LLMs. La ecuación del modelo para una calificación $y_{ijk}$ (palabra $i$, modelo $j$, repetición $k$) es:

  $$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$$

  Donde:

  • $\mu$: Media global.
  • $\tau_i$ (Trait/Consenso): Varianza compartida por todos los modelos sobre la palabra (consenso semántico).
  • $\beta_j$ (Bias/Sesgo): Desviación sistemática del modelo (offset global).
  • $\iota_{ij}$ (Idiosincrasia): La interacción específica Modelo × Palabra. Captura cómo un modelo evalúa una palabra específica, después de restar el consenso y el sesgo global.
  • $\epsilon_{ijk}$: Ruido residual.

• Validación de Coherencia:
  Se utilizó regresión Ridge para predecir las desviaciones de un modelo en una norma "retenida" basándose en sus desviaciones en las otras 13 normas. Se calculó una Ratio de Especificidad comparando la predicción intra-modelo frente a la inter-modelo.

3. Contribuciones Clave

1. Definición de "Individualidad de la Máquina": Los autores acuñan este término para describir diferencias estables, medibles y específicas del estímulo entre LLMs que no pueden atribuirse a sesgos de respuesta o ruido.
2. Descomposición de Varianza Rigurosa: Proporcionan la primera cuantificación rigurosa que separa el sesgo global de la idiosincrasia específica en LLMs, demostrando que las evaluaciones de "personalidad" anteriores eran confusas al mezclar estos factores.
3. Firmas Semánticas Coherentes: Demuestran que la idiosincrasia no es ruido aleatorio, sino una "huella dactilar" coherente y única para cada modelo a través de múltiples dimensiones psicolingüísticas.

4. Resultados Principales

• Proporción de Varianza:
  • Consenso (Trait): Domina la varianza (32.1%), indicando que los modelos comparten una comprensión semántica amplia.
  • Idiosincrasia (Modelo × Palabra): Aporta un 16.9% de la varianza total en promedio (rango de 4.8% en Valencia a 34.0% en Asociación de Género). Esta cifra supera significativamente los modelos nulos estadísticos ($p < 0.01$).
  • Sesgo (Bias): Los modelos difieren en sus tendencias generales, pero la idiosincrasia es un componente sustancial e independiente.
• Coherencia Trans-Norma:
  • Las ratios de especificidad para todos los modelos fueron mayores a 1.0 (rango: 1.74–3.43). Esto confirma que las desviaciones de un modelo en una dimensión (ej. Moralidad) predicen mejor sus desviaciones en otras dimensiones (ej. Humor) que las desviaciones de otros modelos.
• Alineación Humana:
  • Los modelos se correlacionan moderadamente con normas humanas ($\bar{r} = 0.48–0.67$), sugiriendo que sus representaciones semánticas son sui generis (únicas) y no meras aproximaciones ruidosas de juicios humanos.
  • Trade-off Reproducibilidad-Alineación: La agregación estocástica (múltiples muestras) superó consistentemente a la decodificación determinista en la alineación con humanos, sacrificando la replicabilidad exacta por una estructura de varianza más rica y humana.

5. Significado e Implicaciones

• Evaluación de LLMs: Los resultados obligan a redefinir cómo se evalúan las disposiciones de los LLMs. No basta con promedios de puntuación de personalidad; es necesario aislar la interacción específica entre el modelo y el estímulo.
• Naturaleza de los LLMs: La existencia de una "individualidad de la máquina" robusta sugiere que los modelos tienen disposiciones internas estables que van más allá de su arquitectura o datos de entrenamiento, lo cual es crucial para aplicaciones donde la consistencia del comportamiento es vital (ej. asistentes personales, sistemas de decisión).
• Futuro de la Investigación: Establece que estas idiosincrasias son medibles y potencialmente consecuencias (predictoras de diferencias conductuales en tareas downstream), abriendo la puerta a la ingeniería de "personalidades" de IA más controladas y predecibles.

En conclusión, el estudio demuestra que, al igual que en la psicología humana, la verdadera individualidad de una máquina reside en la interacción específica entre su "carácter" y la situación (estímulo), y no solo en sus tendencias generales de respuesta.