Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

Resumen Técnico: Las tareas de asociación de forma libre revelan la alucinación de estereotipos en los modelos de lenguaje de gran tamaño

Planteamiento del problema
Si bien la literatura reciente sugiere que los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) pueden predecir juicios estereotipados humanos, no está claro si los LLM emulan los procesos cognitivos que subyacen a los estereotipos humanos o si simplemente recuperan asociaciones aprendidas para resolver tareas de predicción. La investigación previa se ha basado principalmente en tareas de juicio controladas (por ejemplo, encuestas de opción múltiple) o contextos limitados por sesgos grupales arraigados y predecibles (por ejemplo, respuestas partidistas ante noticias). Estos entornos pueden permitir que los LLM tengan éxito mediante la recuperación de correlaciones estadísticas de los datos de entrenamiento en lugar de modelar mecanismos cognitivos genuinos. Existe una brecha crítica en la comprensión de cómo los LLM se desempeñan en entornos interpretativos novedosos y no restringidos donde los significados culturales no están preestablecidos. Específicamente, se desconoce si los LLM pueden replicar la estructura de los estereotipos humanos al interpretar estímulos de forma libre que carecen de un significado semántico inherente.

Metodología
Los autores emplean un diseño experimental comparativo que involucra participantes humanos y dos modelos multimodales (GPT-4o mini y Llama-3.2-11B-Vision-Instruct) a través de cinco dominios sociales: género, partidismo, personalidad, urbanidad y estilo de vida (rutina).

1. Estímulos: El estudio utiliza 12 estímulos visuales ambiguos (4 manchas de Rorschach y 8 piezas de arte abstracto) seleccionados deliberadamente por su falta de significados culturales preestablecidos, símbolos explícitos o neutralidad estética.
2. Condiciones experimentales:
   • Tareas de primer orden: Los participantes (humanos) y los modelos (usando prompts basados en la identidad, por ejemplo, "Eres un [identidad]") proporcionan interpretaciones personales directas. Las respuestas consisten en 3 asociaciones de objetos, 3 asociaciones de conceptos y 1 emoción.
   • Tareas de segundo orden: Los participantes y los modelos predicen cómo los miembros de grupos sociales específicos interpretan los mismos estímulos.
3. Recolección de datos:
   • Humanos: Se reclutaron aproximadamente 300 participantes por dominio a través de Prolific. Los participantes de primer orden interpretaron 4 estímulos aleatorios; los de segundo orden predijeron interpretaciones para ambos grupos dentro de un dominio.
   • LLM: Los modelos fueron consultados 80 veces por combinación de dominio/estímulo a través de cuatro configuraciones de temperatura (0.3, 0.7, 0.9, 1.0) para capturar la variabilidad del modelo.
   • Condicionamiento Leave-One-Out (LOO): Para probar si la homogeneización proviene de una individualización insuficiente, GPT-4o mini fue condicionado con las asociaciones reales de participantes humanos específicos para tres imágenes, con el fin de predecir su asociación para una cuarta imagen no utilizada en el entrenamiento.
4. Métricas de análisis:
   • Diversidad intra-grupo: Medida mediante la entropía de Shannon de las asociaciones de palabras.
   • Separabilidad inter-grupo: Medida mediante el entrenamiento de clasificadores de LLM (GPT-4o mini y Llama) para predecir la pertenencia al grupo basándose únicamente en los patrones lingüísticos de las asociaciones.
   • Análisis del espacio semántico: Las incrustaciones de palabras (Sentence-BERT) se proyectaron en un espacio 2D mediante PCA para visualizar la topología y el agrupamiento de las respuestas.

Resultos clave
El estudio revela diferencias cualitativas fundamentales entre los procesos cognitivos humanos y los de los LLM respecto a los estereotipos:

• Diversidad intra-grupo (Entropía): Las respuestas de primer orden de los humanos exhiben una alta heterogeneidad (alta entropía), siendo la información demográfica un predictor débil de la interpretación. En contraste, los LLM producen respuestas de primer orden homogéneas (baja entropía) independientemente de la identidad social propuesta. Esta homogeneización persiste incluso bajo el condicionamiento LOO, donde los modelos no logran capturar la variación humana individual a pesar de haber recibido datos de comportamiento específicos.
• Separabilidad inter-grupo (Precisión de clasificación):
  • Humanos: Las respuestas de primer orden de los humanos son casi indistinguibles por grupo (precisión de clasificación cercana al azar, 46–60%). En las tareas de segundo orden, los humanos exhiben una "exageración de estereotipos", aumentando moderadamente la separabilidad (57–79%) al amplificar tendencias débiles de primer orden mientras preservan la diversidad.
  • LLM: Aunque las respuestas de primer orden de los LLM muestran una baja separabilidad (excepto en los dominios de personalidad), las respuestas de segundo orden de los LLM exhiben una separabilidad extrema (a menudo >90%, alcanzando el 99.9% en algunos dominios). Los LLM generan asociaciones altamente polarizadas y específicas de grupo que son fácilmente distinguibles por los clasificadores, superando con creces los niveles de distintividad humanos.
• Topología semántica: El análisis de PCA muestra que las respuestas humanas forman grupos (clusters) amplios, superpuestos y continuos. Las respuestas de los LLM, particularmente en las tareas de segundo orden, forman grupos concentrados, fragmentados y espacialmente distintos que están desconectados de las regiones semánticas ocupadas por las respuestas humanas de primer orden.
• Alucinación de estereotipos: Los autores denominan al fenómeno de los LLM "alucinación de estereotipos". A diferencia de la exageración de estereotipos humana, que reifica los sesgos de la verdad de base, los LLM generan estereotipos de segundo orden impactantes que ni amplifican las tendencias de primer orden existentes ni reflejan las diferencias grupales humanas reales. Estos prototipos alucinados están semánticamente desconectados de la realidad humana.
• Robustez: Estos hallazgos se mantienen incluso cuando los modelos son ajustados (fine-tuned) o condicionados con datos de participantes individuales, lo que sugiere que el problema es una restricción arquitectónica más que un artefacto del prompting.

Contribuciones clave

1. Identificación de la "Alucinación de estereotipos": El artículo introduce un mecanismo distinto donde los LLM generan estereotipos de grupo exagerados en contextos novedosos que están fundamentalmente desconectados de la realidad interpretativa humana, contrastando con la "exageración de estereotipos" humana.
2. Innovación metodológica: Al utilizar estímulos de forma libre y ambiguos (manchas de Rorschach/arte abstracto), el estudio aísla los procesos cognitivos de la construcción de significado de la recuperación de guiones culturales arraigados, proporcionando una prueba más rigurosa de los LLM como modelos cognitivos.
3. Evidencia de limitación arquitectónica: El estudio demuestra que los LLM fallan al preservar la heterogeneidad individual y, en su lugar, recurren a prototipos socialmente disponibles, incluso cuando se les proporciona datos de comportamiento individual específico.

Significancia
El artículo argumenta que los LLM no pueden servir como "organismos modelo" fiables para las ciencias sociales en contextos novedosos, ambiguos o culturalmente no asentados. Si bien los LLM pueden predecir con éxito el comportamiento humano en dominios donde los significados están estabilizados y las fronteras grupales están arraigadas (por ejemplo, reacciones partidistas ante noticias), fallan al modelar la construcción social activa del significado a partir de interpretaciones diversas. Los hallazgos sugieren que los LLM tienen limitaciones en su capacidad para simular la cognición humana cuando se enfrentan a entornos de alta entropía donde las respuestas humanas son idiosincrásicas y están débilmente estructuradas por la demografía. En consecuencia, el uso de LLM para predecir el comportamiento humano en fenómenos sociales emergentes o antes de que los significados se hayan estabilizado puede arrojar resultados sistemáticamente sesgados e irreales debido a la tendencia de los modelos a alucinar prototipos grupales en lugar de emular la diversidad interpretativa humana.