Resumen Técnico: ¿Pueden los Modelos de Lenguaje Grande Emular la Dinámica de Creencias Humanas?

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para simular actitudes, opiniones y comportamientos humanos en contextos de redes sociales, que van desde la replicación de encuestas hasta el modelado de dinámicas de opinión. Si bien trabajos anteriores sugieren que los LLM pueden reproducir comportamientos humanos específicos (por ejemplo, organizar eventos o alcanzar un consenso científico), existe una brecha crítica en la comprensión de qué tan bien estos modelos emulan la dinámica de creencias, específicamente cómo los humanos forman creencias iniciales, las actualizan en respuesta a información competitiva y reestructuran sus redes sociales basándose en tendencias homofílicas.

El problema central abordado es si los LLM, incluso cuando se les proporcionan personalidades de "gemelo digital" (datos demográficos y de personalidad), pueden replicar con precisión los complejos procesos psicológicos subyacentes a la formación y el cambio de creencias humanas. Los autores postulan que, sin una validación rigurosa, el despliegue de LLM como sustitutos humanos en simulaciones sociales conlleva riesgos significativos, particularmente en estudios sobre polarización y persuasión.

Metodología

El estudio replica un experimento humano establecido sobre dinámicas de creencias políticas (Proma et al., 2025c) utilizando un enfoque de "gemelo digital".

• Diseño Experimental: El estudio humano original involucró tres etapas:
  1. Respuesta: Los participantes calificaron su creencia en una declaración (escala Likert de 0 a 4).
  2. Revisión: Los participantes fueron expuestos a las calificaciones de sus pares y pudieron actualizar la suya propia.
  3. Selección: Los participantes eligieron a qué pares "seguir" en rondas posteriores.
• Simulación con LLM: Los autores reemplazaron a 341 participantes humanos con "gemelos digitales" de LLM. Cada LLM fue instruido con la información demográfica específica del participante y los rasgos de personalidad Big-5. Luego, se le encomendó a los modelos navegar las mismas tres etapas, recibiendo los mismos estímulos (incluidas las respuestas de los pares) que los sujetos humanos originales.
• Modelos Evaluados: El estudio evaluó 12 LLM de cuatro familias y tamaños de parámetros variables, incluyendo tanto modelos de no-pensamiento (no razonamiento) (por ejemplo, Llama 3, Gemma 3) como modelos de pensamiento (razonamiento) (por ejemplo, Qwen 3, GPT-OSS).
• Alcance de los Datos: El análisis cubrió dos temas políticos ("inmigración" y "petróleo y combustible"), resultando en un total de 1.023 muestras (3 rondas × 341 participantes).
• Métricas de Evaluación:
  • Etapa 1 (Creencias Iniciales): Divergencia KL, Distancia de Wasserstein, pruebas U de Mann-Whitney y correlación de Spearman para comparar formas de distribución, tendencias centrales y alineación a nivel individual.
  • Etapa 2 (Cambio de Creencias): Análisis de la magnitud de la actualización de creencias y "Influencia Social" (correlación entre la brecha entre la creencia inicial propia y el promedio de los pares, y el cambio de creencia resultante).
  • Etapa 3 (Selección de Red): "Señal de Seguimiento" (calificación media de los pares seleccionados) y "Distancia de Red de Creencias" (diferencia absoluta entre la creencia inicial y las creencias de los pares seleccionados) para medir la homofilia.

Resultados Clave

1. Fallo en la Emulación de las Distribuciones de Creencias Iniciales

Los LLM fallaron sistemáticamente en igualar la distribución de las creencias humanas iniciales.

• Desajuste Distribucional: Tanto los valores de Divergencia KL como de Distancia de Wasserstein para los LLM fueron significativamente más altos que la línea base (división humano-vs-humano), lo que indica un pobre alineamiento distribucional.
• Sesgo Sistemático: Los modelos de no-pensamiento tendieron a sobreestimar las calificaciones de creencia (con un pico en 2), mientras que los modelos de pensamiento tendieron a subestimarlas (con un pico en 0, lo que indica un fuerte desacuerdo).
• Baja Correlación Individual: La correlación de Spearman entre las respuestas individuales de los LLM y las respuestas humanas fue moderada como máximo ($\rho = 0.31$), lo que sugiere que los LLM no pueden predecir con fiabilidad preferencias individuales específicas.

2. Conformidad Excesiva en las Actualizaciones de Creencias

Los LLM demostraron una mayor susceptibilidad a la influencia social que los humanos.

• Rigidez vs. Fluidez: Los humanos mostraron una mayor rigidez de creencias, cambiando sus opiniones con menos frecuencia y en menor grado que los LLM.
• Métrica de Influencia Social: La correlación entre la "influencia social" (la brecha entre el yo y los pares) y el cambio de creencia fue significativamente mayor para los LLM en 11 de los 12 modelos. Esto indica que los LLM son más conformistas, desplazando sus respuestas para alinearse con el promedio de su red observada con mayor facilidad que los humanos.

3. Fallo Matizado en la Reestructuración de Redes (Homofilia)

Aunque los LLM podían imitar el acto de seleccionar pares, no lograron capturar la lógica subyacente de homofilia.

• Señal de Seguimiento: Los LLM simularon con éxito la distribución general de qué pares eligieron seguir los humanos (alta correlación en la Señal de Seguimiento).
• Distancia de Red de Creencias: Sin embargo, la "Distancia de Red de Creencias" (qué tan lejos estaban las creencias de los pares seleccionados de las del agente) fue consistentemente mayor para los LLM. Esto sugiere que, aunque los LLM pueden seleccionar pares, no lo hacen basándose en la misma fuerte preferencia por la similitud (homofilia) que caracteriza la formación de redes humanas. Sus selecciones están menos ancladas a sus propias creencias iniciales.

Contribuciones y Afirmaciones Clave

El artículo hace tres contribuciones principales a la literatura sobre simulación con LLM:

1. Divergencia Sistemática: Proporciona evidencia empírica de que los LLM se desvían de los humanos de maneras fundamentales en cuanto a la dinámica de creencias, específicamente en la distribución inicial, la susceptibilidad a la influencia social y la selección de redes homofílicas.
2. Limitaciones de la Personalidad: Cuestiona la eficacia del método de "gemelo digital" cuando se limita a datos demográficos y de personalidad, sugiriendo que tales personalidades restringidas son insuficientes para capturar dinámicas de creencias complejas.
3. Anomalía de la Ley de Escala: El estudio señala que los tamaños de parámetros más grandes no necesariamente producen un mejor alineamiento con la dinámica de creencias humanas, lo que sugiere que la rigidez de las creencias y el razonamiento motivado son distintos de las tareas de razonamiento y recuperación de conocimientos donde las leyes de escala suelen aplicarse.

Significado e Implicaciones

Los autores concluyen con una "advertencia contundente" contra el despliegue acrítico de LLM como sustitutos humanos en simulaciones sociales, particularmente para estudios que involucran polarización, persuasión e intervenciones en redes.

• Asimetría Fundamental: Los hallazgos destacan una asimetría fundamental en cómo los LLM procesan el contexto social en comparación con los humanos. Los LLM parecen carecer de la identidad, la motivación y los procesos afectivos que impulsan la dinámica de creencias humana.
• Precaución en la Investigación: El artículo argumenta que el uso de LLM para simular redes de creencias humanas puede llevar a conclusiones erróneas, ya que los modelos son inherentemente más conformistas y menos rígidos que las poblaciones humanas que pretenden representar.
• Direcciones Futuras: Los autores sugieren que el trabajo futuro debe explorar personalidades más elaboradas (incluyendo hábitos de redes sociales y experiencias vividas) e investigar si los modelos de código cerrado o los modelos con memoria entre rondas pueden cerrar esta brecha, aunque permanecen escépticos sobre las capacidades actuales.