Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

Resumen Técnico: "Exageración de Actitudes, Ignorancia de Redes: Sesgos de los LLM en la Simulación de la Susceptibilidad a la Desinformación"

1. Planteamiento del Problema
Los Grandes Modelos de Lenguaje (LLM) se utilizan cada vez más como agentes simulados en ciencias sociales computacionales para estudiar la difusión de desinformación. Sin embargo, existe una incertidumbre crítica sobre si estos modelos pueden replicar fielmente los patrones empíricos de la susceptibilidad humana a la desinformación (creencia y disposición a compartir). La investigación previa sugiere que la susceptibilidad humana está moldeada no solo por factores demográficos y actitudinales, sino también por la estructura y composición de las redes personales. El problema central de este estudio es determinar si los LLMs, al ser condicionados con perfiles de encuestas, logran recuperar estas relaciones complejas o si introducen sesgos sistemáticos que distorsionan la comprensión de los mecanismos sociales detrás de la desinformación.

2. Metodología
Los autores diseñaron un marco experimental riguroso comparando respuestas humanas con simulaciones de LLMs utilizando tres conjuntos de datos de encuestas en línea reales (EE. UU. y Corea del Sur) que cubren tres dominios: salud pública, cambio climático y política pandémica.

• Datos de Base (Ground Truth): Se utilizaron perfiles de participantes que incluían variables demográficas, actitudes, comportamientos y, crucialmente, medidas de redes personales (tamaño de la red, densidad, atributos de los alter, lazos).
• Procedimiento de Simulación: Se proporcionaron a diversos LLMs (incluyendo modelos de razonamiento y chat de diferentes tamaños y proveedores) perfiles estructurados idénticos a los de los humanos. Se les pidió que simularan respuestas a afirmaciones falsas (creencia y intención de compartir) basándose únicamente en el perfil proporcionado.
• Análisis Comparativo: Se evaluaron tres preguntas de investigación (RQ):
  1. ¿Qué tan bien aproximan los LLM las distribuciones empíricas de creencia y compartir?
  2. ¿Recuperan la estructura de asociaciones entre predictores sociales y susceptibilidad?
  3. ¿Difieren sistemáticamente los efectos estimados de características específicas?
• Técnicas Analíticas: Se emplearon métricas de divergencia (Jensen-Shannon, Earth Mover's Distance), correlaciones de rango (Spearman), modelos de regresión Elastic Net para evaluar la varianza explicada y la importancia de las características, y análisis de interacción para detectar sesgos. Además, se realizaron análisis exploratorios de las cadenas de pensamiento (Chain-of-Thought) de los modelos y de corpus de entrenamiento abiertos (usando OLMoTrace) para rastrear el origen de los sesgos.

3. Contribuciones Clave

• Evaluación Integral de Redes: A diferencia de estudios previos que se centraron principalmente en predictores sociodemográficos, este trabajo integra sistemáticamente características de redes personales en la simulación de LLMs.
• Diagnóstico de Sesgos Estructurales: Identifica que, aunque los LLMs capturan tendencias distribucionales generales, fallan sistemáticamente en replicar la estructura causal de la susceptibilidad humana, específicamente en la relación entre creencia y compartir, y en el peso relativo de las redes sociales frente a las actitudes individuales.
• Metodología de Diagnóstico: Propone un pipeline metodológico que combina métricas distribucionales, modelado predictivo, análisis de interacción y trazas de razonamiento para diagnosticar desviaciones en simulaciones sociales basadas en IA.

4. Resultados Principales

• Correlación Moderada, Divergencia Estructural: Los LLMs muestran una correlación moderada con las respuestas humanas en términos de distribuciones generales, pero fallan en replicar la estructura de las asociaciones.
• Sobrestimación del Vínculo Creencia-Compartir: Los modelos simulan una correlación casi monótona y extremadamente alta entre creer en una desinformación y estar dispuesto a compartirla (ρ > 0.74 en simulaciones vs. ρ < 0.61 en humanos). Esto ignora la realidad humana donde el compartir puede estar motivado por factores sociales o estratégicos sin una creencia plena.
• Varianza Explicada Inflada: Los modelos lineales ajustados a las respuestas simuladas explican una varianza significativamente mayor (a menudo un orden de magnitud más alto) que los ajustados a datos humanos, lo que indica que las respuestas de los LLM son deterministas y demasiado predecibles en función de los perfiles, careciendo del "ruido" natural del comportamiento humano.
• Sesgo hacia Actitudes y Negligencia de Redes: Los LLMs asignan un peso desproporcionado a las características actitudinales y conductuales (como la confianza en la ciencia o el sesgo político) mientras ignoran casi por completo las características de la red personal. En los datos humanos, ambas dimensiones son predictores significativos; en las simulaciones, la red es irrelevante.
• Origen del Sesgo: El análisis de las cadenas de pensamiento y del corpus de entrenamiento revela que los LLMs invocan frecuentemente variables actitudinales en su razonamiento y que estas variables co-ocurren con conceptos de desinformación en los datos de entrenamiento de manera más prominente que las variables relacionales. Esto sugiere que los modelos aprenden "estereotipos estadísticos" de la literatura existente en lugar de capturar la complejidad relacional.

5. Significado e Implicaciones
El estudio concluye que las simulaciones de encuestas basadas en LLMs no deben considerarse sustitutos directos de los datos humanos, especialmente cuando el objetivo es entender la dinámica social, la difusión en redes o la influencia de pares.

• Advertencia de Validez: El uso de LLMs para estos fines puede llevar a conclusiones erróneas al sobrestimar el papel de las actitudes individuales y subestimar la importancia de las redes sociales.
• Uso Apropiado: Los LLMs son útiles para propósitos diagnósticos (identificar desviaciones sistemáticas) o exploratorios, pero carecen de la validez ecológica necesaria para sustituir la recolección de datos humanos en estudios donde la estructura social es central.
• Futuro de la Investigación: Se destaca la necesidad de desarrollar arquitecturas o enfoques representacionales que incorporen sesgos inductivos relacionales explícitos, en lugar de depender exclusivamente de descripciones textuales, para mejorar la fidelidad de las simulaciones sociales.