The threat of analytic flexibility in using large language models to simulate human data

1. Planteamiento del Problema

El uso de Modelos de Lenguaje Grandes (LLM) para crear "muestras de silicio" (datos sintéticos que sustituyen a participantes humanos) está creciendo rápidamente en las ciencias sociales. La premisa es que los LLM, entrenados en vastos corpus de datos humanos, pueden aproximar los procesos de generación de datos de las personas. Sin embargo, el artículo identifica una amenaza crítica: la flexibilidad analítica.

La generación de muestras de silicio no es un método único, sino un proceso que requiere múltiples decisiones analíticas (elección del modelo, parámetros de muestreo como temperatura, formato de los prompts, cantidad de información demográfica proporcionada, estrategia de muestreo de escalas, etc.). El autor argumenta que esta "jardín de caminos bifurcados" (garden of forking paths) permite que diferentes configuraciones defensibles produzcan resultados radicalmente distintos. Si no se controla esta flexibilidad, los investigadores podrían llegar a conclusiones arbitrarias sobre la fidelidad de las muestras de silicio, comprometiendo la validez y la replicabilidad de la investigación.

2. Metodología

El estudio se divide en dos partes experimentales diseñadas para cuantificar cómo las decisiones analíticas afectan la correspondencia entre los datos sintéticos y los datos humanos reales (ground truth).

Estudio 1: Evaluación de la variabilidad en escalas psicológicas

• Datos Humanos: Se utilizó un subconjunto de 85 participantes del conjunto de datos AIID (Attitudes, Identity, and Individual Differences), que completaron dos escalas: la "Escala de Sentimientos Instintivos" (Gut Feelings Scale) sobre bias racial y la "Escala de Creencia en un Mundo Justo" (BJW Scale).
• Diseño Experimental: Se generaron 252 configuraciones de muestras de silicio variando cuatro factores clave:
  1. Modelo: Diferentes LLMs (ChatGPT 3.5 a 5, modelos de razonamiento o4/o3, Llama 3.3, Deepseek-R1).
  2. Parámetros de inferencia: Temperatura (0, 0.5, 1, 1.5) o esfuerzo de razonamiento (alto/bajo).
  3. Información demográfica: Ninguna, solo edad/género, o información extensa.
  4. Estrategia de muestreo: Todos los ítems en un solo prompt, escala por escala, o ítem por ítem.
• Métricas de Evaluación: Se compararon las salidas de los LLM con los datos humanos en tres dimensiones:
  1. Ranking de participantes: Correlación entre el orden de puntuación humano y el predicho.
  2. Distribución de respuestas: Distancia de Wasserstein entre las distribuciones de los datos humanos y sintéticos.
  3. Relación entre escalas: Capacidad de recuperar la correlación entre las dos escalas.

Estudio 2: Reanálisis de un estudio publicado

• Objetivo: Determinar si la flexibilidad analítica afecta conclusiones en un estudio real ya publicado.
• Datos: Se replicó el Estudio 3 de Argyle et al. (2023) utilizando datos de la encuesta ANES 2016 (500 participantes).
• Diseño: Se probaron 66 configuraciones variando modelo, temperatura, formato del prompt (estilo entrevista, perfil narrativo, viñetas) y la profundidad de la información de condicionamiento (variables completas vs. solo demografía).
• Métrica: Se calculó la correlación entre la matriz de asociaciones (Cramer's V) de los datos humanos y la matriz generada por el LLM.

3. Contribuciones Clave

• Evidencia empírica de la inestabilidad: Proporciona la primera demostración sistemática de que decisiones analíticas menores (como cambiar la temperatura o el formato del prompt) alteran drásticamente la fidelidad de las muestras de silicio.
• Falta de consistencia transversal: Demuestra que una configuración que funciona bien para una métrica (ej. recuperar distribuciones) puede fallar estrepitosamente en otra (ej. recuperar correlaciones entre variables). No existe una configuración "universal" óptima.
• Advertencia sobre la literatura existente: Muestra que estudios publicados que afirman la alta fidelidad de los LLM pueden haber obtenido sus resultados por azar debido a una configuración específica, y que otras configuraciones defensibles podrían invalidar esas conclusiones.
• Propuesta de flujo de trabajo riguroso: Sugiere la adopción de prácticas de machine learning (calibración y confirmación con conjuntos de datos separados) y el uso de curvas de especificación para documentar la variabilidad.

4. Resultados Principales

Resultados del Estudio 1

• Variabilidad Extrema: Las correlaciones entre los rankings de participantes y los datos reales variaron de -0.27 a 0.36 para la escala BJW y de -0.25 a 0.32 para la escala Gut Feelings. Ninguna configuración logró una correlación alta consistente.
• Distribuciones: Las distancias de Wasserstein entre los datos LLM y humanos fueron significativamente mayores que las distancias entre mitades aleatorias de datos humanos, indicando una mala recuperación de la distribución.
• Correlaciones entre escalas: La correlación recuperada entre las dos escalas varió drásticamente, desde -0.40 a 0.78, mientras que la correlación real en humanos era de 0.26.
• Inconsistencia: El rendimiento de una configuración en una métrica no predecía su rendimiento en otras. Por ejemplo, una configuración que mejoraba el ranking de participantes a menudo empeoraba la precisión de la correlación entre escalas.
• Paradoja demográfica: Las configuraciones que mejor se ajustaban a los datos humanos en ciertos casos eran aquellas que no proporcionaban información demográfica, lo cual contradice el propósito fundamental de las muestras de silicio (simular perfiles específicos).

Resultados del Estudio 2

• Impacto en conclusiones publicadas: Al reanalizar el estudio de Argyle et al., la correlación entre la estructura de asociaciones humanas y sintéticas varió de r = 0.23 a r = 0.84 dependiendo de la configuración.
• Configuración original vs. alternativas: La configuración original de Argyle et al. obtuvo una correlación de 0.72. Sin embargo, otras configuraciones defensibles obtuvieron resultados mucho peores (0.23) o mejores (0.84).
• Fracaso en la reproducibilidad: Muchas configuraciones fallaron en generar datos utilizables (rechazos para predecir edad, género o raza), lo que demuestra que la "tasa de éxito" también depende de la configuración elegida.

5. Significado e Implicaciones

• Amenaza a la validez: La flexibilidad analítica en las muestras de silicio es una amenaza mayor para la ciencia social que en los estudios tradicionales, ya que permite "p-hacking" o selección de resultados sin que el investigador sea plenamente consciente de las decisiones que los generan.
• Necesidad de estandarización: Se requiere un cambio de paradigma donde las muestras de silicio no se consideren una herramienta "plug-and-play", sino el resultado de un proceso de desarrollo riguroso, pre-registrado y validado.
• Guía práctica:
  1. Definir el objetivo: Especificar de antemano qué métrica de fidelidad importa (distribución, ranking, correlación).
  2. Curvas de especificación: Documentar cómo cambian los resultados al variar los parámetros.
  3. Calibración y Confirmación: Usar un subconjunto de datos humanos para calibrar la configuración y otro para confirmar su validez, evitando el sobreajuste.
• Advertencia sobre poblaciones vulnerables: Si los LLM no pueden simular fielmente a la población general (WEIRD) debido a la flexibilidad analítica, es altamente improbable que puedan simular con precisión a poblaciones vulnerables o minoritarias, lo que podría exacerbar la exclusión en lugar de reducirla.

En conclusión, el artículo advierte que sin un control estricto de la flexibilidad analítica, las muestras de silicio corren el riesgo de generar una literatura científica no robusta y poco replicable, y llama a la comunidad científica a establecer estándares rigurosos antes de que el problema se consolide.