Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

Resumen Técnico: Más allá de la media: Fidelidad de tres ejes para alinear simuladores de encuestas basados en LLM a partir de datos piloto pequeños

1. Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala (LLM) se utilizan cada vez más como proxies de encuestados humanos en encuestas de ciencias sociales, que van desde "muestras de silicio" de votantes hasta modelos ajustados para predecir resultados experimentales. Sin Sin embargo, las auditorías existentes revelan patologías sistemáticas en las respuestas de encuestas generadas por LLM:

• Distorsión marginal: Los resultados suelen aproximarse a las distribuciones marginales, pero aplanan la varianza.
• Atenuación estructural: Las relaciones entre el predictor y el resultado se debilitan frecuentemente; los signos de la magnitud del efecto se invierten en aproximadamente un tercio de los casos.
• Homogeneización: Los grupos minoritarios suelen ser estructuralmente distorsionados o homogeneizados.
• Sensibilidad: Los resultados son altamente sensibles a las perturbaciones en el prompt y exhiben una alta flexibilidad analítica.

La pregunta central de investigación es: Dado una pequeña muestra piloto de respuestas humanas ($D_p$), ¿puede un LLM recuperar las características estadísticas de la población más amplia no contenida en la muestra ($D \setminus D_p$)? Los autores argumentan que los LLM no deben tratarse como reemplazos directos (drop-in replacements), sino como modelos generativos condicionales que requieren una evaluación rigurosa frente a datos de verdad fundamental (ground-truth).

2. Metodología

Datos y Configuración
El estudio utiliza una encuesta sobre desinformación de COVID-19 realizada en Corea del Sur ($N=1,466$). Cada encuestado proporciona un perfil ($X_i$) que incluye demografía y escalas psicométricas, y responde a 36 ítems de creencia (18 afirmaciones falsas, de las cuales 18 son verdaderas) en una escala Likert de 4 puntos.

• Piloto: Se utiliza una muestra fija del 5% ($n=74$) para la calibración.
• Evaluación: Los 1,392 encuestados restantes sirven como la verdad fundamental (ground-truth) no contenida en la muestra.
• Métricas: Se derivan tres resúmenes escalares por encuestado: media de desinformación ($m_i$), media de información verdadera ($t_i$) y un puntaje de discernimiento ($d_i = t_i - m_i$).

Pipelines de Calibración
Los autores comparan cuatro familias de enfoques:

1. Zero-Shot (ZS): Provocar al LLM con perfiles de encuestados ($X_i$) para predecir respuestas ($Y_i$). Las variantes incluyen el prompting por lotes (los 36 ítems a la vez) y el prompting por ítem.
2. Few-Shot (FS): Inyectar cinco filas de la muestra piloto $D_p$ como ejemplos de contexto dentro del prompt.
3. Ajuste de Parámetros Eficientes (PEFT): Ajustar (fine-tuning) Qwen3-8B sobre la muestra piloto $D_p$ utilizando dos configuraciones:
   • LoRA: Generación de tokens autorregresiva.
   • LoRA + MLP: Adaptadores LoRA combinados con un cabezal de clasificación MLP entrenado de 5 vías (4 clases Likert + "No visto").
4. Rectificación PPI: Aplicar la Inferencia Impulsada por Predicción (PPI) para corregir las medias poblacionales por ítem de los simuladores basados en prompts utilizando la muestra piloto.

Evaluación de Fidelidad de Tres Ejes
La recuperación se descompone en tres ejes distintos, cada uno con métricas específicas:

• Fidelidad Estructural: ¿Coinciden las relaciones predictor-resultado?
  • Métrica: Coeficiente de Correlación de Concordancia de Lin (CCC) en correlaciones bivariadas y coeficientes OLS estandarizados entre 12 predictores y el puntaje de discernimiento ($d_i$).
  • Descomposición: Tasa de acuerdo de signo y razón de magnitud ($|x_{sim}|/|x_{GT}|$).
• Fidelidad Marginal: ¿Coinciden las distribuciones marginales simuladas con las humanas?
  • Métrica: Distancia del Movimiento de la Tierra (EMD) entre encuestados en las distribuciones de $d_i$, $m_i$ y $t_i$.
• Fidelidad Individual: ¿Sigue cada encuestado simulado a su contraparte humana?
  • Métricas: Acuerdo relativo (Pearson $r_d$ entre el discernimiento simulado y el de la verdad fundamental) y acuerdo absoluto (Error Absoluto Medio, $MAE_d$).

3. Resultados Clave

Fidelidad Estructural

• LoRA + MLP logró la mayor fidelidad estructural (CCC = 0.85 para correlaciones bivariadas, 0.78 para coeficientes OLS).
• ZS-perItem (Zero-Shot, por ítem) fue el competidor más fuerte solo basado en prompts (CCC = 0.80), superando al prompting estándar de Few-Shot.
• Descomposición: Un alto CCC requiere tanto acuerdo direccional como una magnitud coincidente. LoRA por sí solo comprimió severamente las pendientes (atenuación), mientras que LoRA + MLP y FS-perItem mostraron un alto acuerdo de signo, aunque LoRA + MLP infló ligeramente las magnitudes.

Fidelidad Marginal

• LoRA + MLP logró el EMD más bajo en los tres resúmenes escalares, indicando la coincidencia más cercana con las distribuciones de la población de verdad fundamental.
• Rectificación PPI: PPI corrigió eficazmente los simuladores más sesgados (por ejemplo, Zero-Shot), pero fue algebraicamente degenerado para los modelos ajustados (fine-tuned). Cuando un modelo memoriza perfectamente el piloto (error de entrenamiento $\to$ 0), el término de corrección PPI colapsa, reduciendo el método a la media bruta del simulador en la muestra no contenida.

Fidelidad Individual

• LoRA + MLP lideró en acuerdo relativo ($r_d = 0.37$), lo que significa que mejor preservó el ranking de los encuestados por discernimiento.
• ZS-perItem y FS-perItem lograron el error absoluto más bajo ($MAE_d = 0.58$), lo que significa que sus valores predichos estaban más cerca de la verdad fundamental en promedio, aunque clasificaron a los encuestados con menor precisión.
• Limitación: Incluso el mejor método explicó solo ~14% de la varianza entre encuestados en el discernimiento, lo que sugiere que los LLM actualmente no son adecuados como sustitutos directos para la medición a nivel individual de participantes.

Fidelidad de Subgrupos (Alineación Pluralista)

• La fidelidad no fue uniforme entre los subgrupos demográficos. Para el mejor modelo (LoRA + MLP), la fidelidad estructural (CCC) cayó significativamente para subgrupos específicos (por ejemplo, de 0.85 general a 0.40 para conservadores). Esto indica que una alta fidelidad agregada puede enmascarar una distorsión estructural o homogeneización de grupos de identidad específicos.

4. Principales Contribuciones

1. Reencuadre: Definió la simulación de encuestas con LLM como una tarea de recuperabilidad, descomponiendo el éxito en los ejes de fidelidad estructural, marginal e individual.
2. Protocolo de Evaluación: Introdujo un protocolo calibrado que mapea cada eje a métricas específicas (Lin's CCC, EMD, $r_d$/MAE emparejados) para detectar diferentes modos de falla.
3. Benchmark Empírico: Realizó una comparación directa entre prompting, rectificación PPI y ajuste de parámetros (fine-tuning) en una encuesta real sobre desinformación, demostrando que el ajuste de parámetros sobre muestras piloto pequeñas ofrece un enfoque equilibrado para lograr múltiples formas de fidelidad.
4. Auditoría de Subgrupos: Destacó que la recuperación estadística se degrada para ciertos subgrupos de identidad, lo que plantea preocupaciones para la alineación pluralista.

5. Significado y Afirmaciones

El artículo afirma que los simuladores de encuestas basados en LLM no deben tratarse como "reemplazos directos" de los encuestados humanos. En su lugar, deben evaluarse como modelos generativos condicionales.

• Perspectiva Metodológica: La elección del cabezal de salida (autorregresivo vs. clasificación) impacta significativamente la fidelidad; un cambio arquitectónico simple (añadir un cabezal MLP) mejoró drásticamente el rendimiento sobre el LoRA estándar.
• Limitación de la Rectificación: PPI es una herramienta condicional que beneficia a los simuladores sesgados, pero falla para los modelos ajustados debido a la memorización del conjunto de entrenamiento.
• Riesgo Pluralista: Una alta fidelidad agregada puede enmascarar fallos sistemáticos en subgrupos minoritarios, lo que requiere auditorías específicas por subgrupo.
• Brecha de Fidelidad Individual: Persiste una brecha significativa en la precisión de la predicción a nivel individual, lo que sugiere que los LLM son actualmente más adecuados para estimar estadísticas de población que perfiles psicométricos individuales.

Los autores conclen que, si bien el ajuste de parámetros sobre pilotos pequeños es prometedor, el campo debe avanzar hacia una evaluación rigurosa de múltiples ejes para asegurar que los datos sintéticos no amplifiquen los sesgos preexistentes ni distorsionen las perspectivas de las minorías en el diseño de políticas o intervenciones.