More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

Resumen Técnico: Más Parámetros que Poblaciones

Planteamiento del Problema
La investigación de encuestas, tradicionalmente un campo impulsado por humanos, está experimentando actualmente un cambio significativo debido a la rápida integración de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés). Si bien la investigación de encuestas tiene un historial de adopción de herramientas tecnológicas para la recolección y el análisis de datos, las capacidades y riesgos únicos de los LLM requieren un examen estructurado de su aplicación actual. El campo está transitando de la ideación conceptual a la implementación práctica, aunque existe la necesidad de evaluar sistemáticamente cómo se están utilizando actualmente los LLM a lo largo del flujo de trabajo de la investigación de encuestas, identificar posibles escollos y comprender la relación recíproca donde la investigación de encuestas podría mejorar el desarrollo de los LLM.

Metodología
Los autores realizaron una revisión sistemática de la literatura siguiendo las directrices PRISMA 2020. El proceso consistió en:

• Recuperación de Datos: Se realizaron búsquedas de palabras clave en tres bases de datos a gran escala (arXiv, Semantic Scholar y Web of Science) utilizando 10 palabras clave específicas de LLM y 62 relacionadas con encuestas.
• Criterios de Selección: La búsqueda inicial arrojó 1,766 publicaciones candidatas. Tras la deduplicación, quedaron 1,099 artículos únicos. Se excluyeron los artículos que no estuvieran en inglés o que estuvieran fuera del periodo de publicación de seis años (enero de 2019 – enero de 2025), dejando 965 artículos para la revisión de resúmenes.
• Corpus Final: Tras la revisión de los resúmenes por parte del equipo de investigación, 161 artículos se consideraron elegibles. Se identificaron 28 artículos adicionales mediante el análisis de la red de citas (artículos citados o que citaban artículos no incluidos en el conjunto inicial), lo que resultó en un corpus final de 189 artículos.
• Análisis: Un autor realizó la revisión de estos 189 artículos, clasificándolos según la fase del proceso de encuesta (pre-recolección de datos, recolección de datos, post-recolección de datos) y la aplicación específica del LLM.

Contribuciones Clave y Resultados
El artículo sintetiza los hallazgos mapeando las aplicaciones de los LLM en tres fases amplias del proceso de investigación de encuestas:

1. Pre-Recolección de Datos: Esta fase cubre la redacción de cuestionarios, la generación de ítems, la traducción, el diseño de muestreo y el reclutamiento.
   • Hallazgos: Las aplicaciones empíricas se concentran aquí. Por ejemplo, Adhikari et al. (2025) demostraron el uso de LLM para simular entrevistas cognitivas para la prueba de cuestionarios transculturales, adaptando ítems de EE. UU. a poblaciones sudafricanas.
2. Recolección de Datos: Esta fase incluye entrevistas asistidas por IA y "muestreo de silicio" (generación de datos mediante modelos en lugar de encuestados humanos).
   • Hallazgos: La investigación incluye la creación de modelos "doppelgänger" (Cho et al., 2024) que ajustan finamente (fine-tuning) los LLM basándose en datos conversacionales individuales para pronosticar respuestas de encuestas. Sin embargo, los autores señalan hallazgos de precaución de Bisbee et al. (2024) y Mellon et al. (2024) respecto al riesgo de que los LLM alucinen respuestas o clasifiquen erróneamente opiniones políticas matizadas, lo que plantea preocupaciones sobre la exactitud representativa y la validez de constructo en las muestras de silicio.
3. Post-Recolección de Datos: Esta fase abarca el procesamiento de datos, la ponderación, la imputación, la sumarización, la generación de informes y la curaduría de conjuntos de datos.
   • Hallazgos: Los LLM se están desplegando para la clasificación de datos de texto abierto, como Li et al. (2024) extrayendo el sentimiento de accesibilidad de las reseñas de Google Maps para informar el diseño urbano.

Temas y Herramientas Emergentes
La revisión identificó un subconjunto más pequeño de artículos centrados en herramientas y métodos en desarrollo, en lugar de aplicaciones plenamente realizadas. Estos incluyen:

• Detección de Fraude: Métodos para identificar la producción generada por LLM para asistir en la detección de encuestados fraudulentos (Nathanson et al., 2024).
• Datos Sintéticos: Nuevos marcos para generar muestras y datos sintéticos utilizando LLM (por ejemplo, Balog et al., 2024).
• Mejora Recíproca: La revisión también notó artículos excluidos que sugieren cómo la investigación de encuestas puede mejorar los LLM, específicamente a través de la curaduría de datos de entrenamiento/referencia (Xie et al., 2024) y el uso de encuestas para comprender las percepciones de la industria sobre los LLM (Gasparini et al., 2024; Johnson et al., 2024).

Significancia y Perspectiva Futura
El artículo afirma que el estado actual de la aplicación de los LLM en la investigación de encuestas es desigual. Mientras que las tareas de pre-recolección de datos (como la redacción de ítems y la traducción) están bien exploradas, las prácticas centrales como las entrevistas en vivo, el reclutamiento y la adaptación translingüística siguen estando subinvestigadas, a pesar de las capacidades de los LLM como procesadores multimodales y multilingües.

Los autores enfatizan que pocos estudios evalúan sistemáticamente los LLM a través de múltiples poblaciones, idiomas o temas, lo que deja interrogantes sobre la generalizabilidad. La importancia de este trabajo radica en resaltar que la investigación de encuestas, con su larga trayectoria en la evaluación de fuentes de error y garantía de calidad de datos, está posicionada de manera única para guiar la integración responsable y efectiva de los LLM en los flujos de trabajo científicos.

Próximos Pasos
Los autores planean implementar la doble codificación sobre el corpus de 189 artículos, combinando la codificación manual con enfoques basados en IA. La codificación futura clasificará los artículos por estatus teórico vs. empírico, el LLM específico utilizado, las poblaciones/idiomas cubiertos, los dominios sustantivos y las condiciones para el éxito. Este análisis más profundo tiene como objetivo revelar cómo los datos de entrenamiento de los LLM, la arquitectura de los modelos y los diseños de investigación plantean desafíos para aumentar la investigación de encuestas.