QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models

Resumen Técnico: QSTN

1. El Problema

El uso de Grandes Modelos de Lenguaje (LLMs) mediante prompts tipo cuestionario se ha convertido en una práctica estándar para evaluar conocimientos, valores, sesgos y generar datos sintéticos (encuestas in-silico). Sin embargo, la investigación actual enfrenta desafíos críticos de robustez:

• Sensibilidad a la perturbación: Las respuestas de los LLM varían drásticamente ante cambios menores en el formato del prompt, el orden de las preguntas o las opciones de respuesta (sesgos de recencia, sesgo "A", etc.).
• Inconsistencia: Las respuestas cerradas de un LLM pueden diferir significativamente de sus respuestas abiertas, y el rendimiento depende fuertemente de la configuración del cuestionario.
• Falta de estandarización: No existen herramientas unificadas que permitan a los investigadores controlar sistemáticamente estas variables, lo que pone en riesgo la reproducibilidad y la fiabilidad de los estudios basados en LLM.

2. Metodología y Arquitectura de QSTN

Los autores presentan QSTN (pronunciado "Question"), un framework de código abierto en Python diseñado para estandarizar y robustecer la inferencia de cuestionarios con LLMs. Su arquitectura se basa en un pipeline totalmente modular que permite intercambiar componentes independientemente.

Componentes Clave:

• Presentación del Cuestionario: Soporta tres modos distintos para evaluar cómo la estructura afecta los resultados:
  • Secuencial: Preguntas en llamadas de chat consecutivas en el mismo contexto.
  • Batería (Battery): Todas las preguntas en un solo prompt, esperando una respuesta única para todas.
  • Ítem Único (Single-item): Cada pregunta en un contexto nuevo, sin memoria de las anteriores.
• Perturbación de Prompts: Automatiza la introducción de variaciones para probar la robustez:
  • Orden: Aleatorización o inversión del orden de preguntas y opciones.
  • Escala: Transformación de escalas pares a impares (añadiendo "Neutral") o viceversa.
  • Errores: Introducción de errores tipográficos (sustitución de teclas, intercambio de letras) y variaciones semánticas (sinónimos, parafraseo).
  • Opciones: Eliminación de opciones de rechazo ("No sé").
• Generación de Respuestas: Ofrece múltiples métodos para extraer respuestas cerradas:
  • Basado en Probabilidad de Tokens: Extrae probabilidades directamente de la salida del modelo.
  • Generación Restringida: Fuerza al modelo a elegir una opción específica (opcionalmente en JSON o con razonamiento).
  • Generación Abierta: Genera texto libre que luego se clasifica en una segunda etapa.
• Interfaz y Despliegue:
  • Soporta inferencia local (vLLM) y remota (API de OpenAI).
  • Incluye una Interfaz Gráfica (GUI) sin código para investigadores no programadores.
  • Permite la integración en solo tres llamadas de función.

3. Contribuciones Clave

1. Framework Modular: La primera herramienta que unifica la presentación, perturbación y generación de respuestas en un solo pipeline configurable.
2. Validación Empírica a Gran Escala: Evaluación exhaustiva basada en >40 millones de respuestas de encuestas sintéticas.
3. Interfaz No-Code: Democratiza el acceso a experimentos robustos con LLMs mediante una GUI que no requiere conocimientos de programación.
4. Análisis de Eficiencia: Proporciona métricas detalladas sobre el costo computacional (tokens, tiempo de inferencia) de diferentes estrategias de presentación.

4. Resultados Principales

Los experimentos se realizaron con más de 10 modelos (incluyendo Llama 3, Qwen, Gemma, Phi, Gemini) y diversos conjuntos de datos (ANES, GLES, ATP).

• Impacto de la Presentación:
  • El modo "Batería" (Battery) mostró la mejor alineación distribucional con las respuestas humanas reales (reduciendo la distancia de Wasserstein en un ~8% comparado con el modo "Ítem Único" para modelos grandes).
  • Sin embargo, el impacto en la precisión a nivel individual fue marginal.
  • Eficiencia: El modo "Batería" reduce drásticamente el tiempo de inferencia y el uso de tokens (ej. de ~9 horas a ~1.5 horas en un modelo grande) al evitar múltiples llamadas de API.
• Robustez ante Perturbaciones:
  • Los modelos son altamente sensibles a perturbaciones. Por ejemplo, invertir el orden de las opciones o añadir errores tipográficos afecta significativamente la consistencia de las respuestas.
  • Los modelos más grandes (ej. Llama-3.3-70B) son más robustos que los modelos pequeños, pero ninguno es inmune.
  • Se identificó un fuerte sesgo de recencia: las opciones al final de la lista son seleccionadas con mucha más frecuencia.
• Métodos de Generación:
  • El Método de Distribución Verbalizada (pedir al modelo que genere una distribución de probabilidades para todas las opciones) mostró mejoras significativas en la alineación con subpoblaciones humanas en comparación con otros métodos.
  • Se desaconseja el uso de métodos basados únicamente en la probabilidad del primer token, ya que generan respuestas desalineadas.
  • Los métodos de Generación Restringida son recomendados por su equilibrio entre precisión y eficiencia computacional.

5. Significado e Impacto

El trabajo de QSTN es fundamental para el futuro de la investigación social asistida por IA:

• Reproducibilidad: Establece un estándar para reportar cómo se configuraron los prompts, permitiendo que otros investigadores repliquen y validen resultados.
• Fiabilidad: Al obligar a los investigadores a probar múltiples perturbaciones y métodos de presentación, QSTN ayuda a identificar resultados espurios o sesgados antes de sacar conclusiones.
• Eficiencia de Costos: Demuestra que se pueden obtener respuestas de alta calidad con una fracción del costo computacional mediante la optimización del formato del prompt (modo Batería).
• Aplicabilidad: Es útil no solo para la generación de datos sintéticos, sino también para tareas de anotación de datos, estudios de personalidad y evaluación de valores en LLMs.

En conclusión, QSTN transforma la experimentación con cuestionarios en LLMs de un proceso artesanal y propenso a errores a una metodología sistemática, robusta y accesible.