Resumen Técnico: ¿Nada más que una encuesta? El uso de modelos de lenguaje de gran tamaño para la codificación de respuestas de encuestas abiertas en alemán sobre la motivación de la encuesta

Planteamiento del problema

La clasificación de las respuestas de encuestas abiertas es una tarea que requiere muchos recursos, que tradicionalmente requiere la codificación manual humana o modelos de aprendizaje automático (ML) supervisados que demandan extensos datos de entrenamiento, experiencia y preprocesamiento. Si bien los modelos de lenguaje de gran tamaño (LLM) ofrecen capacidades prometedoras para la clasificación de texto debido a su adaptabilidad lingüística y su capacidad para manejar entradas cortas y con poco contexto, la investigación existente sobre su aplicación a los datos de encuestas es limitada. La mayoría de los estudios se centran en respuestas en inglés, temas no complejos o familias de modelos únicos. Además, las preocupaciones relativas a la reproducibilidad, la fiabilidad y la generalizabilidad de los hallazgos a otros idiomas distintos del inglés (específicamente el alemán) y a esquemas de codificación complejos y de múltiples categorías siguen sin resolverse. Este estudio aborda la brecha en la comprensión de las condiciones bajo las cuales los LLM pueden aprovecharse de manera eficiente y precisa para la codificación de respuestas de encuestas abiertas en alemán, específicamente en lo que respecta a la motivación de la encuesta.

Metodología

Datos y esquema de codificación

El estudio utiliza datos del GESIS Panel.pop, un panel alemán de modalidad mixta basado en probabilidad. El conjunto de datos consta de aproximadamente 25.000 respuestas abiertas a una pregunta anual sobre las razones de la participación en la encuesta (razones primarias, secundarias y terciarias). Para el análisis, se seleccionó una muestra aleatoria de 5.072 respuestas. Estas respuestas fueron codificadas independientemente por dos investigadores de encuestas utilizando un esquema de codificación predefinido que comprende 22 categorías (incluyendo razones intrínsecas, extrínsecas y relacionadas con la encuesta, así como categorías de cobertura general como "Sin razón" y "Otro"). El acuerdo entre codificadores fue alto (kappa de Cohen = 0,91), y los desacuerdos fueron resueltos por un experto sénior. Estos códigos humanos sirven como la verdad fundamental (ground truth) para la evaluación.

Selección de modelos

El estudio compara tres familias de LLM de vanguardia, seleccionadas por sus capacidades multilingües:

1. GPT-4o (OpenAI): Un modelo propietario destacado por sus mejoras en idiomas distintos al inglés. Se accedió a él a través de AzureOpenAI para garantizar la privacidad de los datos y la reproducibilidad.
2. Llama 3.2-3B-Instruct (Meta): Un modelo de código abierto, seleccionado como la opción multilingüe más capaz en su serie disponible en Europa.
3. Mistral-NeMo-Instruct-2407 (Mistral AI): Un modelo de código abierto europeo diseñado específicamente para aplicaciones globales y multilingües, con una notable fortaleza en alemán.

Estrategias de prompting

Se evaluaron cuatro estrategias de prompting distintas:

• Zero-shot (Cero disparos): El modelo recibe el esquema de codificación sin ejemplos ni definiciones detalladas.
• Zero-shot con descripciones: El modelo recibe el esquema de codificación con definiciones detalladas para cada categoría.
• Few-shot (Pocos disparos): Se le proporciona al modelo un ejemplo de respuesta por categoría (22 ejemplos en total) junto con el esquema de codificación.
• Fine-tuning (Ajuste fino): Aplicado únicamente a GPT-4o debido a restricciones de recursos. El modelo fue ajustado con el 80% de los datos codificados por humanos (4.048 respuestas) y evaluado con el 20% restante (1.024 respuestas).

Configuración experimental

• Temperatura: Establecida en 0 para todos los modelos para maximizar el determinismo y la fiabilidad.
• Ejecución: Cada respuesta se procesó individualmente con la memoria refrescada. Las consultas se ejecutaron dos veces por modelo/enfoque para evaluar la fiabilidad.
• Métricas de evaluación: La métrica principal fue la puntuación F1 macro, elegida para tener en cuenta la distribución desequilibrada de las categorías. Otras métricas incluyeron F1 ponderada, precisión e Índices de Correlación Intraclase (ICC) para la fiabilidad.

Resultados clave

Diferencias de rendimiento entre modelos

• Superioridad del modelo: GPT-4o superó consistentemente a los modelos de código abierto (Llama y Mistral) en todos los enfoques de prompting.
• Rendimiento absoluto: Sin el ajuste fino, incluso los modelos de código abierto con mejor desempeño no alcanzaron niveles de rendimiento satisfactorios. GPT-4o logró un F1 macro de aproximadamente 0,70 con el prompting de pocos disparos (few-shot), lo cual sigue siendo inferior al rendimiento de los métodos supervisados (por ejemplo, SVM) reportados en estudios previos sobre estos mismos datos.
• Impacto del ajuste fino (Fine-tuning): El ajuste fino de GPT-4o resultó en un aumento dramático del rendimiento, logrando un F1 macro de 0,87. Este enfoque produjo una distribución categórica que coincidía perfectamente con el referente codificado por humanos, con prácticamente ninguna clasificación faltante.

Rendimiento a través de las categorías

• Alto rendimiento: Todos los modelos funcionaron excepcionalmente bien en categorías sustantivas frecuentes, tales como "incentivo", "interés" y "diversión" (F1 macro ~0,9).
• Bajo rendimiento: Los modelos tuvieron dificultades significativas con las categorías de cobertura general no sustantivas, específicamente "Sin razón" (por ejemplo, "no sé", "???"), "No identificable/otro" y "Otras características de la encuesta".
• Desplazamientos distribucionales: Debido al bajo rendimiento en categorías específicas, los modelos no ajustados produjeron distribuciones categóricas distorsionadas en comparación con los codificadores humanos. Por ejemplo, los modelos de código abierto sobreasignaron "curiosidad" y subasignaron "sin razón", lo que podría sesgar los análisis sustantivos.

Estrategias de prompting

• Zero-shot vs. Few-shot: El prompting de pocos disparos (few-shot) mejoró significativamente el rendimiento de los modelos de código abierto (un aumento de ~0,18 en el F1 macro), pero tuvo un efecto marginal en GPT-4o.
• Descripciones: Proporcionar descripciones detalladas de las categorías no mejoró consistentemente el rendimiento y, en algunos casos, lo degradó en comparación con el simple prompting zero-shot.
• Fiabilidad: Todos los modelos exhibieron una alta fiabilidad (ICC > 0,93) a través de las iteraciones. Notablemente, Mistral produjo salidas idénticas a través de las iteraciones cuando la temperatura se estableció en cero, mientras que GPT y Llama mostraron variaciones menores, lo que sugiere que establecer la temperatura en cero no siempre garantiza un determinismo perfecto en todas las implementaciones de los modelos.

Principales contribuciones

1. Verificación de generalizabilidad: El estudio demuestra que los hallazgos de tareas de encuestas en inglés y no complejas no se generalizan automáticamente a las tareas de codificación de categorías múltiples y de idioma alemán.
2. Dependencia del modelo y la estrategia: Establece que el rendimiento de los LLM es altamente condicional tanto a la arquitectura específica del modelo como a la estrategia de prompting. No existe un enfoque único de "fuera de la caja" que funcione universalmente bien.
3. Necesidad de ajuste fino (Fine-tuning): La investigación destaca que, para dominios específicos y complejos, el ajuste fino sobre datos codificados por humanos es a menudo necesario para alcanzar niveles de rendimiento comparables o superiores a los métodos supervisados establecidos.
4. Validez distributiva: Advierte que el uso de LLM no ajustados puede conducir a errores sistemáticos en las distribuciones categóricas, lo que puede comprometer los análisis sustantivos posteriores de los datos de la encuesta.

Significado y afirmaciones

El artículo concluye que, si bien los LLM tienen potencial para la codificación de respuestas de encuestas abiertas, no son una solución de "talla única".

• Para contextos fáciles: En contextos más simples (por ejemplo, inglés, temas comunes), los LLM disponibles directamente pueden servir como alternativas eficientes a la codificación manual o al ML tradicional.
• Para contextos complejos: Para temas específicos y complejos en idiomas distintos al inglés, el rendimiento bruto de los LLM suele ser inferior a los métodos establecidos. El éxito requiere ya sea una ingeniería de prompts cuidadosa (específicamente el prompting de pocos disparos/few-shot) o, más eficazmente, el ajuste fino sobre datos codificados por humanos.
• Humano en el bucle (Human-in-the-loop): Los autores afirman que los humanos deben permanecer en el proceso. El ajuste fino requiere datos de referencia codificados por humanos, y la fiabilidad de los modelos no locales a lo largo del tiempo no está garantizada debido a posibles actualizaciones o depreciaciones.
• Compensaciones (Trade-offs): Los investigadores deben sopesar las compensaciones entre los modelos propietarios (alto rendimiento, costo, preocupaciones de privacidad) y los modelos de código abierto (privacidad, reproducibilidad, menor rendimiento, altos requisitos computacionales).

En última instancia, el estudio advierte contra la adopción acrítica de los LLM para la codificación de encuestas, enfatizando que la validación rigurosa frente a los referentes humanos es esencial antes de su despliegue, particularmente cuando el objetivo es preservar la integridad de la distribución de los datos para el análisis sustantivo.