So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis

Resumen Técnico: Comparación de Modelos de Lenguaje de Gran Escala con el Aprendizaje Automático Tradicional para el Análisis de Encuestas de Respuesta Abierta

Planteamiento del Problema
Las respuestas de encuestas abiertas, como las de la Encuesta Nacional de Compromiso Estudiantil (NSSE), ofrecen datos cualitativos ricos pero presentan desafíos significativos para su análisis a escala. Los enfoques tradicionales de aprendizaje automático (ML), aunque efectivos para tareas estructuradas, suelen depender de una ingeniería de características extensiva (por ejemplo, TF-IDF, n-gramas) y tienen dificultades con los matices pragmáticos del lenguaje humano. Específicamente, los modelos tradicionales frecuentemente fallan al interpretar estados emocionales complejos ocultos tras el sarcasmo, el agotamiento o el escepticismo, lo que conduce a una clasificación errónea de sentimientos sutiles. Si bien trabajos previos utilizaron el Procesamiento de Lenguaje Natural (NLP) tradicional para automatizar la codificación temática, la aparición de los Modelos de Lenguaje de Gran Escala (LLM) ofrece una nueva vía para el razonamiento sensible al contexto y el reconocimiento de emociones. Este estudio aborda la pregunta de si los LLM contemporáneos pueden proporcionar un análisis de sentimiento más consistente y preciso que los modelos de ML tradicionales, particularmente en ausencia de anotaciones de verdad fundamental (ground-truth) para datos de encuestas del mundo real.

Metodología
La investigación emplea un marco comparativo que evalúa cuatro clasificadores de ML tradicionales frente a cuatro LLM de vanguardia a través de tres conjuntos de datos distintos:

1. Conjuntos de Datos:
   • NSSE 2019 y 2021: Respuestas de encuestas abiertas del mundo real de estudiantes universitarios de EE. UU. (N=142 y N=293, respectivamente). Estos conjuntos de datos carecen de etiquetas de emoción anotadas por humanos.
   • Hugging Face Emotion Dataset: Un conjunto de datos de referencia de tweets en inglés categorizados en seis emociones (ira, miedo, alegría, amor, tristeza, sorpresa), dividido en conjuntos de entrenamiento (70,004) y prueba (17,950).
2. Líneas Base de ML Tradicional:
   • Se entrenaron cuatro clasificadores exclusivamente con el conjunto de entrenamiento de Hugging Face y se evaluaron de forma zero-shot en los datos de NSSE: Clasificador de Vectores de Soporte (SVC) con núcleo RBF, LinearSVC, Bosque Aleatorio (Random Forest) y Árbol de Decisión.
   • Estos modelos utilizaron ingeniería de características estándar, incluyendo tokenización, TF-IDF y extracción de bigramas.
3. Modelos de Lenguaje de Gran Escala (LLMs):
   • Se evaluaron cuatro modelos utilizando prompting de tipo zero-shot sin ajuste fino (fine-tuning): OpenAI GPT-4-Turbo, Claude 3.5 Sonnet, Meta LLaMA 3 (70B) y Perplexity Sonar Pro.
   • Un prompt estandarizado instruyó a los modelos para clasificar el texto en una de las seis emociones básicas.
   • La inferencia se realizó con la temperatura establecida en 0 y max_tokens en 5 para asegurar la reproducibilidad; los modelos locales utilizaron decodificación codiciosa (greedy decoding).
4. Métricas de Evaluación:
   • El rendimiento se midió mediante la precisión de clasificación en el conjunto de datos de referencia.
   • Para los datos de NSSE del mundo real, donde la verdad fundamental no está disponible, el estudio utilizó la concordancia inter-modelo y la consistencia de cohorte como indicadores de fiabilidad.

Resultados Clave

• Rendimiento de Referencia: Los modelos de ML tradicionales demostraron una alta generalización en el conjunto de datos equilibrado de Hugging Face. LinearSVC logró la mayor precisión (90.98%), seguido de cerca por RBF-SVC (90.08%) y Random Forest (89.78%). Los Árboles de Decisión tuvieron un rendimiento inferior (85.48%), lo que indica sensibilidad al ruido de alta dimensión.
• Sensibilidad de Cohorte y Sesgo: Se observó una divergencia crítica en el análisis de los datos de NSSE. Los modelos de ML tradicionales exhibieron una alta concordancia interna pero un sesgo dependiente de la cohorte significativo. Por ejemplo, en la cohorte de 2019, el modelo SVC clasificó el 99.3% de las respuestas como "Alegría" y el Árbol de Decisión sobrepredijo "Amor" (43.3%). Esto sugiere una dependencia excesiva de la valencia léxica superficial (por ejemplo, palabras como "genial" o "bueno") sin una desambiguación pragmática.
• Consistencia de los LLM: En contraste, los cuatro LLM demostraron una alta validez convergente. Sus predicciones mostraron una estabilidad notable entre diferentes cohortes (2019 vs. 2021) y arquitecturas. Por ejemplo, en la cohorte de 2021, los cuatro LLM coincidieron perfectamente en el recuento de "Ira" (46 instancias). El rango de recuentos predichos para emociones negativas (Miedo, Tristeza, Ira) fue mínimo entre los modelos, mientras que los modelos de ML variaron drásticamente.
• Matiz y Pragmática: Los LLM parecieron estar mejor equipados para manejar claves pragmáticas, como el atenuamiento (hedging) y los marcadores del discurso, lo que resultó en distribuciones de emociones más plausibles en comparación con la "alegría universal" implausible generada por algunos modelos de ML en cohortes específicas.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los modelos de ML tradicionales siguen siendo valiosos por su interpretabilidad, velocidad y auditabilidad (mediante pesos de características), son "frágiles" y sensibles a las características superficiales cuando se aplican al análisis longitudinal o de instituciones cruzadas. El estudio postula que los LLM ofrecen un avance metodológico al proporcionar un mayor poder predictivo y consistencia en la interpretación de expresiones humanas complejas y no literales.

Los autores concluyen que los LLM pueden reducir significamente el esfuerzo humano en la codificación de datos de texto abierto y extraer conocimientos matizados de los "grandes datos" (big data) cualitativos a gran escala. Sin embargo, advierten que esto conlleva compensaciones: los LLM carecen de la explicabilidad inherente de los árboles de decisión o los modelos lineales y enfrentan desafíos respecto a la reproducibilidad debido a las actualizaciones frecuentes de los modelos y las posibles alucinaciones. El documento sugiere que, para aplicaciones de alto riesgo, como informar las políticas de apoyo estudiantil, el enfoque óptimo es un sistema híbrido que combine los códigos generados por LLM con auditorías humanas o de ML para equilibrar la automatización con el rigor interpretativo.