So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis

Resumo Técnico: Comparação de Grandes Modelos de Linguagem com Aprendizado de Máquina Tradicional para Análise de Pesquisas de Respostas Abertas

Definição do Problema
As respostas de pesquisas de campo aberto, como as da National Survey of Student Engagement (NSSE), oferecem dados qualitativos ricos, mas apresentam desafios significativos para a análise em escala. As abordagens tradicionais de aprendizado de máquina (ML), embora eficazes para tarefas estruturadas, frequentemente dependem de uma extensa engenharia de atributos (ex: TF-IDF, n-grams) e têm dificuldade com as nuances pragmáticas da linguagem humana. Especificamente, os modelos tradicionais frequentemente falham ao interpretar estados emocionais complexos mascarados por sarcasmo, exaustão ou ceticismo, levando à classificação incorreta de sentimentos sutis. Embora trabalhos anteriores tenham utilizado o Processamento de Linguagem Natural (NLP) tradicional para automatizar a codificação temática, a emergência dos Grandes Modelos de Linguagem (LLMs) oferece um novo caminho para o raciocínio sensível ao contexto e o reconhecimento de emoções. Este estudo aborda a questão de saber se os LLMs contemporâneos podem fornecer uma análise de sentimento mais consistente e precisa do que os modelos de ML tradicionais, particularmente na ausência de anotações de verdade fundamental (ground-truth) para dados de pesquisas do mundo real.

Metodologia
A pesquisa emprega um framework comparativo avaliando quatro classificadores de ML tradicionais contra quatro LLMs de última geração através de três conjuntos de dados distintos:

1. Conjuntos de Dados:
   • NSSE 2019 e 2021: Respostas de pesquisas de campo aberto do mundo real de estudantes de graduação dos EUA (N=142 e N=293, respectivamente). Estes conjuntos de dados carecem de rótulos de emoção anotados por humanos.
   • Hugging Face Emotion Dataset: Um conjunto de dados de referência de tweets em inglês categorizados em seis emoções (raiva, medo, alegria, amor, tristeza, surpresa), dividido em conjuntos de treinamento (70.004) e teste (17.950).
2. Baselines de ML Tradicional:
   • Quatro classificadores foram treinados exclusivamente no conjunto de treinamento do Hugging Face e avaliados de forma zero-shot nos dados da NSSE: Support Vector Classifier (SVC) com kernel RBF, LinearSVC, Random Forest e Decision Tree.
   • Estes modelos utilizaram engenharia de atributos padrão, incluindo tokenização, TF-IDF e extração de bigramas.
3. Grandes Modelos de Linguagem (LLMs):
   • Quatro modelos foram avaliados usando prompting zero-shot sem ajuste fino (fine-tuning): OpenAI GPT-4-Turbo, Claude 3.5 Sonnet, Meta LLaMA 3 (70B) e Perplexity Sonar Pro.
   • Um prompt padronizado instruiu os modelos a classificar o texto em uma das seis emoções básicas.
   • A inferência foi conduzida com a temperatura definida em 0 e max_tokens em 5 para garantir a reprodutibilidade; os modelos locais utilizaram greedy decoding.
4. Métricas de Avaliação:
   • O desempenho foi medido via precisão de classificação no conjunto de dados de referência.
   • Para os dados da NSSE do mundo real, onde a verdade fundamental não está disponível, o estudo utilizou a concordância entre modelos e a consistência de coorte como proxies para confiabilidade.

Resultos Principais

• Desempenho de Referência: Os modelos de ML tradicionais demonstraram alta generalização no conjunto de dados equilibrado do Hugging Face. O LinearSVC alcançou a maior precisão (90,98%), seguido de perto pelo RBF-SVC (90,08%) e Random Forest (89,78%). Os Decision Trees apresentaram desempenho inferior (85,48%), indicando sensibilidade ao ruído de alta dimensionalidade.
• Sensibilidade de Coorte e Viés: Uma divergência crítica foi observada na análise dos dados da NSSE. Os modelos de ML tradicionais exibiram alta concordância interna, mas um significativo viés dependente de coorte. Por exemplo, na coorte de 2019, o modelo SVC classificou 99,3% das respostas como "Alegria", e o Decision Tree superestimou "Amor" (43,3%). Isso sugere uma dependência excessiva de valência lexical superficial (ex: palavras como "ótimo" ou "bom") sem disambiguação pragmática.
• Consistência dos LLMs: Em contraste, os quatro LLMs demonstraram alta validade convergente. Suas previsões mostraram uma estabilidade notável entre diferentes coortes (2019 vs. 2021) e arquiteturas. Por exemplo, na coorte de 2021, todos os quatro LLMs concordaram perfeitamente na contagem de "Raiva" (46 instâncias). A variação nas contagens previstas para emoções negativas (Medo, Tristeza, Raiva) foi mínima entre os modelos, enquanto os modelos de ML variaram drasticamente.
• Nuance e Pragmática: Os LLMs pareceram mais equipados para lidar com pistas pragmáticas, como atenuações (hedging) e marcadores de discurso, resultando em distribuições de emoções mais plausíveis em comparação com a "alegria universal" implausível gerada por alguns modelos de ML em coortes específicas.

Significância e Alegações
O artigo afirma que, embora os modelos de ML tradicionais continuem valiosos por sua interpretabilidade, velocidade e auditabilidade (via pesos de atributos), eles são "frágeis" e sensíveis a características superficiais quando aplicados a análises de pesquisas longitudinais ou interinstitucionais. O estudo postula que os LLMs oferecem um avanço metodológico ao fornecer maior poder preditivo e consistência na interpretação de expressões humanas complexas e não literais.

Os autores concluem que os LLMs podem reduzir significativamente o esforço humano na codificação de dados de texto aberto e extrair insights matizados de grandes volumes de dados qualitativos (big data). No entanto, eles alertam que isso traz compensações (trade-offs: os LLMs carecem da explicabilidade inerente aos modelos de árvore de decisão ou lineares e enfrentam desafios quanto à reprodutibilidade devido a atualizações frequentes de modelos e potenciais alucinações. O artigo sugere que, para aplicações de alto risco, como informar políticas de apoio estudantil, a abordagem ideal é um sistema híbrido que combine códigos gerados por LLM com auditoria humana ou de ML para equilibrar automação com rigor interpretativo.