Resumo Técnico: AIn't Nothing But a Survey? Usando Grandes Modelos de Linguagem para a Codificação de Respostas de Pesquisas Abertas em Alemão sobre Motivação de Pesquisa

Declaração do Problema

A classificação de respostas de pesquisas abertas é uma tarefa que consome muitos recursos, tradicionalmente exigindo codificação manual humana ou modelos de aprendizado de máquina (ML) supervisionados que demandam extensos dados de treinamento, expertise e pré-processamento. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam capacidades promissoras para classificação de texto devido à sua adaptabilidade linguística e capacidade de lidar com entradas curtas e com pouco contexto, a pesquisa existente sobre sua aplicação a dados de pesquisa é limitada. A maioria dos estudos foca em respostas em língua inglesa, tópicos não complexos ou famílias de modelos únicos. Além disso, preocupações relativas à reprodutibilidade, confiabilidade e generalização de achados para idiomas não ingleses (especificamente o alemão) e esquemas de codificação de múltiplas categorias complexas permanecem sem solução. Este estudo aborda a lacuna na compreensão das condições sob as quais os LLMs podem ser aproveitados de forma eficiente e precisa para a codificação de respostas de pesquisas abertas em alemão, especificamente no que diz respeito à motivação de pesquisa.

Metodologia

Dados e Esquema de Codificação

O estudo utiliza dados do GESIS Panel.pop, um painel de modo misto baseado em probabilidade alemão. O conjunto de dados consiste em aproximadamente 25.000 respostas abertas a uma questão anual sobre razões para a participação na pesquisa (razões primárias, secundárias e terciárias). Para a análise, foi selecionada uma amostra aleatória de 5.072 respostas. Estas respostas foram codificadas independentemente por dois pesquisadores de pesquisa humanos utilizando um esquema de codificação predefinido composto por 22 categorias (incluindo razões intrínsecas, extrínsecas e relacionadas à pesquisa, bem como categorias genéricas como "Sem razão" e "Outro"). A concordância entre codificadores foi alta (Cohen's kappa = 0,91), com as divergências resolvidas por um especialista sênior. Estes códigos humanos servem como a verdade fundamental (ground truth) para avaliação.

Seleção de Modelos

O estudo compara três famílias de LLMs de última geração, selecionadas por suas capacidades multilíngues:

1. GPT-4o (OpenAI): Um modelo proprietário notado por melhorias em idiomas não ingleses. Foi acessado via AzureOpenAI para garantir a privacidade dos dados e a reprodutibilidade.
2. Llama 3.2-3B-Instruct (Meta): Um modelo de código aberto, selecionado como a opção multilíngue mais capaz em seu conjunto disponível na Europa.
3. Mistral-NeMo-Instruct-2407 (Mistral AI): Um modelo de código aberto europeu projetado especificamente para aplicações globais e multilíngues, com força notável em alemão.

Abordagens de Prompting

Quatro estratégias distintas de prompting foram avaliadas:

• Zero-shot: O modelo recebe o esquema de codificação sem exemplos ou definições detalhadas.
• Zero-shot com Descrições: O modelo recebe o esquema de codificação com definições detalhadas para cada categoria.
• Few-shot: O modelo é fornecido com um exemplo de resposta por categoria (22 exemplos no total) juntamente com o esquema de codificação.
• Fine-tuning (Ajuste Fino): Aplicado apenas ao GPT-4o devido a restrições de recursos. O modelo foi ajustado com 80% dos dados codificados por humanos (4.048 respostas) e avaliado nos 20% restantes (1.024 respostas).

Configuração Experimental

• Temperatura: Definida como 0 para todos os modelos para maximizar o determinismo e a confiabilidade.
• Execução: Cada resposta foi processada individualmente com memória renovada. As consultas foram executadas duas vezes por modelo/abordagem para avaliar a confiabilidade.
• Métricas de Avaliação: A métrica primária foi o F1-score macro, escolhido para levar em conta a distribuição desequilibrada das categorias. Métricas adicionais incluíram F1 ponderado, acurácia e Coeficientes de Correlação Intraclasse (ICC) para confiabilidade.

Principais Resultados

Diferenças de Desempenho Entre Modelos

• Superioridade do Modelo: O GPT-4o superou consistentemente os modelos de código aberto (Llama e Mistral) em todas as abordagens de prompting.
• Desempenho Absoluto: Sem o ajuste fino, mesmo os modelos de código aberto com melhor desempenho não atingiram níveis de desempenho satisfatórios. O GPT-4o alcançou um F1-score macro de aproximadamente 0,70 com few-shot prompting, o que ainda é inferior ao desempenho de métodos supervisionados (ex: SVMs) relatados em estudos anteriores sobre os mesmos dados.
• Impacto do Fine-tuning: O ajuste fino do GPT-4o resultou em um aumento dramático de desempenho, alcançando um F-score macro de 0,87. Esta abordagem gerou uma distribuição categórica que corresponde perfeitamente ao padrão codificado por humanos, com virtualmente nenhuma classificação ausente.

Desempenho por Categorias

• Alto Desempenho: Todos os modelos tiveram um desempenho excepcional em categorias substantivas frequentes, como "incentivo", "interesse" e "diversão" (F1-score macro ~0,9).
• Baixo Desempenho: Os modelos tiveram dificuldades significativas com categorias genéricas não substantivas, especificamente "Sem razão" (ex: "não sei", "???"), "Não identificável/outro" e "Outras características da pesquisa".
• Desvios Distribuicionais: Devido ao baixo desempenho em categorias específicas, os modelos não ajustados produziram distribuições categóricas distorcidas em comparação com os codificadores humanos. Por exemplo, os modelos de código aberto superatribuíram "curiosidade" e subatribuíram "sem razão", o que pode enviesar análises substantivas.

Abordagens de Prompting

• Zero-shot vs. Few-shot: O few-shot prompting melhorou significativamente o desempenho para os modelos de código aberto (um aumento de ~0,18 no F1-score macro), mas teve um efeito marginal no GPT-4o.
• Descrições: Fornecer descrições detalhadas de categorias não melhorou consistentemente o desempenho e, em alguns casos, degradou-o em comparação com o simples zero-shot prompting.
• Confiabilidade: Todos os modelos exibiram alta confiabilidade (ICC > 0,93) entre as iterações. Notavelmente, o Mistral produziu saídas idênticas entre as iterações quando a temperatura foi definida como zero, enquanto o GPT e o Llama mostraram variações menores, sugerindo que definir a temperatura para zero nem sempre garante o determinismo perfeito em todas as implementações de modelos.

Principais Contribuições

1. Verificação de Generalização: O estudo demonstra que achados de tarefas de pesquisa em inglês e não complexas não se generalizam automaticamente para tarefas de codificação de múltiplas categorias e de língua alemã complexas.
2. Dependência de Modelo e Estratégia: Estabelece que o desempenho do LLM é altamente condicional tanto à arquitetura específica do modelo quanto à estratégia de prompting. Não existe uma abordagem única de "prateleira" que funcione universalmente bem.
3. Necessidade de Fine-tuning: A pesquisa destaca que, para domínios específicos e complexos, o ajuste fino (fine-tuning) em dados codificados por humanos é frequentemente necessário para alcançar níveis de desempenho comparáveis ou superiores aos métodos supervisionados estabelecidos.
4. Validade Distribuicional: Alerta que o uso de LLMs não ajustados pode levar a erros sistemáticos nas distribuições categóricas, o que pode comprometer as análises substantivas subsequentes dos dados de pesquisa.

Significância e Alegações

O artigo conclui que, embora os LLMs possuam potencial para a codificação de respostas de pesquisas abertas, eles não são uma solução de "tamanho único".

• Para Contextos Simples: Em contextos mais simples (ex: inglês, tópicos comuns), os LLMs prontos para uso podem servir como alternativas eficientes à codificação manual ou ao ML tradicional.
• Para Contextos Complexos: Para tópicos específicos e complexos em idiomas não ingleses, o desempenho bruto dos LLMs é frequentemente inferior aos métodos estabelecidos. O sucesso exige ou engenharia de prompt cuidadosa (especificamente few-shot prompting) ou, mais efetivamente, o ajuste fino (fine-tuning) em dados codificados por humanos.
• Humano no Circuito (Human-in-the-loop): Os autores afirmam que os humanos devem permanecer no circuito. O ajuste fino requer dados de referência codificados por humanos, e a confiabilidade de modelos não locais ao longo do tempo não é garantida devido a possíveis atualizações ou depreciações.
• Compromissos (Trade-offs): Pesquisadores devem pesar os compromissos entre modelos proprietários (alto desempenho, custo, preocupações com privacidade) e modelos de código aberto (privacidade, reprodutibilidade, menor desempenho, altos requisitos computacionais).

Em última análise, o estudo alerta contra a adoção acrítica de LLMs para a codificação de pesquisas, enfatizando que a validação rigorosa contra parâmetros de referência humanos é essencial antes da implementação, especialmente quando o objetivo é preservar a integridade da distribuição dos dados para análise substantiva.