Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering

Resumo Técnico: Navegando no Espaço de Prompts: Melhorando a Classificação de Textos de Ciências Sociais através da Engenharia de Prompts

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado o potencial para substituir ou aumentar modelos supervisionados customizados e codificadores humanos na anotação de textos de ciências sociais, o desempenho atual exibe uma variância significativa. Estudos de benchmarking iniciais estabeleceram que os LLMs podem rivalizar com a precisão humana, mas a área carece de uma compreensão sistemática de como otimizar esses modelos para tarefas específicas. O problema central abordado é o espaço "infinito" de configurações de prompts disponíveis para pesquisadores. Sem uma abordagem estruturada de engenharia de prompts, os pesquisadores correm o risco de um desempenho subótimo, reprodutibilidade inconsistente e custos desnecessários. O artigo postula que o foco deve mudar de apenas perguntar se os LLMs são valiosos para determinar como otimizá-los por meio de escolhas específicas de design de prompt.

Metodologia
Os autores conduziram dois estudos distintos para variar sistematicamente os componentes da engenharia de prompts e avaliar seu impacto na precisão da classificação e na reprodutibilidade. Os experimentos utilizaram dois LLMs ajustados por instruções: o GPT-4o da OpenAI e o Gemini 2.0 Flash do Google.

O estudo manipulou três dimensões primárias do contexto do prompt:

1. Descrições de Rótulos: Variando entre fornecer apenas os rótulos candidatos ou fornecer descrições detalhadas das categorias de políticas ou emocionais (derivadas de livros de códigos/codebooks).
2. Nudges Instrucionais: Incluir ou excluir notas específicas que esclarecem nuances da tarefa, estabelecem expectativas ou corrigem vieses conhecidos do modelo (por exemplo, distinguir entre "saúde" e "direitos civis" para projetos de lei relacionados ao aborto).
3. Exemplos Few-Shot: Variando entre zero-shot (sem exemplos) e o fornecimento de exemplos de pares de entrada-saída para cada classe.

Adicionalmente, os autores variaram o tamanho do lote (batch size) (1, 10, 100, 500 e 1000 textos por prompt) para avaliar as trocas entre eficiência e desempenho.

As duas tarefas de classificação foram:

• Estudo 1 (Multiclasse): Classificar 21 tópicos de questões políticas de títulos de Projetos de Lei do Congresso usando o conjunto de dados do Comparative Agendas Project (CAP).
• Estudo 2 (Binária): Classificar respostas abertas de pesquisas do American National Election Studies (ANES) em categorias "emocional" vs. "neutra".

Principais Descobertas

• Retornos Decrescentes de Contexto: Um aumento mínimo no contexto do prompt (por exemplo, adicionar descrições de rótulos ou alguns exemplos) gera os maiores ganhos de desempenho. No entanto, aumentar ainda mais o comprimento do contexto não melhora linearmente a precisão e frequentemente gera apenas retornos marginais.
• Riscos Contextuais: Alarmantemente, os autores descobriram que aumentar o contexto do prompt pode, às vezes, diminuir a precisão, indicando que mais informação não é inerentemente melhor e pode introduzir ruído ou confusão.
• Eficiência de Processamento em Lote: Processar um único texto por prompt (batch size = 1) é geralmente subótimo tanto para o desempenho quanto para o custo. A classificação em lote (processar múltiplos textos em um único prompt) provou ser a escolha superior na maioria dos casos.
• Heterogeneidade: Existe uma heterogeneidade substancial nos resultados entre diferentes modelos, tarefas e tamanhos de lote. Não existe uma configuração de prompt "universal" que maximize o desempenho em todos os cenários.
• Problemas de Reprodutibilidade: Mesmo com o parâmetro de temperatura definido como zero, o estudo observou variação inter-requisição (saídas determinísticas não foram garantidas) para prompts idênticos, dependendo do modelo e dos atributos do prompt.

Principais Contribuições

• Exploração Sistemática do Espaço de Prompts: O artigo vai além da engenharia de prompts anedótica para fornecer um teste abrangente dos dilemas comuns enfrentados pelas ciências sociais, isolando especificamente os efeitos das descrições de rótulos, nudges instrucionais e exemplos few-shot.
• Evidência Empírica sobre Comprimento de Contexto: Desafia a suposição de que mais contexto é sempre melhor, demonstrando que os ganhos de precisão estagnam ou revertem com excesso de contexto.
• Orientação Operacional: O estudo fornece evidências de que o processamento em lote é uma estratégia mais eficiente do que o prompting de texto único, oferecendo conselhos práticos para pesquisadores que gerenciam custos computacionais.
• Necessidade de Validação: Destaca que os padrões de configuração cruzada são frequentemente dependentes do modelo, necessitando de validação individual para cada tarefa de codificação, em vez de depender de regras gerais derivadas de outros estudos.

Significância e Alegações
O artigo alega que a comunidade de ciências sociais deve transitar da exploração do valor dos LLMs para a anotação de textos para a exploração da otimização dos LLMs para tarefas específicas. Os autores argumentam que, embora os LLMs ofereçam um potencial significativo de redução de custos e precisão competitiva, sua confiabilidade não é garantida por padrão. A principal significância deste trabalho reside em sua nota de cautela: pesquisadores não podem confiar em regras gerais ou assumir que estratégias de prompting padrão funcionarão uniformemente. Em vez disso, os autores defendem "testes de validação individuais para cada caso específico" para aproveitar efetivamente a eficiência da classificação de texto baseada em LLM. O estudo ressalta que a engenharia de prompts é uma etapa necessária, porém complexa, onde a intervenção do pesquisador afeta diretamente o desempenho da classificação, exigindo um ajuste específico para cada tarefa, em vez de soluções de tamanho único.