Researchers waste 80% of LLM annotation costs by classifying one text at a time

Resumo Técnico: Otimização de Custos e Qualidade em Classificação de Texto com LLMs

Título: Researchers waste 80% of LLM annotation costs by classifying one text at a time (Pesquisadores desperdiçam 80% dos custos de anotação de LLMs ao classificar um texto por vez)
Autores: Christian Pipal, Eva-Maria Vogel, Morgan Wack, Frank Esser (Universidade de Zurique)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas padrão para análise de conteúdo automatizado nas ciências sociais, classificando milhões de postagens e textos acadêmicos. No entanto, a prática metodológica predominante é extremamente conservadora: os pesquisadores geralmente enviam um texto e uma única variável por chamada de API.

• Ineficiência: Classificar 100.000 textos com 4 variáveis exigiria 400.000 chamadas de API.
• Custo: Essa abordagem gera um desperdício massivo de tokens e custos financeiros, pois as instruções (prompt) são transmitidas repetidamente para cada item individual.
• Lacuna de Conhecimento: Embora a literatura de ciência da computação sugira que o batching (agrupamento) seja viável em benchmarks pequenos, não havia testes sistemáticos sobre como o agrupamento de textos (item batching) e o empilhamento de múltiplas variáveis de codificação (variable stacking) afetam a qualidade da classificação em tarefas de análise de conteúdo guiadas por códigos (codebook-driven) nas ciências sociais.

2. Metodologia

Os autores realizaram um teste sistemático abrangente para avaliar a viabilidade e a precisão de estratégias de otimização.

• Dados: 3.962 tweets com rótulos de "verdade fundamental" (ground-truth) codificados por especialistas (Gilardi et al., 2023), cobrindo quatro variáveis: Relevância, Problema/Solução, Posicionamento (Stance) e Tópico.
• Modelos: Foram testados 8 LLMs de produção de 4 provedores diferentes:
  • Anthropic: Claude Haiku 4.5.
  • OpenAI: GPT-5-mini e GPT-5-nano (modelos de raciocínio).
  • Google: Gemini 3 Flash, 3.1 Flash-Lite, 2.5 Flash-Lite.
  • Alibaba: Qwen 3.5 Plus e 3.5 Flash.
• Design Experimental:
  • Estudo 1 (Item Batching): Variou o tamanho do lote (batch size) de 1 a 1.000 itens por prompt.
  • Estudo 2 (Variable Stacking): Variou o número de dimensões de codificação simultâneas (k) de 1 a 25 variáveis por prompt, mantendo o tamanho do lote fixo (b=25 e b=250).
  • Controle: Um prompt de controle com o mesmo comprimento de tokens que o empilhamento máximo (k=25), mas contendo apenas 4 variáveis reais e texto de preenchimento, para isolar o efeito do comprimento do prompt versus a complexidade da tarefa.
• Métrica Principal: Precisão (acordo com o rótulo humano) e taxas de falha de análise (parse failures).

3. Principais Contribuições

1. Validação de Eficiência: Demonstra que é possível reduzir os custos de API em mais de 80% sem degradação significativa da qualidade, agrupando textos e empilhando variáveis.
2. Definição de "Faixa Segura": Estabelece limites operacionais específicos para o uso de LLMs em análise de conteúdo:
   • Batch Size: Até 100 itens.
   • Variable Stacking: Até 10 dimensões simultâneas.
3. Distinção de Fatores de Degradação: Prova que a queda de qualidade no empilhamento de variáveis é causada pela complexidade da tarefa (gerenciar múltiplos esquemas de classificação), e não pelo comprimento do prompt (número de tokens).
4. Comparação com Erro Humano: Mostra que o erro de medição introduzido pela otimização (dentro da faixa segura) é menor do que a discordância típica entre codificadores humanos nos dados de referência.

4. Resultados Chave

• Economia de Custos: Agrupar 25 itens e empilhar 4 variáveis reduz as chamadas de API de 400.000 para 4.000 (economia de >80%).
• Estabilidade da Precisão (Batching):
  • Seis dos oito modelos mantiveram a precisão dentro de 2 pontos percentuais (pp) da linha de base (item único) até tamanhos de lote de 100.
  • Modelos como o Claude Haiku 4.5 foram extremamente robustos (queda máxima de 1,1 pp).
  • Falhas Específicas: Dois modelos de raciocínio da OpenAI (GPT-5-nano e GPT-5-mini) colapsaram em lotes grandes (≥250), perdendo 27–36 pontos de precisão e apresentando falhas de análise massivas, provavelmente devido à incapacidade de operar com temperatura 0.
• Empilhamento de Variáveis (Stacking):
  • Empilhar até 10 variáveis produziu resultados comparáveis à codificação de variável única (diferença < 2,2 pp).
  • O empilhamento de até 25 variáveis causou degradação, mas novamente, a complexidade da tarefa foi o fator determinante, não o tamanho do prompt.
• Interação Aditiva: Os efeitos de batching e stacking são aditivos, não multiplicativos. Isso significa que os pesquisadores podem otimizar ambas as dimensões simultaneamente sem sofrer uma penalidade de degradação composta.
• Comportamento por Variável:
  • A variável "Relevância" (binária) foi a mais sensível em termos relativos.
  • A variável "Tópico" (6 classes) mostrou um aumento interessante de precisão em lotes maiores, possivelmente devido a um efeito de "auto-demonstração" onde tweets co-presentes fornecem informações distribucionais que ajudam a calibrar os limites das categorias.

5. Significância e Implicações

• Viabilidade de Estudos em Grande Escala: As descobertas tornam viáveis projetos de pesquisa que classificam milhões de documentos, que antes seriam proibitivamente caros ou demorados.
• Redução de Custos Práticos: Para um projeto codificando 100.000 tweets com 4 variáveis usando um modelo de nível médio, o custo pode cair de ~$337 para menos de $50 (ou < $10 com modelos orçamentários).
• Tolerância de Erro: O erro de medição introduzido pela otimização (dentro dos limites seguros) é menor que a discordância inter-codificadores humana (que varia de 6% a 21% nos dados de referência). Isso indica que a otimização não introduz ruído maior do que o já aceito na pesquisa baseada em codificação humana.
• Recomendação Metodológica: Os autores defendem que o tamanho do lote e a configuração de empilhamento devem ser relatados junto com o nome do modelo e o design do prompt, pois são graus de liberdade do pesquisador que impactam diretamente a reprodutibilidade e o custo.

Conclusão: O artigo fornece evidências empíricas robustas de que a prática conservadora de "um texto, uma variável" é ineficiente. Ao adotar batching (até 100 itens) e stacking (até 10 variáveis), pesquisadores podem economizar mais de 80% dos custos sem comprometer a validade científica dos dados, desde que evitem modelos de raciocínio específicos em lotes muito grandes e monitorem a complexidade da tarefa.