Validating LLMs in social science: Epistemic threats and emerging norms

Imagine que os cientistas sociais são como detetives tentando resolver mistérios sobre o comportamento humano. Durante anos, eles tiveram que contratar equipes de ajudantes humanos para ler milhares de documentos, classificá-los em categorias ou adivinhar como as pessoas responderiam a questionários. É lento, caro e cansativo.

Entra o Grande Modelo de Linguagem (LLM): um assistente robô digital superinteligente que pode ler e escrever mais rápido do que qualquer pessoa. Pesquisadores agora estão pedindo a esses robôs para fazer o trabalho pesado, transformando textos bagunçados em números e gráficos organizados. Parece uma varinha mágica, certo? Mas um novo estudo de Meera Desai, Dallas Card e Abigail Z. Jacobs sugere que, embora a varinha seja brilhante, a magia pode ser um pouco mais complicada do que pensávamos.

A Grande Descoberta: O Problema da "Caixa Preta"

Os autores analisaram 27 artigos publicados nas principais revistas de ciências sociais entre 2023 e 2025. Eles encontraram 50 tarefas específicas onde pesquisadores usaram esses robôs de IA para medir coisas como "ofensividade", "ideologia política" ou "sentimento".

Aqui está a reviravolta: em quase todos esses casos, as medições do robô eram o evento principal. Elas eram a evidência central usada para fazer grandes afirmações sobre como a sociedade funciona. No entanto, quando os autores espiaram por trás da cortina para ver como os pesquisadores verificavam se os robôs estavam realmente dizendo a verdade, encontraram uma bagunça.

Pense nisso como assar um bolo. Você pode usar um forno sofisticado e de alta tecnologia (o LLM) para assar um bolo. Mas se você não verificar a temperatura, não provar a massa e não souber exatamente qual receita usou, não pode ter certeza de que o bolo é realmente um bolo e não um tijolo. O estudo descobiu que os pesquisadores estão frequentemente assando com esses fornos de alta tecnologia, mas pulando os testes de sabor.

Os Três Grandes Erros

O artigo destaca três maneiras pelas quais os pesquisadores estão se perdendo na confusão:

1. A "Receita Vaga" (Conceitualização):
   Imagine que você diz a um robô: "Encontre-me um post 'ruim'". Mas você nunca diz ao robô o que "ruim" significa. É rude? É triste? É errado?
   O estudo descobriu que em 13 artigos (abrangendo 29 tarefas), os pesquisadores não definiram seus conceitos de forma alguma. Eles apenas usaram uma única palavra ou uma frase curta. É como dizer a um chef: "Faça-me uma refeição 'deliciosa'" sem dizer se você quer algo picante, doce ou salgado. Sem uma definição clara, o robô pode estar medindo algo totalmente diferente do que o pesquisador pretendia.

2. As "Configurações Aleatórias" (Operacionalização):
   Usar um LLM é como dirigir um carro com um milhão de botões e seletores. Você tem que escolher o modelo, a "temperatura" (o quão criativas ou aleatórias são as respostas) e como extrair a resposta da longa e tagarela resposta do robô.
   Os autores descobriram que os pesquisadores estavam girando esses botões de maneiras muito diferentes, muitas vezes baseadas em um palpite ou suposição. Alguns usaram prompts zero-shot (apenas instruções, sem exemplos), enquanto outros usaram prompts few-shot (instruções mais exemplos). Alguns pediram ao robô para responder com um número; outros pediram uma frase.
   A parte assustadora? O artigo sugere que pequenas mudanças nessas configurações podem mudar completamente o resultado. É como girar o dial do rádio levemente e, de repente, ouvir uma estação diferente. No entanto, muitos pesquisadores não explicaram por que escolheram suas configurações específicas, tornando difícil para outros repetirem o experimento.

3. A Verificação de "Nota Única" (Validação):
   Este é o maior problema. Quando você usa um robô para medir algo, precisa provar que é preciso. O padrão ouro é comparar o trabalho do robô com o trabalho de um humano (o "padrão ouro").
   O estudo descobriu que 38 de 50 tarefas dependiam quase inteiramente de um tipo de verificação: a validade convergente. Isso significa que eles apenas perguntaram: "O robô concorda com o humano?".
   Mas o artigo argumenta que isso não é suficiente. É como verificar se um novo termômetro funciona comparando-o com um antigo que também pode estar quebrado. Os autores sugerem que os pesquisadores deveriam usar uma caixa de ferramentas completa de verificações:

   • Validade de face: A resposta parece razoável à primeira vista?
   • Validade de hipótese: Os dados ajudam a responder a uma questão real e interessante?
   • Validade preditiva: Os dados preveem eventos futuros corretamente?
   • Validade discriminante: O robô está medindo apenas o que pedimos, ou está captando outras coisas também?

   Chocantemente, 8 tarefas no estudo não tiveram nenhuma validação. Eles apenas aceitaram a palavra do robô.

O Que o Artigo Descarta

Os autores são muito claros sobre o que este estudo não está dizendo. Eles não estão dizendo que os LLMs são inúteis. Eles não estão dizendo que devemos parar de usá-los.

No entanto, eles explicitamente descartam a ideia de que podemos apenas "conectar e usar" esses modelos. Você não pode tratar um LLM como uma régua padrão ou um termômetro que dá o mesmo resultado toda vez que você o usa. O artigo argumenta contra a ideia de que esses modelos são "instrumentos universais" que provocam medições significativas automaticamente. Em vez disso, eles são ferramentas construídas sob medida que exigem design cuidadoso, definições precisas e testes rigorosos.

Eles também descartam a ideia de que a forma atual de fazer as coisas é "boa o suficiente". O fato de os pesquisadores estarem pulando etapas como definir conceitos ou verificar vieses não é apenas um descuido menor; é uma ameaça a todo o campo. Se as medições são instáveis, as conclusões sobre a sociedade também serão.

O Quão Certos Estamos?

Os autores estão muito confiantes em suas descobertas porque não apenas adivinharam; eles fizeram o trabalho. Eles coletaram uma lista abrangente de 2.143 artigos de revistas de topo e codificaram manualmente 27 artigos com 50 tarefas específicas. Eles não simularam isso; eles olharam para pesquisas reais publicadas.

Eles descobriram que, embora os LLMs estejam se tornando centrais para as ciências sociais, as "normas" (as regras de trânsito) para usar esses modelos com segurança ainda não acompanharam o ritmo. O artigo sugere que, sem regras melhores — como sempre definir seus termos, relatar cada configuração que você usou e verificar seu trabalho com múltiplos métodos — corremos o risco de construir uma casa de cartas sobre um alicerce instável.

A Conclusão

O artigo termina com um chamado à ação. Não é uma placa de "pare"; é uma placa de "proceda com cautela". Os cientistas sociais precisam começar a tratar essas ferramentas de IA com o mesmo respeito e rigor que dedicam aos pesquisadores humanos. Eles precisam escrever exatamente o que perguntaram ao robô, como perguntaram e como verificaram a resposta.

Até lá, o robô pode ser um assistente poderoso, mas ainda é um pouco misterioso. E na ciência, mistérios são divertidos, mas não servem para criar fatos sólidos.