Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

Resumo Técnico: Dois Erros não Fazem um Acerto: Auditando o Viés de Desejabilidade Social em Anotadores de LLM para Ciência Social Computacional

Definição do Problema
Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como anotadores de baixo custo na Ciência Social Computacional (CSS) para medir textos políticos, discurso de ódio, sentimento e opinião pública. No entanto, existe uma lacuna crítica na compreensão de se os erros "moldados pelo alinhamento" desses modelos preservam as quantidades empíricas que os pesquisadores pretendem relatar. Embora a acurácia por instância seja frequentemente a métrica padrão, a CSS depende de medições agregadas (ex: estimativas de prevalência, comparações de grupos, mudanças temporais). O artigo argumenta que um modelo pode possuir uma acurácia média superficialmente aceitável enquanto distorce sistematicamente a distribuição subjacente de rótulos devido ao viés de resposta de desejabilidade social (SDR). Esse viés se manifesta como uma tendência de produzir respostas normativamente preferidas em vez daquelas fiéis à instância de entrada, podendo levar a conclusões científicas errôneas sobre o sentimento público ou a prevalência de conteúdo nocivo.

Metodologia
Os autores realizam uma auditoria comparativa em três modelos de código aberto, com 7B de parâmetros e ajustados por instrução: Zephyr-7B, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct. Esses modelos diferem em suas famílias base e receitas de pós-treinamento (ex: otimização de preferência, ajuste fino de instrução supervisionada).

A avaliação abrange seis tarefas do benchmark TweetEval:

1. Discurso de Ódio (Hate Speech)
2. Linguagem Ofensiva (Offensive Language)
3. Detecção de Postura (Stance Detection - Aborto)
4. Sentimento (Sentiment)
5. Emoção (Emotion)
6. Ironia (Irony)

O estudo testa quatro condições de prompting para simular intervenções que praticantes poderiam usar sem retreinar o modelo:

1. Neutro (Neutral): Apenas a instrução da tarefa.
2. Enquadramento de Segurança (Safety Framing): Instruções explícitas sobre segurança, justiça e prevenção de danos.
3. Despersonalizado (Depersonalized): Enquadrar o modelo como uma função de rotulagem determinística em vez de um assistente prestativo.
4. Cadeia de Pensamento (Chain-of-Thought - CoT): Permitir o raciocínio intermediário antes do rótulo final.

Este design gera 72 células experimentais (3 modelos × 6 tarefas × 4 prompts). Os autores analisam o desempenho usando quatro métricas complementares:

• Macro-F1: Desempenho geral da tarefa.
• Taxa de Falso Benigno (False Benign Rate - FBR): A taxa na qual exemplos verdadeiramente nocivos recebem um rótulo benigno.
• Taxa de Falso Alarme (False Alarm Rate - FAR): A taxa na qual exemplos benignos são incorretamente rotulados como nocivos.
• Distorção de Jusante (Downstream Distortion): O erro absoluto entre a prevalência da classe prevista e a real (focando em "CONTRA" para postura de aborto e "DISCURSO DE ÓDIO" para discurso de ódio).

Contribuições Principais

1. Auditoria Multi-Tarefa: Uma avaliação sistemática do comportamento de anotação sensível ao alinhamento através de discurso de ódio, linguagem ofensiva, postura, sentimento, emoção e ironia.
2. Evidência de Insuficiência Agregada: Demonstração de que métricas agregadas (como Macro-F1 ou acurácia total de prevalência) são insuficientes para a implantação em CSS. O artigo expõe casos onde a acurácia de prevalência parece correta apenas porque erros condicionais de classes opostas (ex: omitir conteúdo nocivo enquanto super-identifica conteúdo benigno) se cancelam acidentalmente no nível do corpus.
3. Taxonomia de Falhas: Identificação de três padrões recorrentes de falha com assinaturas diagnósticas específicas:
   • Viés de Leniência (Leniency Bias): FBR alto e FAR baixo (subcontagem de conteúdo nocivo).
   • Sobrecorreção (Overcorrection): FBR baixo e FAR alto (supercontagem de conteúdo nocivo).
   • Viés de Neutralidade (Neutrality Bias): Supressão da prevalência de classes de postura forte em favor de rótulos neutros inflados.

Principais Resultados

• Direções de Falha Divergentes: Os modelos não falham uniformemente. O Zephyr exibe um forte viés de leniência, particularmente em linguagem ofensiva (FBR = 0,729, FAR = 0,031), aplicando sistematicamente menos rótulos nocivos. Por outro lado, Mistral e Qwen exibem sobrecorreção em discurso de ódio, com o Mistral rotulando 60,4% dos tweets não odiosos como discurso de ódio (FAR = 0,604).
• Viés de Neutralidade em Postura Política: Na tarefa de postura sobre aborto, todos os três modelos subestimaram sistematicamente a prevalência da posição "CONTRA" (taxa real: 67,5%) e inflaram o rótulo "NENHUM/Neutro". Sob prompting neutro, o Zephyr estimou a oposição em apenas 27,9%, enquanto o Mistral e o Qwen estimaram 43,9%. Esse viés persistiu em todas as condições de prompting.
• Ineficácia das Intervenções de Prompting: Nenhuma intervenção de prompting (Segurança, Despersonalização, CoT) corrigiu consistentemente essas falhas em todos os modelos e tarefas. Em alguns casos, as intervenções pioraram a distorção (ex: o enquadramento de Segurança reduziu ainda mais a taxa estimada de "CONTRA" para o Mistral).
• Cancelamento Acidental: Um achado crítico envolve os resultados de discurso de ódio do Zephyr. Sob prompting neutro, a prevalência estimada pelo Zephyr (43,0%) coincidiu exatamente com a taxa real. No entanto, isso foi um "cancelamento acidental" de um FBR alto (0,316) e um FAR alto (0,239). Um pesquisador que dependesse apenas da acurácia de prevalência concluiria falsamente que o modelo é confiável, apesar de ele rotular incorretamente uma parte significativa das instâncias individuais.
• Impacto Substantivo: As distorções observadas (variando de 14 a 40 pontos percentuais) são grandes o suficiente para inverter conclusões empíricas substantivas, como mudar a caracterização de um dataset de "fortemente opositor" para "dividido igualmente" ou fazer um corpus parecer quase duas vezes mais tóxico do que realmente é.

Significância e Alegações
O artigo argumenta que, para uma IA confiável na ciência social computacional, a métrica de "manchete" da acurácia média é enganosa. O risco primário não é meramente a menor acurácia, mas a distorção sistemática da medição que altera a história empírica que um pesquisador relata.

Os autores afirmam que:

1. O alinhamento molda perfis de erro: Escolhas de pós-treinamento levam a vieses direcionais específicos (leniência vs. sobrecorreção) que diferem entre os modelos, o que significa que um pesquisador que troca de modelo no meio de um projeto pode inadvertidamente reverter sua conclusão empírica sem mudar sua análise.
2. O prompting é parte do instrumento: A escolha do prompt atua como um grau de liberdade oculto que pode alterar significamente as estimativas de prevalência (ex: uma disparidade de 16,8 pontos para o Mistral na postura de aborto dependendo do prompt).
3. Protocolo de Validação: Pesquisadores devem ir além do Macro-F1. Antes de escalar um pipeline de anotação, os praticantes devem validar erros condicionais de classe (FBR/FAR) e a distorção de prevalência de jusante contra uma pequena amostra de ouro (gold sample).
4. Padrões de Relato: Reportar o modelo e o prompt como parte do instrumento de medição é um requisito básico, não uma divulgação opcional, porque os vieses direcionais do anotador são herdados por quaisquer afirmações relativas ao discurso cívico ou opinião pública derivadas dos dados.

O artigo conclui que um modelo que parece calibrado em métricas agregadas ainda pode falhar fundamentalmente na validade de medição exigida pela ciência social, necessitando de uma mudança para avaliar anotadores contra alvos inferenciais de jusenda em vez de rankings genéricos de classificação.