From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

Título: De Backup à Linha de Frente: Quando os LLMs Podem Ser Anotadores Superiores de Perspectivas Humanas?

1. O Problema

A captura de perspectivas humanas subjetivas (como toxicidade, ofensividade ou segurança) é fundamental para a avaliação, justiça e segurança em PLN (Processamento de Linguagem Natural). Tradicionalmente, isso é feito agregando julgamentos de anotadores humanos. No entanto, recrutar anotadores de grupos demográficos específicos (especialmente minorias ou grupos interseccionais) é caro, lento e muitas vezes inviável.

Como solução prática, os modelos de linguagem grandes (LLMs) têm sido usados para "tomada de perspectiva" (Perspective-Taking - PT), onde se pede ao modelo para estimar como um grupo específico julgaría um item. Contudo, prevalece a suposição de que os LLMs são apenas um compromisso pragmático (um "fallback") quando dados humanos não estão disponíveis, sendo inerentemente inferiores às perspectivas humanas "reais".

O artigo desafia essa visão, propondo que, sob certas condições, os LLMs podem ser estimadores estatisticamente superiores das perspectivas agregadas de grupos humanos, superando até mesmo anotadores humanos pertencentes ao próprio grupo (in-group).

2. Metodologia e Enquadramento Teórico

Os autores reformulam a tomada de perspectiva não como uma tarefa de medição de opinião individual, mas como um problema de estimação estatística de uma média latente de grupo ($f^*(x, g)$).

Modelo de Duas Lentes e Decomposição de Erro:
Para analisar o desempenho, eles decompõem o erro quadrático médio (MSE) em três componentes estruturais: Viés (Bias), Variância (Variance) e Correlação (Correlation). Eles introduzem uma visão de "duas lentes" para o viés:

1. Lente Ampa (Wide Lens - Erro de Representação): Refere-se a quão bem o conhecimento do anotador (humano ou LLM) reflete a distribuição real da população do grupo alvo.
   • Humanos: Podem sofrer de viés de amostragem social (ex: um idoso superestimando a perspectiva de jovens).
   • LLMs: Têm cobertura ampla devido ao pré-treinamento em grandes corpora, mas podem falhar em grupos muito específicos ou raros.
2. Lente Clara (Clear Lens - Erro de Processamento): Refere-se a como a representação interna é traduzida em um julgamento numérico.
   • Humanos: Sofrem de viés cognitivo e projeção (ex: projetar seus próprios valores no grupo alvo).
   • LLMs: Têm distorções de processamento mais estáveis e modificáveis via prompting.

Acoplamento (Coupling):
Um ponto crucial é o acoplamento entre os erros de representação e processamento.

• Humanos: Em julgamentos de "out-group" (fora do grupo), a identidade social tende a acoplar positivamente os dois erros (ex: não conhecer o grupo e projetar valores próprios), levando a um erro super-aditivo.
• LLMs: Como a representação (dados de pré-treinamento) e o processamento (ajuste fino e inferência) vêm de fontes mecanicamente distintas, o acoplamento é mais fraco ou pode até ser negativo, reduzindo o erro total.

Hipóteses Testadas:

1. Regime de Orçamento: Em orçamentos baixos (poucos anotadores), a variância domina. LLMs, sendo mais determinísticos (baixa variância), devem superar humanos.
2. Acoplamento: LLMs devem ser mais estáveis em cenários de "out-group" devido à falta de identidade social que acopla erros.
3. Limites de Representação: LLMs devem falhar em grupos muito específicos ou de baixa prevalência devido a dados de treinamento esparsos.
4. Engenharia: O desempenho dos LLMs pode ser ajustado sistematicamente (via escolha de modelo, prompting, etc.).

3. Configuração Experimental

• Datasets:
  • Toxicity Detection: 120 comentários com anotações diretas e de perspectiva de humanos (incluindo um novo conjunto para o grupo não-binário).
  • DICES: Dataset de segurança conversacional com múltiplos eixos demográficos.
• Protocolos: Comparação entre anotação direta humana, PT humana (in-group e out-group) e PT com LLMs (diversos modelos: GPT, Qwen, Gemma, DeepSeek).
• Métrica: Erro Quadrático Médio (MSE) em relação à média das anotações diretas humanas (considerada "Ground Truth" latente). Simulação de orçamentos de $k=1$ a $10$ anotadores via bootstrapping.

4. Principais Resultados

A. LLMs Superam Humanos em Orçamentos Baixos (H1)

• Um único LLM (k=1) frequentemente supera um único anotador humano e rivaliza com a agregação de 3 a 5 anotações humanas diretas.
• Isso ocorre porque a variância dos humanos é alta (ruído individual), enquanto os LLMs são relativamente determinísticos sob prompts fixos.

B. Estabilidade em Cenários "Out-Group" (H2)

• Humanos sofrem um aumento drástico de erro quando estimam perspectivas de grupos com os quais não se identificam (devido ao acoplamento super-aditivo de viés).
• LLMs mantêm uma performance estável e superior em cenários de "out-group", pois não sofrem desse acoplamento identitário.

C. Limites de Representação (H3)

• O desempenho dos LLMs degrada à medida que os grupos-alvo se tornam mais específicos (ex: "mulheres negras com ensino superior") ou de baixa prevalência (ex: minorias raciais específicas).
• Nestes casos, a falta de dados de treinamento leva a um erro de representação (Lente Ampa) que supera a vantagem de baixa variância.

D. O Paradoxo do Raciocínio (Reasoning Paradox)

• Um achado contra-intuitivo: ativar modos de "raciocínio" (Chain-of-Thought/CoT) pode piorar o desempenho na estimativa de perspectivas.
• Mecanismo: O raciocínio induz uma "deriva de critério" (criterion drift). O modelo deixa de estimar a taxa empírica de julgamento do grupo e passa a aplicar um padrão de classificação baseado em regras (rubricas) ou sua própria moralidade, aumentando o viés sistemático.

E. Engenharia de Perspectiva

• O desempenho dos LLMs é altamente "engenheirável". A escolha do modelo afeta principalmente a Lente Ampa (representação), enquanto o prompting afeta a Lente Clara (processamento).
• Misturar modelos de diferentes famílias pode reduzir erros de correlação, mas com ganhos modestos em comparação à escolha do modelo individual mais forte.

5. Contribuições Chave

1. Reformulação Teórica: Formaliza a tomada de perspectiva como um problema de estimação estatística de uma média latente, permitindo comparações justas entre humanos e LLMs.
2. Framework de Viés-Variância-Correlação: Introduz uma decomposição de erro com "duas lentes" e a hipótese de acoplamento para explicar falhas sistemáticas humanas.
3. Evidência Empírica: Demonstra que LLMs podem ser superiores a humanos (incluindo in-group) em orçamentos realistas, definindo claramente as fronteiras onde isso ocorre.
4. Diretrizes Acionáveis: Fornece orientações sobre quando usar LLMs vs. humanos, como o prompting e o raciocínio afetam os resultados, e a importância de validar grupos específicos.
5. Diagnóstico de Perspectiva Diferencial: Introduz uma métrica para isolar a sensibilidade específica do grupo, mostrando que humanos ainda são superiores para capturar nuances em grupos de baixa prevalência.

6. Significado e Conclusão

O artigo não argumenta que os LLMs devem substituir a experiência vivida humana em todos os contextos. Em vez disso, ele reposiciona os LLMs de um "compromisso de baixo custo" para uma ferramenta de linha de frente para a estimação de perspectivas coletivas, desde que:

• O orçamento de anotação seja limitado.
• O grupo-alvo seja suficientemente representado nos dados de treinamento.
• O objetivo seja a média agregada do grupo, e não a simulação de indivíduos específicos.

A conclusão enfatiza uma integração complementar: LLMs devem assumir a carga da estimação agregada em regimes dominados por variância e acoplamento, liberando a expertise humana escassa para casos que exigem nuances contextuais profundas, legitimidade participativa ou representação de grupos extremamente raros. O uso ético requer validação rigorosa por subgrupos para evitar a reforço de monoculturas representacionais.