Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

Título: Anotações de LLM Multi-perspectiva para Análises Válidas em Tarefas Subjetivas

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) para anotação de textos está crescendo rapidamente na ciência social computacional para reduzir custos. No entanto, existem desafios fundamentais:

• Viés e Perspectiva: As anotações de LLMs não refletem todas as perspectivas humanas igualmente. Elas podem codificar posições específicas, reproduzir estereótipos e falhar ao capturar a diversidade demográfica.
• A Falácia da "Verdade Única": Métodos existentes de correção de erro (como Prediction-Powered Inference - PPI) assumem a existência de uma "verdade fundamental" (ground truth) única. Em tarefas subjetivas (ex: ofensividade, polidez), o desacordo entre anotadores de diferentes grupos demográficos não é "ruído" a ser corrigido, mas um sinal valioso que deve ser preservado.
• Limitações das Abordagens Atuais:
  • Persona Prompting: Tentar instruir o LLM a adotar uma "persona" demográfica frequentemente falha, podendo exagerar diferenças, distorcer minorias ou performar pior do que prompts genéricos.
  • Agregação Majoritária: Colapsar desacordos em um único rótulo majoritário elimina a variação crucial para entender como diferentes grupos percebem a linguagem.

O objetivo é realizar inferência estatística válida sobre a distribuição de anotações entre grupos demográficos, utilizando um orçamento limitado de anotações humanas para corrigir os LLMs, sem assumir uma única verdade absoluta.

2. Metodologia: Inferência Orientada por Perspectiva (PDI)

Os autores propõem o PERSPECTIVE-DRIVEN INFERENCE (PDI), um framework que trata a estimativa como um vetor de médias específicas por grupo demográfico, em vez de um único escalar.

Componentes Principais:

1. Definição do Estimando: O objetivo é estimar $\theta^* = (\theta^*_{g_1}, ..., \theta^*_{g_K})$, onde cada $\theta^*_{g_k}$ é a média esperada das anotações humanas dentro de um grupo demográfico específico (ex: idade, gênero, educação).
2. Anotações de LLM como Proxy: Utiliza-se anotações de LLM ($\hat{H}_i$) para todos os $n$ textos do corpus. Essas anotações servem como um proxy barato, mas potencialmente enviesado.
3. Amostragem Adaptativa (O Núcleo da Contribuição):
   • Em vez de amostragem uniforme, o PDI concentra o orçamento de anotação humana em grupos onde o LLM é menos preciso.
   • Fase de "Burn-in": Coleta-se um conjunto inicial de anotações humanas uniformemente para treinar um modelo.
   • Preditor de Erro: Um classificador (ex: XGBoost) é treinado para prever o erro quadrático do LLM $(\hat{H}_i - H_i)^2$ com base nas características demográficas do anotador.
   • Loop Adaptativo: A probabilidade de selecionar um texto para anotação humana ($\pi_i$) é proporcional ao erro predito do LLM para aquele grupo demográfico. Isso direciona recursos para subgrupos sub-representados ou mal modelados.
4. Estimador Corrigido: Após a coleta adaptativa, aplica-se um estimador ponderado por probabilidade inversa (IPW) para corrigir o viés de amostragem e produzir estimativas não enviesadas para cada grupo, juntamente com intervalos de confiança válidos.

3. Contribuições Chave

1. Framework Formal: Formaliza a inferência de corpus multi-perspectiva como a estimativa de um vetor (uma entrada por grupo demográfico) e estende métodos de correção baseados em PPI para este cenário onde não há uma única verdade fundamental.
2. Estratégia de Amostragem: Desenvolveu uma estratégia que aloca dinamicamente o orçamento humano para os grupos onde os proxies de LLM são menos confiáveis, melhorando a precisão para perspectivas sub-representadas.
3. Validação Empírica: Avaliou o método em tarefas reais de classificação de polidez e ofensividade, demonstrando melhorias significativas em grupos difíceis de modelar (como idosos) em comparação com amostragem uniforme e métodos puramente baseados em LLM.

4. Resultados Principais

Os experimentos foram realizados em datasets reais (POPQUORN) e sintéticos, utilizando múltiplos LLMs (GPT-5.2, Claude, Gemini, Llama, etc.).

• Desempenho em Grupos Difíceis (Idosos 50+):
  • Em tarefas de ofensividade, métodos puramente de LLM (zero-shot, few-shot, persona) falharam completamente em cobrir a verdade para o grupo de 50+ anos (cobertura de 0% a 15%).
  • O PDI manteve uma cobertura válida (>90%) e reduziu drasticamente o erro absoluto (Delta) para este grupo. Por exemplo, no grupo 50+, o erro do PDI foi de 5.24%, enquanto as variantes de LLM excederam 24%.
• Amostragem Adaptativa vs. Uniforme:
  • O PDI direcionou intencionalmente mais anotações humanas para o grupo 50+ (33% mais anotações em polidez e 19% em ofensividade em comparação à amostragem uniforme), confirmando que o sinal de erro predito é útil.
  • Isso melhorou a precisão para o grupo minoritário sem comprometer a validade global ou a cobertura para os grupos majoritários.
• Falha do Persona Prompting:
  • A técnica de persona prompting (instruir o LLM a agir como um grupo demográfico) mostrou-se altamente variável e frequentemente a pior estratégia, muitas vezes falhando exatamente nos grupos que deveria representar e resultando em cobertura zero.
• Robustez:
  • Em dados sintéticos, o PDI superou consistentemente a amostragem uniforme quando o orçamento humano era limitado e as disparidades de erro entre grupos eram altas.

5. Significado e Implicações

• Mudança de Paradigma: O trabalho argumenta que em tarefas subjetivas, o objetivo não é treinar LLMs para prever "melhor", mas usá-los como proxies para inferência estatística robusta, preservando a diversidade de opiniões humanas.
• Aplicabilidade em Alta Risco: O framework é relevante para cenários críticos como:
  • RLHF (Reinforcement Learning from Human Feedback): Onde preferências humanas são tratadas como universais, ignorando vieses demográficos.
  • LLM-as-Judge: Avaliações onde um único modelo julga outputs, possivelmente ignorando normas culturais ou demográficas.
  • Simulações de Pesquisa: Previsão de distribuições de opinião pública.
• Considerações Éticas: Os autores alertam que a amostragem adaptativa pode concentrar o trabalho de anotação em grupos marginalizados (que já são os mais difíceis de modelar). Isso exige compensação justa e transparência com os participantes. Além disso, enfatizam que as categorias demográficas são proxies e não determinismos, evitando estereótipos.

Conclusão:
O PDI demonstra que é possível corrigir o viés de LLMs em tarefas subjetivas sem assumir uma verdade única. Ao direcionar ativamente o esforço humano para onde os modelos falham, é possível obter inferências estatísticas válidas que respeitam e quantificam a diversidade de perspectivas humanas, algo que métodos tradicionais de agregação ou prompting de persona não conseguem fazer.