Seeing Like an AI: How LLMs Apply (and Misapply) Wikipedia Neutrality Norms

1. Problema e Contexto

Os Grandes Modelos de Linguagem (LLMs) são treinados em corpora vastos e gerais, mas são frequentemente utilizados em comunidades com normas e regras específicas, como a Wikipedia. A Wikipedia possui uma política central chamada Ponto de Vista Neutro (NPOV - Neutral Point of View), que exige que o conteúdo seja apresentado de forma imparcial, evitando opiniões apresentadas como fatos e indicando a proeminência relativa de visões opostas.

O problema central investigado é: Será que fornecer regras de alto nível (prompts) a um LLM é suficiente para que ele aplique essas normas com a mesma nuance e precisão que os editores humanos da comunidade? Existe uma tensão entre "planos" universais (regras explícitas) e "ações situadas" (julgamento contextual), onde a aplicação da regra pode falhar se o modelo não compreender o contexto específico da comunidade.

2. Metodologia

Os autores realizaram uma avaliação abrangente dividida em duas tarefas principais: Detecção e Geração (Correção), utilizando o Wikipedia Neutrality Corpus (WNC), um conjunto de dados contendo pares de edições (uma tendenciosa e sua versão neutralizada por editores humanos).

A. Experimento de Detecção (Classificação)

• Objetivo: Determinar se os LLMs podem classificar corretamente se uma edição viola a NPOV.
• Modelos Testados: ChatGPT 3.5, Mistral-Medium e GPT-4.
• Variáveis Experimentais:
  • Definição da Neutralidade: Prompt mínimo (sem contexto), Prompt NPOV (diretrizes da Wikipedia) e Prompt NPOV-Scoped (diretrizes + tipos específicos de viés do dataset).
  • Exemplos: Zero-shot (sem exemplos) vs. Few-shot (10 exemplos do mesmo tópico).
• Métricas: Precisão, análise de viés de erro (falsos positivos vs. falsos negativos) e análise das explicações (rationales) geradas pelo modelo.

B. Experimento de Geração (Neutralização)

• Objetivo: Avaliar a capacidade do LLM de reescrever edições tendenciosas para torná-las neutras.
• Abordagens:
  • Zero-Shot: Instrução direta para neutralizar.
  • Constitutional AI (CAI): O modelo primeiro critica a violação da NPOV e, em seguida, usa essa crítica para reescrever o texto.
  • Restrições: Testes com e sem instruções para "fazer mudanças mínimas".
• Avaliação Computacional: Comparação das edições do AI com as dos editores humanos (padrão-ouro) usando métricas de distância de edição, precisão, recall, similaridade (BLEU) e contagem de palavras adicionadas/removidas.
• Avaliação Humana: 147 participantes (crowdworkers) avaliaram cegamente edições de humanos vs. IA em termos de neutralidade, fluência e quantidade de informação adicionada/removida.
• Análise Qualitativa: Revisão manual de casos específicos para entender a natureza das alterações.

3. Principais Resultados

A. Detecção de Viés (Desempenho Baixo)

• Precisão Insuficiente: Os modelos tiveram desempenho baixo, com a melhor precisão atingindo apenas 64% (GPT-4), pouco acima do acaso (50%).
• Viés Contraditório: Diferentes modelos exibiram vieses opostos. O ChatGPT 3.5 tendeu a superestimar o viés (falsos positivos), enquanto o Mistral-Medium subestimou (falsos negativos). O GPT-4 foi mais equilibrado.
• Heurísticas Simplistas: A análise das explicações revelou que os modelos dependiam excessivamente de heurísticas simples, como a presença de adjetivos altamente subjetivos (ex: "brilhante", "infelizmente"), falhando em detectar viés em contextos mais sutis ou quando a subjetividade era atribuída a terceiros.

B. Geração de Conteúdo (Alto Recall, Baixa Precisão)

• Divergência de Estratégia:
  • Editores Humanos: Tendem a neutralizar removendo palavras tendenciosas (foco em deleção).
  • LLMs: Tendem a neutralizar adicionando palavras e fazendo alterações gramaticais/estilísticas extensas.
• Métricas de Qualidade: Os LLMs apresentaram alto recall (79%), removendo a maioria das palavras que os humanos removeriam, mas baixa precisão (37%), pois introduziam muitas mudanças desnecessárias não relacionadas à NPOV.
• Estilo "NPOV+": Os modelos frequentemente faziam alterações que iam além da neutralidade, incluindo correções gramaticais e estilísticas, resultando em textos que pareciam mais "polidos".

C. Avaliação Humana (Preferência pela IA)

• Preferência do Leitor: Curiosamente, os trabalhadores da multidão (crowdworkers) classificaram as reescritas da IA como mais neutras (70%) e mais fluidas (61%) do que as dos editores humanos.
• Causa Provável: A preferência pode ser atribuída ao treinamento dos LLMs com Reinforcement Learning from Human Feedback (RLHF), que otimiza a geração de texto para ser agradável e gramaticalmente correto para o público geral, diferindo do estilo mais conciso e focado em fatos dos editores experientes da Wikipedia.

4. Contribuições Chave

1. Avaliação Abrangente: Primeira avaliação detalhada de LLMs de propósito geral na aplicação da política NPOV da Wikipedia, cobrindo tanto detecção quanto geração.
2. Descoberta da Lacuna de Aplicação: Evidência de que fornecer regras explícitas (prompts) não é suficiente para que os LLMs repliquem o julgamento contextual de especialistas da comunidade.
3. Caracterização do Comportamento de Geração: Identificação de que os LLMs operam como editores de "alto recall e baixa precisão", fazendo alterações extensas que podem aumentar a carga de trabalho de moderação humana (necessidade de verificar alucinações ou mudanças desnecessárias).
4. Tensão entre Público e Comunidade: Demonstração de que as edições da IA podem ser preferidas pelo público geral (leitores) devido à fluência, mas divergem das práticas e preferências dos editores especialistas da comunidade.

5. Significado e Implicações

O estudo sugere que, embora os LLMs possam ser ferramentas eficazes para geração de rascunhos iniciais ou correções de fluência, eles não substituem a capacidade de julgamento humano para detecção e aplicação precisa de normas comunitárias complexas.

• Riscos: A implementação direta de LLMs para moderação pode reduzir a agência dos editores voluntários e aumentar a carga de trabalho de verificação, já que os modelos tendem a fazer muitas alterações não essenciais ("NPOV+").
• Futuro: A pesquisa aponta para a necessidade de sistemas híbridos (humano-AI), onde humanos identificam as violações e a IA oferece sugestões de neutralização que são então validadas por especialistas. Além disso, sugere que o fine-tuning específico ou o uso de Retrieval-Augmented Generation (RAG) com contexto da comunidade podem ser necessários para alinhar melhor os modelos às normas locais.

Em resumo, o artigo conclui que "ver como uma IA" (aplicar regras gerais) é fundamentalmente diferente de "ver como um membro da comunidade" (aplicar normas situadas), e essa distinção é crítica para a integração de IA em ecossistemas de conhecimento colaborativo.