💬 NLP

Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

Este artigo argumenta que a prática padrão de colapsar a discordância dos anotadores em rótulos de voto majoritário cria uma falha estrutural na detecção de discurso de ódio ao certificar falsamente casos limítrofes contestados como verdade fundamental, levando os modelos a exibirem alta confiança em erros que intervenções posteriores não conseguem corrigir.

Autores originais: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Publicado 2026-06-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Quando "A Maioria" Silencia a Minoria

Imagine que você está tentando decidir se uma piada é engraçada ou malvada. Você pede a um grupo de 100 pessoas para votar.

51 pessoas dizem: "É apenas uma piada, é engraçada."
49 pessoas dizem: "Na verdade, é malvado e ofensivo."

No mundo da ciência da computação e da IA, a regra padrão é: "A maioria vence." O computador recebe a instrução: "Ok, 51 pessoas disseram que é engraçado, então é engraçado." O computador então aprende que isso é a verdade absoluta.

Este artigo argumenta que essa regra simples é perigosa. Ela trata um desentendimento humano confuso e complicado como se fosse um fato claro. Os autores mostram que, quando você força um computador a aprender com esse "voto da maioria", ele falha drasticamente justamente nos posts onde as pessoas estão mais confusas.

O Cenário: O Conjunto de Dados "HateXplain"

Os pesquisadores analisaram um conjunto de dados chamado HateXplain, que contém postagens de redes sociais rotuladas por trabalhadores humanos. Os trabalhadores tinham que escolher entre três categorias:

Normal (inofensivo)
Ofensivo (rude ou ofensivo, mas não é discurso de ódio)
Discurso de Ódio (perigoso, visando um grupo específico)

Os pesquisadores descobriram que os humanos frequentemente têm dificuldade em distinguir entre Ofensivo e Discurso de Ódio. É uma linha tênue, como decidir se um pôr do sol é "laranja" ou "vermelho".

As Principais Descobertas

1. O Desentendimento não é Aleatório; é uma "Guerra de Fronteira"

Os autores descobriram que quase 43% de todos os argumentos entre os trabalhadores humanos aconteceram justamente na fronteira entre "Ofensivo" e "Discurso de Ódio".

Analogia: Imagine a fronteira entre dois países. A maioria das pessoas concorda sobre o que está dentro do País A e o que está dentro do País B. Mas, bem na linha da fronteira, as pessoas discutem constantemente.
A Alegação do Artigo: Os dados mostram que, quando os humanos discordam, eles não estão apenas confusos aleatoriamente. Eles estão especificamente lutando para definir onde a linha é traçada entre o que é "rude" e o que é "odioso".

2. O Efeito de "Silenciamento"

Quando os criadores do conjunto de dados pegaram os votos e escolheram o vencedor (a maioria), eles efetivamente silenciaram a minoria.

Se 2 pessoas disseram "Ódio" e 1 pessoa disse "Ofensivo", o computador aprende "Ódio".
Se 2 pessoas disseram "Ofensivo" e 1 pessoa disse "Ódio", o computador aprende "Ofensivo".
O Resultado: O computador nunca aprende que existe um debate legítimo acontecendo. Ele pensa que a resposta é clara, mesmo quando não é.

3. A IA Fica Confiantemente Errada

Os pesquisadores treinaram três tipos diferentes de modelos de IA para ver se conseguiam corrigir isso:

Modelo A (O Padrão): Aprendeu com os rótulos do "Voto da Maioria".
Modelo B (O Aprendiz Suave): Aprendeu com as porcentagens (ex: "60% disseram Ódio, 40% disseram Ofensivo").
Modelo C (O Individualista): Tentou aprender o que cada trabalhador específico pensava, em vez de apenas a média do grupo.

O Resultado Chocante:

Todos os três modelos foram ótimos ao rotular posts onde os humanos concordavam (cerca de 80% de precisão).
Mas nos posts onde os humanos discordavam (os casos de fronteira), todos os três modelos colapsaram, caindo para cerca de 55% de precisão.
A Armadilha da "Excesso de Confiança": O modelo padrão (Modelo A) não apenas errou esses casos, como errou com alta confiança. Ele dizia: "Tenho 71% de certeza que isso é Discurso de Ódio", quando na verdade era um caso confuso e debatível.
O Modelo "Honesto": O Modelo C (o individualista) foi menos confiante (49%) nesses erros. Ele foi mais honesto sobre sua incerteza, mas ainda assim continuou sendo tão impreciso quanto os outros.

Analogia: Imagine um meteorologista.

O Modelo A olha para um dia nublado e diz: "Vai chover com certeza!" (Alta confiança, mas errado).
O Modelo C olha para o mesmo dia e diz: "Não tenho certeza, talvez chova, talvez não." (Baixa confiança, mas ainda assim não sabe a resposta).
O Ponto: Ser "honesto" sobre não saber não ajuda se o sistema ainda tomar a decisão errada.

Por que não podemos simplesmente consertar a IA?

Os pesquisadores testaram três correções de "fluxo posterior" (mudando a forma como a IA aprende ou como ela vota). Nenhuma delas funcionou.

A Analogia: Imagine que você está tentando ensinar um aluno a desenhar um círculo perfeito. Mas o professor continua mostrando ao aluno a foto de um quadrado e dizendo: "Isso é um círculo".
- Você pode tentar ensinar o aluno com uma voz mais suave (Rótulos Suaves/Soft Labels).
- Você pode tentar mostrar a perspectiva de cada professor (Cabeças por Anotador/Per-Annotator Heads).
- Mas não importa. Se a "Verdade Fundamental" (o gabarito) estiver errada, o aluno nunca aprenderá a desenhar um círculo.

O artigo conclui que o problema não é o modelo de IA; o problema é o design da anotação. Você não pode consertar uma fundação quebrada apenas pintando as paredes.

A Solução Proposta: Mudar as Regras Antes de Começar

Como consertar a IA não funcionou, os autores dizem que devemos consertar o processo humano antes que a IA sequer veja os dados. Eles sugerem três mudanças:

Parar de Usar Rótulos de "Sim/Não": Em vez de forçar os trabalhadores a escolher entre "Ofensivo" ou "Ódio", dê a eles uma escala (como de 1 a 5). Isso reconhece que algumas coisas são "meio ofensivas" e "meio odiosas", em vez de forçar uma escolha binária que gera discussões.
Sinalizar os "Casos de Fronteira": Quando a IA vir um post sobre o qual ela não tem certeza (baixa confiança), ela não deve tomar uma decisão final. Ela deve sinalizar para que um humano revise.
Incluir as Pessoas Afetadas: O artigo argumenta que as pessoas cujo conteúdo está sendo julgado (ex: grupos culturais ou minoritários específicos) devem ser as responsáveis pela rotulagem. A definição de "ódio" deles pode ser diferente da da maioria. Se você perguntar apenas à maioria, sempre perderá a perspectiva da minoria.

Um Aviso sobre a Solução

Os autores são cuidadosos ao notar um grande problema ético com o ponto nº 3. Pedir a membros de comunidades marginalizadas que analisem o discurso de ódio direcionado a eles pode ser psicologicamente prejudicial. Eles argumentam que, se fizermos isso, devemos pagar bem, oferecer suporte de saúde mental e permitir que eles participem voluntariamente. Não devemos simplesmente jogar o fardo da moderação sobre as pessoas que estão sendo prejudicadas.

Resumo

O artigo argumenta que o voto da maioria no treinamento de IA é uma armadilha. Ele transforma desentendimentos humanos complexos em "fatos" falsos. Isso faz com que os modelos de IA sejam confiantemente errados nos tópos mais sensíveis. A única maneira de consertar isso não é construindo uma IA mais inteligente, mas mudando a forma como os humanos rotulam os dados desde o início.

Resumo Técnico: O Voto da Maioria Silencia Valores de Minorias

Definição do Problema
Os atuais pipelines de detecção de discurso de ódio tratam a distinção entre "discurso de ódio" (hate speech) e "discurso ofensivo" (offensive speech) como um fato objetivo, agregando rótulos de trabalhadores de crowdsourcing via voto da maioria para criar uma verdade fundamental única. Este artigo argumenta que essa agregação não é neutra; ela silencia sistematicamente os valores das minorias ao colapsar o genuíno desacordo entre anotadores em um único rótulo. Os autores postulam que essa "falsa certeza" é herdada pelos modelos de aprendizado de máquina, levando a modos de falha perigosos onde os sistemas são simultaneamente incorretos e altamente confiantes em entradas culturalmente contestadas. O problema central é estrutural: métricas de avaliação padrão e intervenções subsequentes falham em detectar ou recuperar a precisão perdida quando o voto da maioria descarta as perspectivas das minorias na fronteira entre ódio e ofensividade.

Metodologia
O estudo utiliza o conjunto de dados HateXplain, composto por 20.148 postagens anotadas por três trabalhadores de crowdsourcing cada, com rótulos de discurso de ódio, ofensivo ou normal. Os autores definem "desacordo" como qualquer postagem onde os anotadores não concordaram unanimemente e "casos de fronteira" como desacordos ocorrendo exclusivamente entre discurso de ódio e ofensivo (excluindo normal).

Para testar o impacto da agregação, os autores treinaram três classificadores BERT-base-uncased de sofisticação crescente no conjunto de teste ( $n=1.892$ ):

Modelo A (Hard): Treinado nos rótulos padrão de voto da maioria usando perda de entropia cruzada (cross-entropy loss).
Modelo B (Soft): Treinado em rótulos suaves derivados da distribuição bruta dos anotadores (ex: uma divisão de 2-1 gera probabilidades de [0,67, 0,0, 0,33]) usando perda de divergência KL.
Modelo C (Per-Annotator): Um codificador compartilhado com cabeças de classificação separadas para cada um dos 106 anotadores qualificados. Durante a inferência, as cabeças são agrupadas (ensembled) pela média das probabilidades softmax.

Os autores empregaram análise estatística (testes Qui-quadrado, testes Mann-Whitney U) para medir a concentração de desacordo, lacunas de precisão entre posts acordados e discordantes, e níveis de confiança do modelo. Eles também analisaram as anotações de justificativas (rationales) ao nível de token para distinguir entre o desacordo de limiar genuíno e o ruído de anotação (erro de leitura).

Principais Contribuições

Concentração de Desacordo: O estudo quantifica que 42,6% de todo o desacordo dos anotadores se concentra especificamente na fronteira ódio/ofensivo ( $\chi^2 = 135,199, p < 0,0001$ ). Isso não é ruído aleatório, mas um padrão estrutural onde os anotadores aplicam diferentes limiares para o dano. Postagens ofensivas exibem uma taxa de desacordo significativamente maior (67,9%) em comparação com postagens normais (35,5%).
A Lacuna de Concordância: Existe uma lacuna de precisão persistente entre posts acordados (~~80% de precisão) e posts em desacordo (~~55–58% de precisão) em todos os modelos ( $p < 0,0001$ ). Essa lacuna é obscurecida por métricas de precisão global padrão.
Falha de Intervenções Subsequentes: Três intervenções subsequentes progressivamente mais sofisticadas (rótulos rígidos, rótulos suaves e cabeças por anotador) todas falham em recuperar a precisão na fronteira. De fato, a base mais forte (Modelo C) amplia a lacuna de concordância de 22,2 pontos (Modelo A) para 28,1 pontos, com a precisão do desacordo ofensivo colapsando para 0,245.
Superconfiança em Rótulos Rígidos: Modelos de rótulos rígidos padrão (Modelo A) expressam significativamente maior confiança em erros de casos de fronteira (0,710) comparado aos modelos por anotador (Modelo C, 0,495). Isso indica que as métricas padrão não detectarão a falha, pois o modelo está "errado e certo".

Resultados

Precisão: Embora o Modelo C tenha alcançado a maior precisão em posts acordados (0,826), teve o pior desempenho em posts em desacordo (0,545). Nenhum modelo recuperou a precisão perdida na fronteira.
Calibração: A única melhoria consistente entre os modelos foi a calibração. O Modelo C tornou-se apropriadamente incerto em entradas de fronteira (a confiança caiu para 0,495), enquanto o Modelo A permaneceu superconfiante (0,710). No entanto, esse aumento de incerteza não se traduziu em previsões corretas.
Erro de Anotação vs. Desacordo de Limiar: A análise das justificativas ao nível de token mostrou que 73,1% dos pares de rótulos diferentes destacaram tokens substancialmente sobrepostos (Jaccard $\ge 0,3$ ), e existia um modo distinto em Jaccard = 1,0 (tokens idênticos, rótulos diferentes). Esta evidência sugere que o desacordo decorre de diferentes limiares sobre evidências compartilhadas, em vez de desatenção ou erro do anotador.
Alinhamento com a Maioria: Todos os modelos permaneceram fortemente alinhados com a maioria (~70% das previsões em posts de desacordo corresponderam ao rótulo da maioria), confirmando que as intervenções subsequentes não recuperam as perspectivas das minorias.

Significância e Alegações
O artigo alega que a falha em lidar com as fronteiras ódio/ofensivo é estrutural, não arquitetônica. O problema reside no design da anotação, onde o voto da maioria apresenta um julgamento contestado como verdade fundamental. Consequentemente, os modelos herdam essa "falsa certeza".

Os autores argumentam que intervenções subsequentes são insuficientes. Como o próprio rótulo é pouco confiável em entradas contestadas, nenhuma quantidade de sofisticação de modelo ou rotulagem suave pode recuperar a precisão perdida. A intervenção necessária deve ser antecedente (upstream) no processo de anotação. O artigo sugere três mudanças específicas no estágio de anotação:

Substituir as distinções discretas ódio/ofensivo por escalas de dano graduadas.
Sinalizar postagens de alto desacordo para revisão humana durante a inferência.
Garantir que os grupos de anotadores representem as comunidades alvo cujo conteúdo está sendo moderado, embora os autores notem as complexidades éticas e os riscos de expor anotadores marginalizados a conteúdos prejudiciais.

O estudo conclui que o alinhamento pluralista requer representação no estágio de anotação, não apenas no estágio do modelo, para evitar a classificação errônea sistemática de normas linguísticas específicas de comunidades minoritárias.