💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Este artigo apresenta o framework "Ghost Annotator", que combina a predição conformal com a filtragem colaborativa para analisar a variação de rótulos humanos e revelar que modelos de linguagem de grande escala exibem maior confiança em predições que divergem do consenso humano, expondo, assim, vieses demográficos estruturais enraizados nos dados de pré-treinamento.

Autores originais: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a decidir o que é "rude" ou "prejudicial" em uma conversa. Você pede a um grupo de 100 humanos diferentes para ler um comentário específico e avaliá-lo. Como as pessoas têm diferentes origens, idades e culturas, nem todos concordam. Alguns acham o comentário engraçado; outros acham que é discurso de ódio. Essa discordância é chamada de Variação de Rótulo Humano.

O artigo apresenta uma nova ferramenta chamada "Ghost Annotator" (Anotador Fantasma) para descobrir o quão bem os modelos de IA (como os que alimentam os chatbots) entendem essas discordâncias humanas e onde eles erram.

Aqui está como o artigo funciona, explicado através de analogias simples:

1. O Problema: O Robô vs. A Multidão

Normalmente, quando testamos uma IA, perguntamos: "O robô obteve a resposta 'certa'?" Mas, na moderação de conteúdo, muitas vezes não existe uma única resposta certa. Se 50 pessoas dizem que um comentário é "levemente ofensivo" e 50 dizem que é "prejudicial", a IA fica travada.

Os pesquisadores queriam saber:

A IA fica confusa quando os humanos discordam?
A IA tem sua própria "personalidade" que a faz concordar com certos tipos de pessoas e ignorar outras?

2. A Ferramenta: O "Fantasma" na Máquina

Para resolver isso, a equipe criou um framework usando um método estatístico chamado Predição Conformal. Pense nisso como um "medidor de confiança".

A Predição Fantasma (Ghost Prediction): Imagine que a IA está fazendo uma prova. Normalmente, ela escolhe uma resposta que coincide com o que os humanos escolheram. Mas, às vezes, a IA escolhe uma resposta que nenhum humano escolheu. Os pesquisadores chamam isso de "Predição Fantasma". É como se a IA estivesse vendo um fantasma — um rótulo que não existe no mundo humano.
O Anotador Fantasma (Ghost Annotator): Este é a principal invenção do artigo. Em vez de apenas olhar para as respostas da IA, eles transformam o comportamento da IA em uma "impressão digital" (um vetor matemático). Eles chamam essa impressão digital de Ghost Annotator. Ela representa a "opinião" única da IA como se fosse um trabalhador humano, embora seja uma máquina.

3. O Experimento: Comparando Impressões Digitais

Os pesquisadores pegaram quatro modelos de IA diferentes (dois pequenos, dois grandes, de duas empresas diferentes) e os testaram em quatro conjuntos de dados diferentes de postagens de redes sociais (sobre discurso de ódio, violência e ofensividade).

Eles compararam a "Impressão Digital Fantasma" da IA contra as impressões digitais de anotadores humanos reais, agrupando os humanos por demografia, como idade, gênero e de onde eles são (por exemplo, África Subsaariana, Índia, EUA).

4. As Descobertas: O que os Fantasmas Revelaram

Descoberta A: O "Outsider Confiante"

A Analogia: Imagine um aluno pequeno e nervoso que admite: "Não tenho certeza sobre esta resposta", quando a classe está discutindo. Agora imagine um aluno mais velho e confiante que diz: "Eu sei que a resposta é X", mesmo quando toda a classe discorda.
O Resultado: Os pesquisadores descobriram que modelos de IA maiores (os alunos confiantes) eram, na verdade, mais confiantes quando davam respostas que nenhum humano concordava com elas (Predições Fantasmas). Eles tinham certeza de suas respostas "fantasmagóricas", mesmo quando estavam completamente desalinhados com a opinião humana. Modelos menores eram menos confiantes nessas situações estranhas.

Descoberta B: O "Ponto Cego Demográfico"

A Analogia: Imagine um grupo de juízes. Se você pedir a um juiz do Grupo A para avaliar um filme, eles podem concordar com a IA. Mas se você pedir a um juiz do Grupo B, eles podem discordar completamente. O artigo descobriu que a IA age como um juiz que é consistentemente "desconectado" de um grupo específico de pessoas, não importa quantos membros desse grupo estejam na sala.
O Resultado: Os modelos de IA mostraram um padrão consistente de desalinhamento demográfico. Especificamente, a "Impressão Digital Fantasma" da IA era consistentemente a menos semelhante aos anotadores humanos da África Subsaariana (SSA).
A Reviravolta: Isso aconteceu mesmo que o grupo SSA fosse, na verdade, o maior grupo de anotadores humanos no estudo. A IA não os ignorou porque havia poucos deles; ela os ignorou devido a um viés profundo.
A Causa: Os pesquisadores acreditam que esse viés vem dos dados de pré-treinamento (a quantidade massiva de texto que a IA leu antes de ser ensinada a tarefa específica). É como se a IA tivesse aprendido sua "visão de mundo" de uma biblioteca que não tinha livros suficientes escritos por pessoas da África Subsaariana. Esse viés é "estrutural", o que significa que ele está incorporado na fundação do modelo, não é apenas um erro na tarefa específica.

5. Por que Isso Importa (Segundo o Artigo)

O artigo argumenta que não podemos simplesmente corrigir isso adicionando mais rótulos humanos diversos aos dados de treinamento. Se a "fundação" (pré-treinamento) da IA já é enviesada, adicionar algumas vozes diversas no final não corrigirá a perspectiva do "Anotador Fantasma".

O framework do Ghost Annotator é uma forma de fazer um "raio-x" em um modelo de IA para ver exatamente quais grupos de pessoas ele está falhando em compreender, antes de deixarmos o modelo solto na internet para moderar conteúdo.

Em resumo: O artigo construiu uma ferramenta para ver a "personalidade" dos modelos de IA. Eles descobriram que grandes modelos de IA confiantes frequentemente possuem um "ponto cego" para culturas específicas, e esse ponto cego é tão profundo que vem dos próprios dados que a IA aprendeu a ler em primeiro lugar.

Resumo Técnico: O Framework Ghost Annotator

Problema
A pesquisa atual em Processamento de Linguagem Natural (PLN) e moderação de conteúdo foca predominantemente em métricas de desempenho de modelos, frequentemente negligenciando a estimativa de incerteza e as nuances da Variação de Rotulagem Humana (HLV - Human Label Variation). A HLV refere-se à divergência nas anotações entre anotadores humanos, particularmente em relação a fenômenos subjetivos como discurso de ódio, ofensividade e toxicidade. Embora novos paradigmas defendam a captura dessas diversas perspectivas para aumentar a equidade, desafios significativos permanecem: as descobertas sobre HLV são frequentemente prejudicadas por incompatibilidades entre conjuntos de dados e esquemas de anotação, e a crescente dependência de Grandes Modelos de Linguagem (LLMs) para gerar dados anotados deslocou o foco para longe da incerteza. Além disso, métodos existentes para avaliar LLMs como anotadores falham em distinguir entre HLV genuína e erros de anotação, e os LLMs têm demonstrado dificuldade em replicar a diversidade das opiniões humanas, muitas vezes exibindo vieses em direção a grupos demográficos específicos ou sinalizando excessivamente conteúdos ofensivos.

Metodologia
Os autores introduzem o Ghost Annotator, um framework projetado para modelar o comportamento de LLMs em relação aos anotadores humanos utilizando Predição Conforme (Conformal Prediction). A metodologia procede através dos seguintes passos técnicos:

Predição Conforme e Pontuações de Não Conformidade (NCS): O framework utiliza a Predição Conforme para gerar estimativas de incerteza calibradas. Em vez de uma pontuação agregada única, o sistema computa NCS para interações individuais modelo–anotador–instância. A NCS quantifica o quão "incomum" é a previsão de um modelo em relação a uma distribuição de calibração derivada de anotações humanas.
Métrica de Ghost Prediction: Para ir além das métricas tradicionais baseadas em acurácia (que dependem de uma verdade fundamental agregada), os autores definem Ghost Prediction como a proporção de instâncias onde um modelo prevê um rótulo que não está presente em nenhuma das anotações humanas para aquele item específico. Esta métrica quantifica a divergência entre o modelo e todo o conjunto de perspectivas humanas disponíveis.
Representação do Anotador (Analogia de Filtragem Colaborativa): Inspirado na Filtragem Colaborativa (CF) em sistemas de recomendação, o framework representa tanto os anotadores humanos quanto os modelos como vetores tridimensionais. Esses vetores são derivados dos quartis das distribuições de NCS:
- Anotadores Humanos: Representados pela distribuição dos valores de NCS obtidos de todos os itens que eles anotaram.
- Ghost Annotator (Modelo): Representado pela distribuição dos valores de NCS computados especificamente em instâncias onde a previsão do modelo difere de todas as anotações humanas (Ghost Predictions).
Análise de Alinhamento: Os autores computam a similaridade de cosseno entre o vetor do Ghost Annotator e os vetores de grupos sociodemográficos específicos de anotadores humanos. Isso permite o perfilamento de com quais grupos humanos o modelo se alinha ou diverge.

Configuração Experimental
O framework foi avaliado em quatro conjuntos de dados de moderação de conteúdo: Attitudes (Discurso de Ódio), CADE (Aceitabilidade), Disentangling (Ofensividade) e MHS (Violência). Quatro LLMs foram testados, abrangendo duas famílias (Qwen e Llama) e duas escalas de tamanho (1.5B/1B e 7B/8B parâmetros). O conjunto de dados Disentangling foi usado especificamente para a análise de alinhamento demográfico (RQ2) devido à sua representação equilibrada de traços sociodemográficos (gênero, idade e macro-região de origem).

Resultos Principais

Incerteza e HLV (RQ1): Existe uma coerência entre a incerteza do modelo e a HLV. À medida que o desacordo entre anotadores humanos aumenta, a incerteza do modelo (medida por NCS) aumenta correspondentemente. No entanto, surgiu um achado contraintuitivo em relação às Ghost Predictions: modelos maiores exibiram maior confiança (menor incerteza) ao prever rótulos que nenhum humano selecionou, em comparação com modelos menores. Isso sugere que modelos maiores podem codificar normas de cultura majoritária mais fortes, levando a previsões confiantes, porém divergentes, em regiões onde as perspectivas minoritárias diferem.
Desalinhamento Demográfico (RQ2): O framework Ghost Annotator revelou um padrão robusto e consistente de desalinhamento demográfico. Independentemente da arquitetura do modelo (Meta vs. Alibaba), escala de parâmetros (1B a 8B) ou do conjunto de dados usado para perfilar o modelo, os modelos divergiram sistematicamente dos anotadores do grupo 18-30, Masculino, África Subsaariana (SSA). Por outro lado, mostraram o maior alinhamento com o grupo 30-50, Feminino, Oceania.
Tamanho do Pool de Anotadores: O desalinhamento com o grupo SSA persistiu apesar de este grupo ser o maior pool demográfico no conjunto Disentangling ( $n=169$ ). Isso indica que simplesmente aumentar o número de pessoas de diversos grupos não resolve o desalinhamento, sugerindo que o viés não é resultado de escassez de dados na fase de anotação.

Significância e Alegações
O artigo afirma que o framework Ghost Annotator fornece um método estatisticamente garantido (via Predição Conforme) para avaliar e posicionar LLMs dentro do espaço da diversidade de anotadores humanos. Sua principal significância reside em identificar que o desalinhamento demográfico observado é provavelmente um viés estrutural enraizado nos corpora de pré-treinamento, em vez de um artefato específico de ajuste fino (fine-tuning) ou arquitetura de modelo.

Os autores argumentam que, como diferentes famílias e tamanhos de modelos convergem para os mesmos padrões de desalinhamento, o viés existe antes da adaptação específica à tarefa. Consequentemente, o artigo sugere que intervenções ao nível do conjunto de dados (como aumentar a diversidade de anotadores) são insuficientes para resolver esses vieses sem mudanças correspondentes na forma como os modelos são pré-treinados ou adaptados. O framework serve como uma ferramenta para descobrir essas divergências estruturais antes do deploy dos modelos, oferecendo um caminho para o uso mais consciente de LLMs na criação e aumento de conjuntos de dados para moderação de conteúdo.