Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation

Resumo Técnico: Quem e O quê? Usando Características Linguísticas e Características dos Anotadores para Analisar a Variação na Anotação

Declaração do Problema
A variação nas etiquetas humanas é um fenômeno central no Processamento de Linguagem Natural (PLN), particularmente em tarefas subjetivas como a detecção de linguagem prejudicial. Mudanças recentes nas práticas de coleta de dados migraram para o aumento do número de anotadores e para a liberação de conjuntos de dados desagregados, a fim de capturar decisões de rotulagem individuais em vez de agregá-las em uma única etiqueta "ouro". Embora isso forneça dados ricos sobre quem anotou (sociodemografia, atitudes), o o quê (propriedades linguísticas dos itens) e a interação entre os dois receberam atenção limitada. Pesquisas existentes frequentemente falham em contabilizar a estrutura cruzada-classificada dos dados de anotação (onde itens e anotadores são fatores não aninhados) e ignoram com frequência as interações entre características dos anotadores e características dos itens. Este artigo aborda a lacuna na compreensão de "quem difere em sua percepção do quê" conduzindo uma análise em grande escala e fundamentada da variação na anotação em quatro conjuntos de dados de referência.

Metodologia
Os autores analisam quatro conjuntos de dados em inglês sobre linguagem prejudicial (CTDP, MHS, POPQUORN, D3CODE), compreendendo mais de 25.000 itens, 8.000 anotadores e 205.000 anotações. O estudo emprega uma estrutura de regressão multinível bayesiana com os seguintes componentes-chave:

1. Estrutura de Dados: Os modelos contabilizam a estrutura de dados parcialmente cruzada-classificada ao incluir interceptos aleatórios tanto para anotadores quanto para itens. Isso aborda a variação sistemática presente em ambos os níveis.
2. Engenharia de Características:
   • Características dos Anotadores: Até 19 características por conjunto de dados, incluindo sociodemografia (idade, gênero, raça, educação, etc.) e atitudes (fundamentos morais, ideologia política, atitudes específicas do item).
   • Características Linguísticas: Mais de 300 características extraídas usando o pacote elfen, cobrindo características de superfície, legibilidade, psicolinguísticas, classe gramatical, riqueza lexical, morfológicas, teóricas da informação, de dependência, semânticas, de entidade nomeada e de emoção/sentimento. Adicionalmente, sinais lexicais específicos de domínio (por exemplo, insultos, vulgaridades) foram extraídos de múltiplos léxicos de discurso de ódio.
   • Interações: Os modelos testam explicitamente interações entre características dos anotadores, entre características linguísticas e, crucialmente, entre características dos anotadores e dos itens.
3. Abordagem de Modelagem: Regressão multinível bayesiana com priores de ferradura (Horseshoe) é utilizada para lidar com a alta dimensionalidade dos preditores (até 5.264 efeitos fixos) e a multicolinearidade. Esta abordagem de regularização reduz agressivamente efeitos pequenos e incertos em direção a zero, permitindo a identificação de efeitos "sobreviventes" (aqueles com intervalos credíveis posteriores de 90% que não se sobrepõem a zero).
4. Cenários Experimentais: A análise é conduzida em três cenários realistas:
   • Comparar efeitos entre diferentes conjuntos de dados com tarefas relacionadas, mas conceitualizações distintas.
   • Simular novos anotadores dividindo o conjunto de dados D3CODE para avaliar a variação intra-grupo.
   • Simular novos lotes dividindo o conjunto de dados CTDP para avaliar a estabilidade entre lotes.

Principais Resultados
A análise revela que a variação na anotação é impulsionada por interações complexas, e não apenas por efeitos principais simples de demografia dos anotadores ou características dos itens isoladamente:

• Dominância de Interações: Interações entre características dos anotadores e características linguísticas são cruciais. Por exemplo, no conjunto de dados POPQUORN, o efeito de palavras ofensivas nas classificações de ofensividade varia significativamente por idade, com anotadores mais velhos mostrando uma correlação mais forte. No MHS, a posição ideológica interage com a idade para produzir diferenças marcantes nas classificações, particularmente nas extremidades do espectro político.
• Pistas Linguísticas: Pistas lexicais permanecem preditores fortes. Características como sentimento negativo, a presença de tokens de ódio/vulgaridade e entidades nomeadas específicas (por exemplo, nacionalidades, grupos religiosos) influenciam consistentemente as anotações. No entanto, as pistas específicas variam conforme o conjunto de dados e a tarefa.
• Atitudes vs. Demografia: Na simulação do D3CODE, proxies sociodemográficos (como idade ou gênero) frequentemente falharam em sobreviver como efeitos principais, ao passo que fundamentos morais (especificamente "cuidado") e atitudes específicas do item (por exemplo, se um anotador acha que um post deve ser removido) foram significativos.
• Interseccionalidade: O estudo identifica efeitos interseccionais que são frequentemente ignorados em trabalhos anteriores. Por exemplo, a interação entre ideologia e idade no MHS revelou que anotadores conservadores mais velhos classificaram o conteúdo de forma diferente de anotadores liberais mais velhos, um padrão não visível ao observar idade ou ideologia isoladamente.
• Especificidade do Conjunto de Dados: Padrões de efeito variam consideravelmente entre conjuntos de dados. Embora o sentimento negativo tenha sido um sobrevivente comum, outros efeitos foram altamente específicos às diretrizes de anotação do conjunto de dados, composição dos itens e pool de anotadores. Isso sugere uma generalização limitada de descobertas de uma configuração específica para outra.
• Sinais Espúrios: A análise descobriu potenciais artefatos de dados, como uma interação onde anotadores hindus classificaram itens com tokens não padrão (tags X) como menos odiosos, provavelmente devido a coincidências de amostragem e não a um efeito linguístico genuíno.

Significância e Contribuições
O artigo faz duas contribuições primárias:

1. Metodológica: Estabelece uma abordagem fundamentada para analisar conjuntos de dados desagregados em grande escala, demonstrando a necessidade de usar modelos multiníveis com interceptos aleatórios e regularização para lidar com a estrutura cruzada-classificada e espaços de características de alta dimensão. Destaca a importância de modelar interações para desvendar a variação.
2. Substantiva: Fornece a primeira avaliação em grande escala do comportamento de anotação na detecção de linguagem prejudicial a partir de uma perspectiva linguística, de interação anotador-item e interseccional.

Os autores argumentam que responder "quem anota o quê" é vital para múltiplas comunidades de PLN. Para a comunidade de detecção de linguagem prejudicial, oferece insights sobre padrões de efeito que podem informar melhores estratégias de coleta de dados (por exemplo, garantindo representação diversificada de anotadores para tipos específicos de itens). Para a comunidade de variação de etiquetas humanas, sublinha a necessidade de considerar tanto o "quem" quanto o "o quê" para entender a variação e orientar reanotações direcionadas. Finalmente, para as comunidades de modelagem e moderação de conteúdo, as descobertas alertam contra tratar a variação de etiquetas como mero ruído; em vez disso, diferenças sistemáticas na forma como grupos específicos percebem itens de texto específicos devem ser preservadas para evitar achatamento de percepções nuances e para identificar potenciais confundidores espúrios no treinamento de modelos.

O artigo conclui com um chamado à cautela quanto à generalização de descobertas entre diferentes conjuntos de dados e tarefas, enfatizando que a anotação é um processo interativo entre identidades humanas complexas e composições linguísticas específicas.