Quantifying and Predicting Disagreement in Graded Human Ratings

Resumo Técnico: Quantificação e Previsão de Desacordo em Avaliações Humanas Graduais

Declaração do Problema
Os anotadores humanos frequentemente exibem desacordo em tarefas de Processamento de Linguagem Natural (PLN), particularmente em domínios socialmente sensíveis, como detecção de discurso de ódio, linguagem ofensiva e conteúdo tóxico. Embora seja reconhecido que a variação na anotação é inerente, o grau dessa divergência não é uniforme em todas as instâncias. Alguns itens elicitem forte consenso, enquanto outros desencadeiam divergência significativa de opiniões ou posições opostas. A literatura atual frequentemente trata o desacordo como um problema de previsão categórica (por exemplo, classificação binária de se o desacordo existe) ou foca em rótulos de tarefas específicos (por exemplo, implicação em NLI). Há uma falta de pesquisa examinando se o grau de incerteza na anotação e a estrutura completa das distribuições de anotação granulares (especificamente classificações em escala Likert) podem ser inferidos exclusivamente a partir de características textuais em nível de item. Além disso, métricas padrão para forma distribucional (como coeficientes de bimodalidade) frequentemente falham quando aplicadas a dados de anotação esparsos (por exemplo, 3–5 anotadores por item).

Metodologia
Os autores investigam a previsibilidade da variação na anotação utilizando três conjuntos de dados anotados com classificações em escala Likert: Linguagem Ofensiva (escala de 3 pontos), Discurso de Ódio (escala de 3 pontos) e Toxicidade (escala de 5 pontos). O estudo foca em dois objetivos principais:

1. Inferência da Variância de Classificação: Estimar a variância não enviesada das respostas dos anotadores para um dado item com base em suas características textuais.
2. Identificação de Opiniões Opostas: Detectar instâncias em que os anotadores mantêm posições genuinamente conflitantes (polarização).

Para abordar esses objetivos, os autores propõem duas abordagens de previsão:

• Previsão Direta de Variância: Treinar um modelo de regressão para prever o valor da variância ($\sigma^2$) diretamente a partir das características do item.
• Previsão Baseada em Distribuição: Treinar modelos para prever a distribuição completa de classificações Likert ($p_i$) para um item, da qual a variância e outras estatísticas são derivadas.

O estudo emprega várias funções de perda adaptadas à natureza ordinal dos dados Likert, indo além da entropia cruzada categórica padrão:

• Distância Earth Mover (EMD): Leva em conta a distância ordinal entre as categorias de classificação.
• EMD com Regularização da Média: Combina a EMD com um termo de erro quadrático médio na classificação esperada para restringir a tendência central.
• Entropia Cruzada Cumulativa Ordinal: Transforma o problema de múltiplas classes em $K-1$ decisões binárias.
• Divergência de Kullback–Leibler (KL): Utilizada como base para representação de rótulos suaves sem consideração explícita da distância ordinal.

Para quantificar posições opostas, os autores introduzem o Índice de Oposição. Esta métrica divide a distribuição de classificações em segmentos baixo, médio e alto ($P_{low}, P_{mid}, P_{high}$). O índice é definido como $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$. Ele varia de 0 (consenso/unimodal) a 1 (polarização máxima, onde metade dos anotadores escolhe a classificação mais baixa e metade a mais alta).

Principais Contribuições

• Índice de Oposição: Uma métrica novel projetada para quantificar a oposição de perspectivas em configurações de anotação esparsas, onde testes de bimodalidade tradicionais são instáveis.
• Modelagem Distribucional: Uma demonstração de que prever a distribuição Likert completa (usando funções de perda conscientes da ordem) é uma alternativa viável à regressão direta de variância, frequentemente recuperando a estrutura da variação na anotação de forma mais robusta.
• Análise Empírica da Polarização: Uma investigação detalhada sobre a previsibilidade de itens de alta oposição, revelando desafios específicos na modelagem da polarização extrema.

Resultados

• Previsão de Variância: Há uma correlação positiva moderada (Spearman's $r \approx 0,3$ a $0,45$) entre a variância de anotação estimada e observada em todos os conjuntos de dados.
  • Desempenho: A regressão direta de variância e a previsão baseada em distribuição (especificamente usando EMD+MSE) alcançam desempenho comparável. O EMD+MSE supera consistentemente os modelos padrão EMD e KL-suaves.
  • Limitações: Os modelos tendem a subestimar itens de alta variância e raramente preveem valores de variância exatamente iguais a 0, concentrando frequentemente as previsões em uma faixa intermediária.
• Previsão de Posição Oposta: Os modelos distinguem com sucesso entre itens sem oposição e aqueles com oposição moderada. No entanto, eles têm dificuldade com polarização extrema.
  • Subestimação: Itens com altos valores verdadeiros de Índice de Oposição (aproximando-se de 1) são frequentemente subestimados pelos modelos, com pontuações previstas frequentemente estabilizando em uma faixa intermediária (aprox. 0,4).
  • Causas: Esta subestimação é atribuída à escassez de exemplos altamente polarizados nos dados de treinamento, à sensibilidade do índice ao ruído na anotação e ao fato de que a oposição extrema pode decorrer de fatores (ideologia, experiência pessoal) não inferíveis apenas a partir do texto.
• Detecção de Desacordo: Os modelos alcançam desempenho forte (F1 > 0,6) na detecção da presença de qualquer variação na anotação, embora o desempenho varie ligeiramente conforme o conjunto de dados e a função de perda.

Significância e Afirmações
O artigo afirma que padrões de anotação em nível de item, especificamente variância e oposição de posição, podem ser parcialmente inferidos a partir de características textuais, embora com correlação moderada. Os autores posicionam seu trabalho como um passo em direção à caracterização das estruturas da variação na anotação humana.

A significância primária reside na otimização prática do fluxo de trabalho de anotação. Ao identificar itens suscetíveis a elicitar divergência substancial de opiniões, os pesquisadores podem alocar recursos de forma mais eficiente: atribuindo mais anotadores a casos controversos ou de divergência de perspectivas para capturar pontos de vista latentes, enquanto reduzem o esforço em itens com forte consenso. O estudo também destaca as limitações dos modelos atuais em capturar polarização extrema, sugerindo que características puramente baseadas em texto podem ser insuficientes para modelar completamente o julgamento humano em domínios socialmente complexos. Os autores permanecem modestos, observando que modelos de incorporação podem não capturar todas as pistas linguísticas e que a natureza discreta dos dados esparsos Likert limita a granularidade das estimativas distribucionais.