Modeling Human Perspectives with Socio-Demographic Representations

1. Problema e Motivação

O trabalho aborda o desafio da discordância de anotação em tarefas de Processamento de Linguagem Natural (PLN), especialmente em tarefas subjetivas como a detecção de discurso de ódio e conteúdo tóxico. Diferente de tarefas objetivas, onde existe uma "verdade fundamental" única, a variação nas anotações frequentemente reflete perspectivas subjetivas válidas e diversas dos anotadores.

• Limitação das Abordagens Atuais: Estudos anteriores tendem a focar em um único fator demográfico (ex: apenas gênero) ou em combinações limitadas. Isso falha em capturar a complexidade do contexto social que molda as perspectivas humanas.
• Objetivo: Investigar até que ponto atributos sociodemográficos ricos e combinados contribuem para a previsão de perspectivas de anotação e como codificar e fundir essas informações com representações textuais para melhorar o desempenho do modelo.

2. Metodologia: Aprendizado Contrastivo Sociodemográfico (Socio-Contrastive Learning)

Os autores propõem uma nova arquitetura chamada Socio-Contrastive Learning, que visa modelar simultaneamente as perspectivas dos anotadores e aprender representações de seus atributos sociodemográficos.

Arquitetura do Modelo

O modelo recebe duas entradas principais:

1. Representação Textual: Codificada por modelos pré-treinados (ex: BERT, RoBERTa, Sentence-BERT).
2. Codificação Sociodemográfica: Atributos como educação, ideologia política, idade, gênero, raça, etc., codificados como vetores multi-hot.

O processo de treinamento envolve duas etapas principais:

• Camada de Projeção: Os vetores multi-hot sociodemográficos são projetados em um espaço aprendível.
• Função de Perda Dupla:
  1. Perda de Entropia Cruzada (Principal): Para prever o rótulo de cada anotador individualmente.
  2. Perda Contrastiva (Auxiliar): Otimiza as representações sociodemográficas com base no comportamento de anotação.
     • Pares Positivos: Anotadores que concordam no rótulo de um texto são "puxados" para perto no espaço vetorial.
     • Pares Negativos: Anotadores que discordam são "empurrados" para longe.
     • Mecanismo Flexível: Diferente de métodos contrastivos padrão (como InfoNCE), este esquema lida com o número variável de anotadores por texto em dados crowdsourced, processando apenas anotações do mesmo texto dentro de um batch.

Comparação com Baselines

O estudo compara a nova abordagem contra:

• Modelos sem dados demográficos: Modelo Simples (votação majoritária) e Modelo Multi-tarefa (cabeças de saída separadas por anotador).
• Modelos com dados demográficos: Codificação Multi-Hot concatenada e Embedding Sociodemográfico (usando o mesmo encoder de texto).

3. Contribuições Principais

1. Nova Arquitetura: Introdução do Socio-Contrastive Learning, que supera métodos de concatenação padrão ao aprender representações densas e otimizadas para capturar padrões de anotação específicos de grupos demográficos.
2. Análise de Atributos Ricos: Demonstração de que combinações mais ricas de atributos sociodemográficos (em vez de atributos isolados) explicam melhor a variação nas perspectivas humanas.
3. Interpretabilidade: A capacidade de visualizar e analisar como fatores demográficos específicos se relacionam com a divergência de perspectivas através das representações aprendidas.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois conjuntos de dados: Hate Speech e Toxic Content.

• Desempenho de Previsão:
  • O modelo Socio-Contrastive obteve o melhor desempenho geral, alcançando um F1 de 0,725 no conjunto de dados de discurso de ódio e 0,645 no de toxicidade.
  • Superou consistentemente modelos que usam apenas texto e modelos que usam concatenação simples de características.
  • Um estudo de ablação mostrou que remover a perda contrastiva causou uma queda de desempenho de 4,4% (discurso de ódio) e 1,1% (tóxico), confirmando a eficácia da estratégia contrastiva.
• Análise das Representações Aprendidas:
  • Visualização (UMAP): Revelou agrupamentos distintos baseados em raça, nível de educação e importância da religião. Por exemplo, anotadores que consideram a religião "importante" formaram uma região compacta no espaço vetorial.
  • Análise Estatística (Homofilia): Calculou-se a razão entre a probabilidade observada de vizinhos compartilharem atributos e a probabilidade aleatória.
    • Educação e Ideologia Política apresentaram as maiores razões (>2.5), indicando forte associação com a variação de perspectivas.
    • Atributos como Raça, Gênero e Sexualidade também mostraram correlações significativas (razão > 1).
    • Atributos com poucos representantes (ex: Transgênero) tiveram desempenho próximo ao aleatório, possivelmente devido à escassez de dados.

5. Significado e Implicações

• Mitigação de Viés: O modelo sugere potencial para mitigar o viés de "ignorância de minorias" comum em modelos treinados com rótulos agregados (votação majoritária), permitindo que perspectivas de grupos sub-representados sejam modeladas individualmente.
• Limitações: O estudo aponta a escassez de grandes conjuntos de dados com metadados sociodemográficos ricos e confiáveis como uma barreira. Além disso, a análise de justiça para grupos minoritários é limitada pelo tamanho reduzido das amostras de teste nesses grupos.
• Conclusão: Incorporar atributos sociodemográficos de forma granular e contrastiva não apenas melhora a precisão da previsão de anotações individuais, mas também fornece uma ferramenta analítica valiosa para entender como o contexto social molda a percepção humana em tarefas de PLN.