How people talk about each other: Modeling Generalized Intergroup Bias and Emotion

1. Problema e Motivação

O trabalho aborda as limitações dos estudos atuais de viés (bias) em Processamento de Linguagem Natural (NLP). A maioria das pesquisas foca na identificação de linguagem negativa ou pejorativa direcionada a grupos demográficos específicos (como raça ou gênero). Os autores argumentam que essa abordagem é limitada porque:

• Focar apenas em dimensões demográficas específicas nem sempre é prático.
• O viés não é apenas sobre o conteúdo negativo, mas sobre a relação interpessoal entre o falante e o alvo da fala.
• A linguagem é sempre "viciada" de alguma forma, seja positiva, negativa ou neutra, dependendo da dinâmica social entre os interlocutores.

O objetivo é extrapolar para uma noção mais ampla de viés, enraizada na psicologia social (especificamente na Linguistic Intergroup Bias - LIB), modelando a Relação de Grupo Interpessoal (IGR) e as Emoções Interpessoais Percebidas.

2. Metodologia

2.1. Coleta de Dados e "Supervisão Encontrada"

• Fonte: O dataset consiste em 3.033 tuítes de membros do Congresso dos EUA (entre 2010 e 2021).
• Critério: Os tuítes devem mencionar pelo menos outro membro do Congresso.
• Supervisão Encontrada (Found Supervision): Como a afiliação partidária (Democrata vs. Republicano) é pública, os autores podem inferir automaticamente se o falante e o alvo pertencem ao mesmo grupo social (in-group) ou a grupos diferentes (out-group). Isso fornece rótulos "ouro" para a tarefa de previsão de IGR sem necessidade de anotação manual para essa tarefa específica.
• Anotação de Emoção: Um subconjunto dos dados foi anotado manualmente por trabalhadores do Amazon Mechanical Turk para detectar emoções interpessoais percebidas.
  • Esquema: Utilizou-se a roda de emoções de Plutchik (8 emoções fundamentais: admiração, raiva, nojo, medo, interesse, alegria, tristeza, surpresa).
  • Mascaramento: Para evitar viés dos anotadores, a identidade do alvo foi mascarada (ex: @Doe) e a identidade do falante era desconhecida durante a anotação.
  • Consenso: Uma emoção foi considerada presente se pelo menos 2 dos 3 anotadores concordassem. O acordo interanotador (PEA score) foi de 0,73.

2.2. Definição das Tarefas

O artigo propõe duas novas tarefas:

1. Previsão de Relação de Grupo Interpessoal (IGR): Classificar se o falante e o alvo pertencem ao mesmo grupo social (in-group) ou a grupos diferentes (out-group) com base no texto.
2. Detecção de Emoção Interpessoal Percebida: Identificar qual emoção o falante expressa em relação ao alvo específico (diferente da detecção de emoção geral da frase).

2.3. Modelos e Experimentos

Os autores compararam várias abordagens:

• Baselines:
  • Sentiment-Rule: Regras baseadas em polaridade de sentimento (positivo = in-group, negativo = out-group).
  • NB-SVM: Modelo de Máquina de Vetores de Suporte com contagens de n-gramas (Naive Bayes).
  • EmoLex: Lexicão baseado em palavras-chave para emoções.
• Modelos Neurais:
  • BERTweet: Modelo pré-treinado em 850 milhões de tuítes em inglês.
  • Multi-task Model: Uma arquitetura que compartilha a codificação (encoder) para prever simultaneamente IGR e Emoção Interpessoal.

3. Principais Contribuições

1. Novo Dataset: Lançamento do primeiro dataset anotado para emoção interpessoal fina (fine-grained), focado em interações políticas, com 3.033 tuítes.
2. Novas Tarefas: Definição formal e implementação de tarefas para prever IGR e emoção interpessoal, movendo-se além da detecção de viés negativo tradicional.
3. Análise de Viés Generalizado: Demonstração de que o viés linguístico se manifesta através de nuances emocionais e relacionais, não apenas através de insultos explícitos.
4. Modelagem Multi-tarefa: Evidência de que aprender IGR e Emoção conjuntamente melhora o desempenho em ambas as tarefas.

4. Resultados e Análise

4.1. Distribuição de Emoções

• Padrão Claro: Emoções negativas como raiva e nojo são quase exclusivamente expressas em contextos out-group (entre partidos opostos).
• Nuance: Emoções positivas (admiração, alegria) aparecem tanto em in-group quanto em out-group. Isso torna a tarefa difícil para humanos que tendem a associar "positivo" automaticamente a "mesmo grupo".
• Alvos de Ódio: A maior parte da raiva e nojo out-group foi direcionada a três líderes específicos (Presidentes da Câmara), embora emoções negativas também tenham sido dirigidas a outros 50+ indivíduos.

4.2. Desempenho Humano vs. Modelo

• IGR: Humanos tiveram desempenho moderado (F1 ~0,67), mas cometeram erros sistemáticos ao confiar excessivamente na polaridade do sentimento (assumindo que tuítes positivos são sempre in-group).
• Modelos: O modelo BERTweet superou significativamente os humanos na previsão de IGR (F1 ~0,74 vs 0,67), demonstrando que os modelos conseguem capturar pistas linguísticas sutis (como o uso de "bipartisan" ou tom de civilidade) que humanos ignoram.

4.3. Impacto do Modelo Multi-tarefa

• A modelagem conjunta de IGR e Emoção trouxe ganhos significativos:
  • Melhora de >10% na detecção de nojo em contextos out-group.
  • Melhora de 3% na previsão de IGR.
  • Aumento de 20% na precisão da etiqueta "Sem Emoção".
• Isso confirma que a relação social (IGR) e a emoção estão intrinsecamente ligadas e se beneficiam mutuamente durante o aprendizado.

5. Significado e Conclusão

O trabalho demonstra que o viés na linguagem é uma propriedade relacional complexa. Ao focar na dinâmica entre falante e alvo, e não apenas no conteúdo demográfico, os autores conseguem modelar nuances que os métodos tradicionais de NLP perdem.

• Implicação Prática: Modelos de IA podem ser treinados para entender não apenas "o que" é dito, mas "quem" está falando para "quem", o que é crucial para mitigar viés em sistemas de linguagem.
• Limitações: Os autores notam que, embora os modelos superem os humanos, eles podem estar aprendendo características espúrias específicas do dataset (tuítes políticos) e que a linguagem usada por congressistas pode ser escrita por equipes de mídia, não refletindo necessariamente a emoção pessoal direta.

Em suma, o artigo propõe uma mudança de paradigma: em vez de apenas caçar palavras de ódio, devemos modelar a relação interpessoal e as emoções sutis que definem como grupos se comunicam entre si.