IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language

Título: IYKYK (Mas a IA Não Sabe): A Moderação Automatizada de Conteúdo Não Captura as Atitudes Heterogêneas das Comunidades em Relação à Linguagem Reapropriada

1. Problema e Motivação

O artigo aborda uma falha crítica nos sistemas atuais de moderação de conteúdo automatizados e baseados em IA: a incapacidade de distinguir entre o uso odioso e o uso reapropriado (reclaimed) de insultos (slurs).

• Contexto: Para muitas comunidades marginalizadas (LGBTQIA+, Negros, Mulheres), a reapropriação de insultos históricos é uma prática comum e significativa que gera solidariedade, identidade e experiência compartilhada.
• O Conflito: As ferramentas de moderação atuais tratam esses termos como inerentemente abusivos, resultando na supressão sistemática de vozes marginalizadas.
• Hipótese Central: A literatura e as práticas atuais assumem que as comunidades marginalizadas são homogêneas em suas crenças e interpretações sobre a linguagem reapropriada. O artigo desafia essa premissa, argumentando que a discordância dentro do próprio grupo (in-group) é a norma, não a exceção, e que a identidade do autor não é um preditor confiável para uma "verdade fundamental" (gold standard) única.

2. Metodologia

Os autores utilizaram uma abordagem mista (quantitativa e qualitativa) focada em três comunidades e seus respectivos insultos reapropriados:

• Comunidades e Termos:
  • Comunidade Negra: N-word (n-word).
  • Comunidade LGBTQIA+: F-word (f-slur).
  • Comunidade de Mulheres: B-word (b-word).
• Coleta de Dados:
  • Um corpus de aproximadamente 12.000 tweets contendo variações desses termos foi coletado via API do X (Twitter) e datasets existentes de discurso de ódio.
  • Foram selecionados 100 textos por termo para anotação detalhada.
• Participantes (Anotadores):
  • Membros das comunidades estudadas recrutados através de canais especializados (Black in AI, Queer in AI, Women in ML).
  • Anotação: 41 participantes completaram tarefas de anotação (6 para n-word, 9 para b-word, 6 para f-word). Eles avaliaram o contexto, o alvo, o tipo de reapropriação e se o conteúdo deveria ser reportado como discurso de ódio, considerando cenários hipotéticos onde o autor era "in-group" (da comunidade) ou "out-group" (fora da comunidade).
• Entrevistas:
  • 7 entrevistas semiestruturadas foram conduzidas para explorar como experiências de vida, criação cultural e história pessoal moldam a interpretação desses termos.
• Análise de Modelos:
  • Comparação das anotações humanas com as pontuações de ataque de identidade da Perspective API (um modelo de IA amplamente utilizado).

3. Contribuições Principais

1. Corpus Anotado de Linguagem Reapropriada: Criação de um dataset focado especificamente na nuance do uso de insultos por membros das comunidades afetadas, incluindo metadados sobre contexto e intenção.
2. Desconstrução da Homogeneidade: Evidência empírica de que a identidade compartilhada não garante consenso. A discordância entre anotadores do mesmo grupo é alta e significativa.
3. Análise de Viés de Calibração: Demonstração de que os modelos de IA (como a Perspective API) estão desalinhados com as atitudes reais das comunidades, tendendo a assumir que o autor é "out-group" e, portanto, penalizando o uso reapropriado.
4. Rejeição do "Gold Standard" Único: Argumento teórico de que a moderação não deve buscar um consenso artificial, mas sim reconhecer a subjetividade inerente e a natureza contextual da linguagem.

4. Resultados Chave

A. Baixa Concordância Inter-anotadores (RQ1)

• A concordância medida pelo Alfa de Krippendorff foi extremamente baixa para todas as comunidades e perguntas.
  • N-word: $\alpha = 0.06$
  • F-word: $\alpha = 0.15$
  • B-word: $\alpha = 0.21$
• Implicação: Mesmo entre membros da mesma comunidade, há desacordo substancial sobre se um texto deve ser marcado como discurso de ódio ou se o uso é de "orgulho" vs. "insular". Isso refuta a ideia de que anotação por "in-group" resolve o problema de viés.

B. Fatores Preditivos de Reporte (RQ2)

• O uso de modelos de aprendizado de máquina (XGBoost) mostrou que a percepção de ser depreciativo e o alvo do insulto (especialmente se dirigido a si mesmo) são os fatores mais fortes para decidir reportar o conteúdo.
• A pertencimento do autor (in-group vs. out-group) influencia a decisão, mas de maneira inconsistente entre os termos. Por exemplo, o uso do n-word em contextos de citação faz com que os anotadores dependam mais da identidade do autor para decidir.

C. Desalinhamento com Modelos de IA (RQ3)

• Perspective API mostra um viés sistemático:
  • Para o n-word, a API tem uma variação total média (ATV) muito alta para autores "in-group" (0.42), indicando que o modelo classifica quase tudo como ataque de identidade, independentemente do contexto real de reapropriação.
  • Para o b-word, o alinhamento é melhor (ATV mais baixo), refletindo a maior normalização desse termo na cultura mainstream.
• Conclusão: Os modelos atuais não capturam a incerteza do mundo real e tendem a suprimir a fala de comunidades negras e LGBTQIA+ que usam linguagem reapropriada.

D. Padrões Específicos por Termo (RQ4)

• Não existe uma lógica única para todos os insultos reapropriados.
  • O b-word funciona frequentemente como um intensificador ou amplificador em discursos antagonistas, não apenas como alvo direto.
  • O n-word e o f-word carregam um peso histórico e normativo diferente, onde o contexto de "discussão do insulto" ou "citação" altera drasticamente a percepção de dano dependendo do autor.

E. Insights das Entrevistas

• As entrevistas revelaram que a interpretação é profundamente pessoal, baseada em história familiar, geração e exposição cultural.
• Alguns participantes notaram que o b-word é mais aceito nos EUA do que em outros contextos anglofones, e que o f-word tem nuances diferentes para homens cisgênero versus pessoas trans.
• Há uma desconfiança generalizada em sistemas de moderação automatizados que não conseguem capturar essas nuances.

5. Significado e Implicações

• Crítica à Moderação Atual: O artigo demonstra que a abordagem atual de "uma regra para todos" (one-size-fits-all) e a dependência de anotações de "in-group" como verdade absoluta são falhas. A discordância não é "ruído", mas um sinal de que a linguagem é socialmente situada.
• Necessidade de Abordagens Contextuais: Sistemas de moderação precisam evoluir para abordagens sensíveis ao contexto, reconhecendo que a intenção e a identidade do autor são cruciais, mas difíceis de inferir apenas pelo texto.
• Pluralismo e Personalização: Os autores sugerem que o futuro da moderação deve envolver alinhamento pluralista, onde múltiplas interpretações válidas são aceitas, e talvez a moderação personalizada (onde o usuário define seus limites), embora isso traga desafios éticos sobre a responsabilidade de filtrar conteúdo.
• Impacto Social: A continuação de sistemas que não distinguem entre ódio e reapropriação perpetua o colonialismo digital, silenciando vozes marginalizadas e forçando comunidades a desenvolverem estratégias de autocensura (como "algo-speak" ou asteriscos) para evitar a supressão.

Em suma, o paper conclui que a moderação de conteúdo eficaz para linguagem reapropriada exige abandonar a busca por um consenso artificial e adotar sistemas que respeitem a heterogeneidade, a subjetividade e o contexto vivido das comunidades marginalizadas.