🤖 AI

Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Este artigo apresenta o Mod-Guide, um sistema de moderação de conteúdo baseado em LLM aprimorado por geração aumentada por recuperação e um corpus cocriado de discurso insensível das comunidades Hindu e Chakma de Bangladesh, o qual melhora a detecção de linguagem culturalmente prejudicial ao integrar perspectivas de minorias e experiências vividas ao fluxo de moderação.

Autores originais: Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Publicado 2026-06-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Um Tradutor para Sentimentos Culturais

Imagine que a internet é uma praça de cidade gigante e barulhenta. Nesta praça, existem dois grupos de pessoas: a Maioria (as vozes mais comuns) e as Minorias (grupos menores e frequentemente negligenciados).

Às vezes, as pessoas da Maioria dizem coisas que não são tecnicamente "discurso de ódio" (como gritar insultos), mas que ainda assim são ofensivas. Elas podem fazer piadas, suposições ou comentários que, acidentalamente, apagam ou desrespeitam a cultura, religião ou história da Minoria. É como alguém dizer: "Por que você usa esse chapéu estranho? É feio", sem perceber que aquele chapéu é uma coroa sagrada para quem o usa.

O problema é que os "seguranças" (sistemas de moderação de conteúdo) da praça geralmente são treinados pela Maioria. Eles costumam ignorar essas feridas sutis porque não entendem a perspectiva da Minoria. Eles podem dizer: "Esse comentário está tudo bem", quando a Minoria se sente profundamente ferida.

Este artigo apresenta o Mod-Guide, uma nova ferramenta projetada para ajudar os seguranças a entenderem o ponto de vista da Minoria.

O Problema: O "Véu" e o "Dicionário Ausente"

Os autores usam duas metáforas poderosas para explicar por que isso acontece:

O Véu: Imagine uma cortina espessa e invisível separando a Maioria e a Minoria. A Maioria não consegue ver os verdadeiros sentimentos da Minoria, e a Minoria se sente incompreendida.
Injustiça Hermenêutica: Esta é uma forma sofisticada de dizer que a Minoria está com um dicionário faltando. Eles têm experiências e sentimentos, mas a "linguagem oficial" da internet (e da IA) não possui as palavras para descrever por que essas experiências são dolorosas.

Devido a isso, os modelos de IA padrão (como os usados atualmente por sites de redes sociais) frequentemente falham em detectar o "discurso insensível". Eles veem as palavras, mas perdem o significado por trás delas.

A Solução: Construindo uma "Biblioteca Comunitária"

Para corrigir isso, os pesquisadores não pediram apenas que uma IA adivinhasse. Em vez disso, eles foram à fonte.

Passo 1: Os Contadores de Histórias (O Corpus)
Os pesquisadores reuniram 22 membros de dois grupos minoritários específicos de Bangladesh: a comunidade Hindu (minoria religiosa) e a comunidade Chakma (minoria étnica indígena).

Eles pediram a esses membros da comunidade que compartilhassem exemplos de comentários online que os magoaram.
Crucialmente, os membros da comunidade não disseram apenas "isso é ruim". Eles escreveram explicações. Eles explicaram por que era ruim, usando seus próprios textos religiosos, história e experiências de vida.
Analogia: Imagine uma biblioteca onde, em vez de apenas ter uma lista de "palavras ruins", você tem uma prateleira de livros escritos pelas pessoas que foram feridas, explicando exatamente por que uma frase específica pareceu um soco no estômago.

Passo 2: A Ferramenta (Mod-Guide)
Os pesquisadores construíram uma ferramenta chamada Mod-Guide. Pense nela como um assistente inteligente para moderadores de conteúdo.

O Cérebro: Utiliza uma IA poderosa (GPT-4).
A Memória (RAG): Este é o ingrediente secreto. Em vez de a IA adivinhar com base em seu treinamento geral, o Mod-Guide força a IA a abrir a "Biblioteca Comunitária" (o corpus criado no Passo 1) antes de responder.
O Role-Play (Encenação): A IA é solicitada a usar diferentes "chapéus" (personas) para dar feedback. Às vezes ela atua como um Professor (tentando educar), às vezes como um Mediador (tentando acalmar uma briga) ou um Juiz (tomando uma decisão).

Como Funciona na Vida Real

Vamos observar um exemplo do artigo:

O Comentário Insensível: Um usuário posta: "Eu não acredito em guardar ídolos; eu trouxe minha fé para guardá-los, não para proteger estátuas." (Isso é ofensivo para os hindus, que veem os ídolos como sagrados).
IA Padrão: Poderia dizer: "Isto é apenas uma opinião, está tudo bem."
Mod-Guide (com a Biblioteca): A IA consulta a explicação dos membros da comunidade Hindu. Ela vê que, para eles, os ídolos são uma ponte para Deus, não apenas estátuas.
O Resultado: O Mod-Guide diz ao usuário: "Este comentário pode ser ofensivo porque descarta a natureza sagrada dos ídolos para muitas pessoas. Veja como você poderia reformular isso para ser mais respeitoso."

O Que Eles Descobriram

Os pesquisadores testaram o Mod-Guide contra a IA padrão e descobriram que:

Ele Muda o Resultado: Quando a IA utiliza a "Biblioteca Comunitária" (RAG), suas respostas são completamente diferentes da IA padrão. Ela se torna muito mais sensível às nuances culturais.
É Mais Preciso: Especialistas das comunidades minoritárias revisaram as respostas. Eles disseram que a IA padrão era frequentemente "rasa" ou perdia o ponto. As respostas do Mod-Guide eram mais profundas e factualmente mais precisas em relação à sua cultura.
Quem Gosta Disso?
- A Etnia Importa: Pessoas da minoria Indígena (Chakma) acharam o feedback muito mais útil do que as pessoas da Maioria.
- A Religião Não Importava Tanto: Curiosamente, o fato de serem Hindu ou Muçulmano não mudou o quanto eles acharam a ferramenta útil; era mais sobre sua origem étnica.
- Os Chapéus de "Professor" e "Mediador": O feedback foi mais útil quando a IA atuou como um professor ou um mediador, em vez de um juiz rigoroso.

As Limitações (O Porém)

Os autores são honestos sobre o que esta ferramenta ainda não consegue fazer:

É Pequena: A "Biblioteca" que construíram é pequena (132 exemplos). É como ter um dicionário com apenas algumas páginas. Funciona bem para os grupos específicos que estudaram, mas pode não cobrir todos os insultos ou todas as outras minorias do mundo.
Não é Mágica: A ferramenta ainda precisa de supervisão humana. Ela não pode substituir totalmente o julgamento humano, especialmente para conteúdos muito complexos ou visuais (como imagens com texto).
Específico para Bangladesh: As descobertas são específicas para as comunidades Hindu e Chakma de Bangladesh. Isso não resolve automaticamente os problemas para minorias em outros países, embora o método possa ser copiado.

A Grande Conclusão

Este artigo argumenta que, para tornar a internet justa, não podemos confiar apenas em grandes modelos de IA genéricos. Precisamos construir bibliotecas de conhecimento locais e específicas de cada comunidade.

Ao dar à IA um "dicionário" escrito pelas próprias pessoas que estão sendo feridas, podemos ajudá-la a entender a diferença entre um comentário inofensivo e um profundamente ofensivo. Trata-se de passar da punição (banir pessoas) para a justiça restaurativa (ajudar as pessoas a se entenderem e repararem o relacionamento).

Em resumo: O Mod-Guide é uma ferramenta que ensina a IA a ouvir as pessoas que ela deveria proteger, em vez de apenas adivinhar o que elas precisam.

Resumo Técnico: Mod-Guide

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados para moderação de conteúdo, mas frequentemente refletem e reforçam normas culturais majoritárias, falhando em reconhecer o "discurso insensível" direcionado a comunidades historicamente sub-representadas. Diferente do discurso de ódio explícito, o discurso insensível opera por meio de apagamento implícito, deturpação e enquadramento normativo que desconsidera os valores culturais, religiosos e epistêmicos de grupos minoritários. Isso cria uma "injustiça hermenêutica", onde as comunidades minoritárias carecem dos recursos conceituais dentro dos sistemas de moderação mainstream para ter suas experiências de dano reconhecidas. O artigo foca em Bangladesh, especificamente nas comunidades Hindu (minoria religiosa) e Chakma (minoria étnica indígena), onde tais feridas linguísticas são prevalentes, mas frequentemente negligenciadas por sistemas automatizados treinados sob perspectivas majoritárias.

Metodologia
A pesquisa emprega uma abordagem de métodos mistos envolvendo três estágios primários:

Construção de Corpus via Comunidades Remotas Assíncronas (ARC):
- Os autores colaboraram com 22 membros das comunidades Hindu e Chakma para curar um conjunto de dados de 132 instâncias de discurso culturalmente insensível.
- Utilizando grupos secretos de Facebook e WhatsApp, os participantes compartilharam exemplos de textos, imagens e vídeos que consideravam ofensivos, fornecendo explicações detalhadas fundamentadas em textos religiosos, histórias orais, rituais culturais e experiências vividas.
- Este corpus foi traduzido e padronizado para o bengali, criando uma base de conhecimento de origem comunitária que captura as hermenêuticas (estruturas interpretativas) minoritárias em vez de pressupostos majoritários.
Desenvolvimento do Sistema (Mod-Guide):
- Os autores desenvolveram o Mod-Guide, um sistema de feedback baseado em LLM utilizando Geração Aumentada de Recuperação (RAG) com o GPT-4 da OpenAI.
- Pipeline: O sistema utiliza um armazenamento de vetores contendo embeddings do corpus de origem comunitária. Quando um usuário insere um texto, o sistema realiza uma busca de similaridade para recuperar explicações comunitárias relevantes.
- Prompt de Persona: O LLM é instruído a adotar cinco personas de moderação distintas (Professor, Mediador, Juiz, Representante, Protetor) baseadas nas metáforas de Seering et al. para moderação.
- Configuração: O estudo compara duas configurações: (a) GPT-4 usando prompting padrão sem contexto externo, e (b) GPT-4 aprimorado com RAG, onde as respostas são fundamentadas nas explicações comunitárias recuperadas.
Avaliação:
- Análise Textual Quantitativa: BERTScore e distância Euclidiana de embeddings de texto foram usados para medir a divergência entre as respostas geradas pelo LLM autônomo e o sistema aprimorado por RAG através de diferentes personas.
- Precisão Factual: Dois especialistas de domínio (um de cada comunidade minoritária) avaliaram a precisão factual e a nuance de 10 respostas selecionadas aleatoriamente de ambas as configurações.
- Estudo com Usuários: Um estudo com 15 participantes (de origens majoritárias e minoritárias) avaliou a utilidade percebida do feedback, analisando a influência do histórico demográfico e da persona de moderação.

Principais Contribuições

Contribuição de Conjunto de Dados: Um corpus curado e anotado de discurso culturalmente insensível em bengali, especificamente fundamentado nas perspectivas das comunidades Hindu e Chakma. Este conjunto de dados inclui não apenas os atos de fala, mas as justificativas comunitárias do porquê eles são prejudiciais.
Contribuição de Artefato: O design e a avaliação do Mod-Guide, um sistema de feedback que integra perspectivas minoritárias em fluxos de trabalho de moderação de LLM via RAG.
Contribuição Metodológica: Demonstrar como o RAG pode ser usado para operacionalizar a "inclusão hermenêutica", permitindo que LLMs acessem e utilizem conhecimentos epistemicamente marginalizados sem a necessidade de ajuste fino (fine-tuning) ou atualizações irreversíveis de pesos.

Resultados

Diferenças Textuais: A análise estatística (testes de postos sinalizados de Wilcoxon) revelou uma diferença significativa ( $p = 3.3 \times 10^{-54}$ ) entre o texto gerado pelo GPT-4 autônomo e o sistema aprimorado por RAG. O sistema RAG produziu respostas que eram contextualmente distintas e fundamentadas nas narrativas comunitárias recuperadas.
Precisão Factual: A avaliação dos especialistas indicou que, embora as respostas do GPT-4 autônomo fossem frequentemente corretas em um sentido geral, elas careciam de profundidade e nuance. As respostas aprimoradas por RAG forneceram contexto teológico e cultural mais preciso (por exemplo, explicando o papel dos ídolos no Hinduísmo ou as sensibilidades específicas em torno do termo "upojati"). No entanto, o sistema ainda enfrentou dificuldades com certas questões, como identificar gírias vulgares direcionadas a mulheres indígenas em contextos de imagem específicos.
Utilidade Percebida: O estudo encontrou uma relação estatisticamente significativa ( $p = 0.0104$ ) entre a etnia de um participante e sua percepção de qual persona de moderação era mais útil. Participantes de minorias tenderam a preferir personas que enfatizavam a proteção e a advocacia. Nenhuma relação significativa foi encontrada entre a religião e a preferência de persona.

Significância e Alegações
O artigo afirma que o Mod-Guide avança nos campos da Interação Humano-Computador (HCI), ética de IA e computação social ao colocar em primeiro plano a justiça restaurativa e a inclusão hermenêutica no design de moderação de conteúdo.

Justiça Epistêmica: O trabalho argumenta que conjuntos de dados pequenos, de origem comunitária, devem ser vistos como "categorias baseadas em protótipos" em vez de serem descartados devido ao tamanho. Eles servem como recursos essenciais para combater o "ideocídio" (a aniquilação de estruturas epistêmicas marginalizadas) em sistemas de IA.
Abordagem Restaurativa: Ao mudar a metáfora da moderação da punição para a educação e o diálogo (via personas como "Professor" ou "Mediador"), o sistema visa reparar danos epistêmicos e promover a compreensão intercultural, em vez de simplesmente remover o conteúdo.
Explicabilidade: Os autores defendem o RAG em vez do fine-tuning neste contexto porque ele oferece maior transparência e rastreabilidade, permitindo que as decisões de moderação sejam auditadas contra justificativas comunitárias específicas.

Os autores concluem que, embora seu sistema demonstre promessa em tornar os LLMs mais sensíveis a normas pluralistas, permanecem desafios em relação à escalabilidade, à diversidade do corpus e ao risco de essencializar identidades minoritárias. Eles enfatizam que tais sistemas devem permanecer adaptáveis ao design participativo e à crítica contínua.