💬 NLP

How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

Este artigo demonstra empiricamente que os modelos de análise de sentimento para a língua bengali, de recursos limitados, exibem vieses persistentes baseados em gênero, religião e nacionalidade, independentemente de serem construídos sobre arquiteturas multilíngues ou monolíngues, destacando como a combinação de conjuntos de dados diversos e modelos pré-treinados pode introduzir inconsistências que exacerbam a injustiça epistêmica em sistemas sociotécnicos.

Autores originais: Dipto Das, Shion Guha, Bryan Semaan

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dipto Das, Shion Guha, Bryan Semaan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender sentimentos humanos (como felicidade, tristeza ou raiva) mostrando-lhe milhares de frases escritas em bengali. Você quer que o robô seja justo com todos, não importa se são homens ou mulheres, hindus ou muçulmanos, ou se vêm de Bangladesh ou da Índia.

Este artigo é como um "boletim escolar" para 38 versões diferentes desse robô. Os pesquisadores perguntaram: Onde o robô adquire sua injustiça? É dos livros que leu (os conjuntos de dados), do professor que o ensinou (os desenvolvedores) ou do cérebro com o qual foi construído (o modelo pré-treinado)?

Aqui está a análise de suas descobertas usando analogias simples:

1. A Configuração: O Robô, A Biblioteca e Os Professores

Os Robôs (Modelos): Os pesquisadores começaram com dois "cérebros base". Um era um generalista (mBERT) que conhece 104 idiomas, mas não é especialista em nenhum deles. O outro era um especialista (BanglaBERT) que só conhece bengali e foi treinado especificamente em livros em bengali.
As Bibliotecas (Conjuntos de Dados): Eles encontraram 19 coleções diferentes de frases em bengali (conjuntos de dados) na internet. Pense nelas como bibliotecas diferentes. Algumas bibliotecas estavam cheias de notícias, outras com postagens de redes sociais e algumas com romances.
Os Professores (Desenvolvedores): Essas bibliotecas foram organizadas por pessoas diferentes. Os pesquisadores tentaram descobrir quem eram esses professores (seu gênero, religião e nacionalidade) para ver se os preconceitos pessoais dos professores estavam sendo transmitidos aos robôs.

2. O Experimento: A "Degustação"

Os pesquisadores deram aos robôs uma "degustação" especial. Eles alimentaram-nos com pares de frases que significavam exatamente a mesma coisa, mas usavam palavras diferentes para sinalizar identidade.

Exemplo: Uma frase usava uma palavra para "água" comum na Índia, e a outra usava uma palavra para "água" comum em Bangladesh.
O Objetivo: Se o robô for justo, deve dar a ambas as frases a mesma "pontuação de sentimento". Se der a uma uma pontuação alta (positiva) e à outra uma pontuação baixa (negativa), ele é preconceituoso.

3. Os Resultados: O Que Eles Encontraram?

A. Os Robôs São Preconceituosos (O Efeito "Câmara de Eco")
O estudo descobriu que a maioria dos robôs era injusta.

Gênero: 61% dos robôs gostavam mais de frases sobre homens do que sobre mulheres. Apenas 24% gostavam mais de mulheres.
Religião: 61% dos robôs favoreciam identidades muçulmanas, enquanto 24% favoreciam identidades hindus.
Nacionalidade: 50% dos robôs gostavam mais de identidades de Bangladesh, enquanto 26% preferiam identidades indianas.

B. Os Professores Não Importavam (O "Fantasma na Máquina")
Você pode pensar: "Se o professor é homem, o robô será sexista." Os pesquisadores verificaram isso, mas não encontraram nenhuma ligação clara.

Embora a maioria dos criadores dos conjuntos de dados fosse composta por homens, muçulmanos e de Bangladesh, os robôs não copiavam apenas seus preconceitos específicos.
A Conclusão: O preconceito não vinha da pessoa específica que digitou os dados. Vinha da interação entre os dados e o cérebro do robô.

C. O Cérebro Importa Mais Do Que A Biblioteca (O "Especialista vs. Generalista")
Esta foi a descoberta mais surpreendente.

O Robô Especialista (BanglaBERT) era geralmente mais justo e menos preconceituoso do que o Robô Generalista (mBERT).
A Analogia: Imagine que um robô generalista é como um turista que tenta entender uma cultura lendo alguns folhetos de viagem em vários idiomas. Ele pega o básico, mas perde as nuances. O robô especialista é como um local que cresceu falando o idioma; ele entende melhor as diferenças culturais sutis.
No entanto, nenhuma biblioteca era perfeita. Mesmo os melhores conjuntos de dados tinham preconceitos em algumas áreas. Se um conjunto de dados era justo em relação ao gênero, podia ser injusto em relação à religião.

4. A Grande Imagem: É Uma Reação em Cadeia

O artigo argumenta que o preconceito não é apenas um "bug" em um pedaço de código. É uma reação em cadeia.

Pense nisso como uma corrida de revezamento.
O primeiro corredor (o modelo pré-treinado) começa com alguns preconceitos inerentes.
O segundo corredor (o conjunto de dados) adiciona seu próprio tempero.
Quando passam o bastão (ajuste fino), o resultado final é uma mistura de ambos.
Às vezes, um conjunto de dados "bom" pode corrigir um modelo "ruim". Às vezes, um conjunto de dados "ruim" pode arruinar um modelo "bom".

5. Por Que Isso Importa (A "Injustiça Epistêmica")

Os autores usam um termo sofisticado chamado Injustiça Epistêmica. Em termos simples, isso significa que o robô está descredibilizando injustamente as vozes de certas pessoas.

Se um robô acha que uma frase escrita por uma pessoa de Bangladesh é "negativa" apenas porque ela usou uma palavra local específica para "água", o robô está dizendo: "Sua maneira de falar está errada ou é ruim".
Isso é injusto porque trata a língua de um grupo como o "padrão" e a de outros como "incorreta", reforçando antigas divisões sociais.

Resumo

O artigo conclui que, para corrigir o preconceito em idiomas de recursos limitados como o bengali, não podemos apenas culpar as pessoas que criaram os dados. Precisamos olhar para todo o sistema:

Não use apenas modelos de tamanho único: Modelos especializados (como BanglaBERT) parecem lidar melhor com a cultura local do que os gerais.
Nenhum conjunto de dados é perfeito: Toda biblioteca tem algum preconceito, então precisamos ter cuidado com qual escolhemos.
A combinação é fundamental: O preconceito vem de como o modelo e os dados se misturam, não apenas de um ou do outro.

Os pesquisadores estão pedindo mais "auditorias" (controles e equilíbrios) para garantir que essas ferramentas digitais não acidentalmente prejudiquem as comunidades que deveriam servir.

Resumo Técnico: Como Conjuntos de Dados, Desenvolvedores e Modelos Afetam Vieses em uma Língua de Baixos Recursos

Declaração do Problema
Sistemas sociotécnicos, particularmente no Processamento de Linguagem Natural (PLN), frequentemente exibem vieses baseados em identidade que marginalizam grupos sociais específicos. Embora auditorias algorítmicas tenham se tornado um método padrão para detectar esses vieses, a pesquisa existente concentra-se predominantemente em contextos ocidentais e línguas de altos recursos. Isso deixa as línguas de baixos recursos, como o bengali (falado por mais de 260 milhões de pessoas), subestudadas. As comunidades bengalis enfrentam forças históricas e coloniais complexas que moldam identidades de gênero, religiosas (hindu vs. muçulmana) e nacionais (bangladesiana vs. indiana). Essas identidades são frequentemente expressas tanto explicitamente quanto implicitamente através de normas linguísticas, como variações dialetais (Bangal vs. Ghoti) e escolhas vocabulares.

O problema central abordado é a "falácia da funcionalidade da IA", onde os sistemas são assumidos como funcionando corretamente com base no desempenho em benchmarks, mascarando como os vieses emergem da interação de múltiplos componentes técnicos. Especificamente, há uma falta de compreensão sobre como a combinação de modelos pré-treinados, conjuntos de dados de ajuste fino e os antecedentes demográficos dos desenvolvedores de conjuntos de dados moldam coletivamente o viés em modelos de análise de sentimento a jusante (BSA) para o bengali.

Metodologia
Os autores conduziram uma auditoria algorítmica abrangente envolvendo 38 modelos de análise de sentimento ajustados finamente. A metodologia procedeu em quatro etapas principais:

Identificação de Conjuntos de Dados e Pesquisa com Desenvolvedores: Os pesquisadores identificaram 19 conjuntos de dados de Análise de Sentimento em Bengali (BSA) via Google Dataset Search. Eles contataram os desenvolvedores desses conjuntos de dados para coletar informações demográficas (gênero, religião, nacionalidade) por meio de uma pesquisa online, recebendo respostas de 12 conjuntos de dados. Para proteger o anonimato, os conjuntos de dados foram desidentificados (D1–D19).
Seleção de Modelos e Ajuste Fino: Dois modelos de linguagem pré-treinados foram selecionados: mBERT (um modelo multilíngue treinado em 104 línguas) e BanglaBERT (um modelo pré-treinado especificamente em corpora bengalis). Cada um dos 19 conjuntos de dados BSA foi usado para ajustar finamente ambos os modelos, resultando em 38 modelos ajustados finamente distintos.
Avaliação de Viés: Os autores utilizaram o Conjunto de Dados de Avaliação de Viés de Identidade em Bengali (BIBED), que contém pares de frases semanticamente idênticas, mas que diferem em marcadores de identidade (gênero, religião, nacionalidade) de forma explícita (menções diretas) ou implícita (normas linguísticas, dialetos, termos de parentesco).
Análise Estatística: A auditoria empregou comparações estatísticas para avaliar o viés:
- Classificação Nominal: Utilizou o teste $\chi^2$ para avaliar a relação entre categorias de identidade e classificação de sentimento (positivo/negativo/neutro).
- Pontuações de Sentimento: Utilizou testes t pareados ou testes de postos sinalizados de Wilcoxon para comparar as pontuações médias de sentimento (0 a 1) atribuídas a diferentes grupos de identidade.
- Quantificação: Calculou a Taxa de Classificação Positiva (PCR) para medir a paridade demográfica e a Métrica de Comparação Pares (PCM) para quantificar a diferença média nas pontuações de sentimento entre pares de identidade.

Principais Contribuições

Auditoria Empírica de PLN de Baixos Recursos: Este estudo fornece uma das primeiras auditorias sistemáticas da análise de sentimento em bengali, indo além das ferramentas implantadas para rastrear as origens do viés em todo o pipeline (conjuntos de dados, desenvolvedores, modelos).
Análise de Interação: Desafia a noção de que o viés reside exclusivamente em modelos ou conjuntos de dados, demonstrando como o viés emerge da interação entre arquiteturas pré-treinadas e dados de ajuste fino.
Demografia dos Desenvolvedores vs. Viés do Modelo: Investiga a correlação entre os antecedentes demográficos dos desenvolvedores de conjuntos de dados e o viés do modelo, uma dimensão frequentemente negligenciada em auditorias técnicas.
Comparação Metodológica: O artigo compara a eficácia de diferentes testes estatísticos e métricas (nominais vs. pontuações contínuas) na detecção de vieses sutis em contextos de baixos recursos.

Resultados
O estudo produziu várias descobertas significativas regarding a distribuição e as fontes de viés:

Prevalência de Viés: A maioria dos 38 modelos ajustados finamente exibiu vieses significativos.
- Gênero: 61% dos modelos atribuíram pontuações de sentimento mais altas a identidades masculinas, enquanto 24% favoreceram identidades femininas.
- Religião: 61% dos modelos favoreceram identidades muçulmanas (ou estilos linguísticos associados), enquanto 24% favoreceram identidades hindus.
- Nacionalidade: 50% dos modelos favoreceram identidades bangladesianas, comparado a 26% favorecendo identidades indianas.
Demografia dos Desenvolvedores: Apesar da maioria dos desenvolvedores de conjuntos de dados se identificar como homens, muçulmanos e bangladesianos, testes estatísticos (valores-p > 0,05) revelaram nenhuma relação significativa entre os antecedentes demográficos dos desenvolvedores e a direção do viés nos modelos resultantes.
Interação Modelo-Conjunto de Dados:
- Vantagem Específica da Língua: O BanglaBERT geralmente produziu modelos ajustados finamente menos enviesados em comparação com o mBERT multilíngue, sugerindo que o pré-treinamento específico da língua oferece um benefício de mitigação.
- Instabilidade do Conjunto de Dados: Nenhum conjunto de dados estava livre de viés. Conjuntos de dados que se saíram bem em uma dimensão de identidade frequentemente exibiram vieses substanciais em outras.
- Mudanças Contextuais: O mesmo conjunto de dados poderia induzir viés em direções opostas dependendo do modelo base utilizado (por exemplo, D1 induziu viés feminino com mBERT, mas viés masculino com BanglaBERT).
Sensibilidade da Métrica: O estudo constatou que analisar pontuações contínuas de sentimento identificou significativamente mais modelos enviesados (por exemplo, 85% para gênero) do que analisar categorias nominais de sentimento (24% para gênero), destacando a importância de usar métricas numéricas para auditorias rigorosas.

Significado e Alegações
O artigo afirma que alcançar a equidade em sistemas de PLN é complexo e não pode ser resolvido simplesmente selecionando um modelo ou conjunto de dados específico. Em vez disso, o viés é um produto da infraestrutura sociotécnica, incluindo a reutilização de modelos pré-treinados e a recombinação de conjuntos de dados.

Os autores enquadram suas descobertas através da lente da injustiça epistêmica, argumentando que as tecnologias linguísticas podem sistematicamente desacreditar o testemunho de grupos marginalizados ao atribuir-lhes pontuações de sentimento mais baixas ou interpretar erroneamente suas normas linguísticas. Eles argumentam que, embora modelos multilíngues (mBERT) ofereçam generalização, eles frequentemente exacerbam desvantagens para línguas de baixos recursos ao confundir dialetos e estilos distintos.

O estudo defende a descolonização do PLN ao reconhecer a sub-representação de vozes diversas na criação de conjuntos de dados e apelar por um "alinhamento retroativo" — avaliar e governar sistemas para evitar exacerbar riscos de desalinhamento — em vez de confiar exclusivamente no treinamento de alinhamento progressivo, que pode ser inviável devido à escassez de dados. Finalmente, os autores enfatizam a necessidade de auditorias algorítmicas em contextos de baixos recursos para fomentar transparência, abordar desalinhamentos de valores e promover regulamentações de IA mais inclusivas.