AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani

Resumo Técnico: AmchiBias

Definição do Problema
O viés estereotipado sociocultural em Processamento de Linguagem Natural (PLN) é predominantemente avaliado em nível nacional, negligenciando frequentemente ricas estruturas sociocultural de nível subnacional. Os benchmarks existentes, em grande parte euro-americanos ou pan-indianos (por exemplo, cobrindo Hindi e Inglês), falham em capturar identidades hiperlocais e os contextos históricos únicos de regiões específicas. Goa, na Índia, apresenta um estudo de caso crítico: sua sociedade é estratificada por dimensões interseccionais de casta, religião, língua e natividade, moldada por 450 anos de domínio colonial português. Esta história criou associações estereotipadas distintas para grupos de identidade goanos que não se mapeiam nas categorias pan-indianas mais amplas. Além disso, a língua Konkani, apesar de ser a língua oficial de Goa, sofre de uma severa escassez de recursos devido à supressão colonial e às pressões linguísticas pós-independência, ficando sem recursos dedicados para avaliação de viés.

Metodologia
Os autores introduzem o AmchiBias, o primeiro benchmark projetado para medir o viés estereotipado sociocultural para grupos de identidade goanos. A construção do dataset segue um pipeline rigoroso:

• Composição do Dataset: O AmchiBias compreende 313 pares de sentenças mínimas através de oito dimensões socioculturais: Casta, Língua, Ocupação, Religião, Natividade, Região, Idade e Gênero. Ele cobre 37 grupos de identidade distintos, categorizados em "grupos goanos hiperlocais" (ex: Tarvottis, Mundkars, Gulfies) e "grupos reconhecíveis pan-indianos" (ex: Católicos, Hindus, Kshatriyas).
• Paralelismo Bilíngue: O dataset está disponível tanto em Inglês (escrita romana) quanto em Konkani Devanagari. As sentenças foram geradas em Inglês com assistência de LLM, validadas por anotadores nativos de Goa para autenticidade cultural e, subsequentemente, traduzidas para o Konkani com revisão de falantes nativos.
• Design de Pares Mínimos: Seguindo a metodologia CrowS-Pairs, cada tupla consiste em uma sentença estereotipada e uma sentença contra-estereotipada onde apenas os tokens de marcação de identidade diferem.
• Abordagem de Desafios Específicos: Os autores implementaram controles específicos para o "problema de acoplamento de identidade ocupacional", onde termos ocupacionais são inseparáveis da identidade na cultura goana. Marcadores contextuais foram neutralizados para garantir que o sinal de viés reflua a identidade em vez do conhecimento ocupacional.
• Estrutura de Avaliação: Cinco modelos de codificador multilingue foram avaliados: mBERT, XLM-RoBERTa, MuRIL, IndicBERT-v1 e IndicBERT-v2. A avaliação utilizou a métrica PLL-word-l2r (uma pontuação de pseudo-log-verossimilhança adaptada para palavras de múltiplos tokens) para medir a proporção de pares de sentenças onde o modelo prefere a conclusão estereotipada. Adicionalmente, uma Pontuação de Modelagem de Linguagem (LMS) foi adaptada para distinguir entre a ausência de viés e a falta de competência linguística.

Principais Resultados
A avaliação gerou descobertas distintas sobre o desempenho dos modelos em Inglês versus Konkani:

1. Disparidade Linguística: Em Inglês, todos os cinco modelos exibiram associações estereotipadas sistemáticas com grupos de identidade goanos, com pontuações de viés variando de 50,2% a 62,3%. Em contraste, modelos consultados em Konkani pontuaram próximo ao acaso (49,2%–53,4%), não mostrando preferência consistente por conteúdo estereotipado.
2. Competência Linguística vs. Conhecimento Cultural: A Pontuação de Modelagem de Linguagem (LMS) revelou que as pontuações de viés próximas ao acaso em Konkani não se devemiam a uma ausência de viés, mas sim a uma falta de compreensão da língua. Modelos multilingues gerais (mBERT, XLM-RoBERTa) mostraram baixo LMS em Konkani, indicando incompetência linguística. No entanto, modelos específicos da Índia (IndicBERT-v2), que possuem Konkani em seus dados de pré-treinamento, alcançaram alto LMS (91,4%) e ainda assim mostraram pontuações de viés próximas ao acaso (49,2%). Essa dissociação sugere que, embora esses modelos entendam a língua, carecem do conhecimento cultural específico de Goa codificado em seus dados de pré-treinamento.
3. Viés Hiperlocal vs. Pan-Indiano: Em Inglês, modelos com forte cobertura de línguas indianas (MuRIL, IndicBERT-v2) exibiram pontuações de viés significativamente mais altas para grupos reconhecíveis pan-indianos do que para grupos hiperlocais goanos. Isso indica que o sinal de viés em Inglês reflete associações de pré-treinamento pan-indianas em vez de um conhecimento cultural goano genuíno e granular.
4. Efeitos de Tokenização: Embora a fragmentação de tokenização tenha se correlacionado negativamente com as pontuações de viés em Inglês, essa relação não se sustentou em Konkani. A falha em detectar o viés em Konkani é atribuída à ausência de conhecimento cultural nos dados de pré-treinamento, e não à qualidade da tokenização.

Significância e Contribuições
O artigo apresenta três contribuições primárias:

1. Dataset AmchiBias: Fornece o primeiro benchmark bilíngue para medir estereótipos em grupos de identidade goanos através de oito dimensões socioculturais, abordando uma lacuna crítica na avaliação de PLN multilingue de baixo recurso.
2. Evidência Empírica de Lacunas Culturais: O estudo demonstra que mesmo modelos treinados em línguas indianas carecem de competência cultural goana genuína, baseando-se em associações pan-indianas quando consultados em Inglês.
3. Insight Metodológico: Ao desacoplar a competência linguística da detectabilidade de viés usando LMS, os autores mostram que pontuações de viés próximas ao acaso em línguas de baixo recurso podem advir de uma falta de fundamentação cultural nos dados de pré-treinamento, e não apenas de incapacidade linguística.

Os autores concluem que suas descobertas destacam a necessidade crítica de perspectivas regionais, culturalmente específicas e pós-coloniais na avaliação de viés em PLN, particularmente para línguas de baixo recurso onde identidades comunitárias hiperlocais são atualmente subexploradas. Eles explicitamente observam que seu trabalho não se generaliza para modelos generativos autorregressivos, pois sua estrutura de avaliação depende de arquiteturas apenas de codificadores (encoder-only).