Investigating Bias in Bulgarian in the Context of Large Language Models

Resumo Técnico: Investigando o Viés no Búlgaro no Contexto de Grandes Modelos de Linguagem

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) frequentemente refletem e amplificam vieses sociais presentes em seus dados de treinamento. Embora exista uma pesquisa significativa para línguas de altos recursos, como o inglês, há uma lacuna crítica em metodologias de detecção de viés, conjuntos de dados e recursos lexicais para línguas de baixos recursos, especificamente o búlgaro. O artigo aborda a falta de uma definição unificada de viés aplicável tanto a humanos quanto a LLMs, a escassez de léxicos de viés específicos para o búlgaro e a incerteza sobre se os LLMs podem se alinhar de forma confiável com os julgamentos humanos na percepção de viés em contextos culturalmente específicos. O estudo propõe três questões centrais: Uma definição operacional de viés pode garantir consistência tanto para humanos quanto para LLMs? Os anotadores humanos concordam na percepção de viés? Os LLMs se alinham com os julgamentos humanos e, se não, como e por que eles divergem?

Metodologia
O estudo emprega uma abordagem de múltiplos estágios combinando construção de recurso lexical, criação de conjunto de dados, anotação manual e avaliação de LLM.

1. Construção de Recurso Lexical: Um "Dicionário de Viés Búlgaro" foi compilado manualmente e expandido usando o Bulgarian WordNet e o SentiWordNet. Ele contém 3.786 entradas categorizadas em cinco tipos de viés (Gênero, Religião, Raça/Etnia, Aparência Física, Deficiência) além de uma categoria geral. As entradas incluem palavras de sinal de viés e palavras de marcação de viés, anotadas com atributos como classe gramatical, polaridade de viés, registro (ex: pejorativo, coloquial) e força avaliativa.
2. Criação de Conjunto de Dados: Um conjunto de dados de 3.177 sentenças foi extraído da Wikipédia búlgara (artigos e páginas de discussão) datada de dezembro de 2025. As sentenças foram pré-processadas (tokenização, lematização) e inicialmente pontuadas usando um algoritmo baseado em léxico. Este algoritmo calcula uma pontuação ao nível da sentença baseada na força avaliativa, polaridade e proximidade das palavras de sinal de viés e palavras de marcação de viés dentro de uma janela de 10 tokens.
3. Anotação Manual: Dois falantes nativos de búlgaro anotaram manualmente as sentenças para a presença e intensidade de viés em uma escala ordinal de 0 (sem viés) a 5 (viés forte) para cada um dos cinco tipos de viés e uma categoria "Outros". A Concordância entre Anotadores (IAA) foi medida usando $\kappa$ de Cohen ponderado, $\alpha$ de Krippendorff e o Coeficiente de Correlação Intraclasse (ICC).
4. Avaliação de LLM: Três LLMs foram avaliados contra as anotações humanas:
   • Gemma 4: Um modelo multilíngue ajustado para instruções com o búlgaro em seu corpus de pré-treinamento.
   • BgGPT-Gemma-3: Um modelo adaptado para o búlgaro (12B de parâmetros) baseado no Gemma 3, testado com prompts tanto em inglês quanto em búlgaro.
   • Qwen 3: Um modelo multilíngue (8B de parâmetros) com cobertura de línguas eslavas, mas sem ajuste fino explícito para o búlgaro.
     Os modelos foram incumbidos de detectar o viés e atribuir pontuações de intensidade. A concordância entre humanos e LLMs foi avaliada usando as mesmas métricas que a concordância humano-humano.

Principais Contribuições

• Conjunto de Dados Anotado para Viés em Búlgaro: A criação de um conjunto de dados anotado manualmente de 3.177 sentenças cobrindo cinco tipos específicos de viés, servindo como um benchmark para a detecção de viés em línguas de baixos recursos.
• Dicionário de Viés Búlgaro: Um recurso lexical estruturado de 3.786 entradas projetado para identificar sinais de viés e marcadores avaliativos específicos do búlgaro.
• Definição Operacional de Viés: Uma definição funcional de viés ao nível da sentença que considera atitudes sistematicamente não neutras, aplicável tanto à avaliação humana quanto à de máquinas.
• Análise Empírica de Alinhamento Humano-LLM: Uma avaliação abrangente de quão bem os LLMs atuais se alinham com os julgamentos humanos em um cenário de baixos recursos e culturalmente específico, revelando divergências significativas tanto na detração quanto na pontuação de intensidade.

Resultos

• Concordância Humano-Humano: Os anotadores mostraram alta concordância na classificação binária de viés (enviesado vs. não enviesado), com uma taxa de incompatibilidade de apenas 4,9% e um $\kappa$ ponderado de 0,863. No entanto, a concordância na pontuação de intensidade (escala 0–5) foi menor, particularmente para casos não nulos, onde o $\alpha$ de Krippendorff average foi de -0,160, indicando uma discordância maior que o acaso em pontuações de intensidade específicas.
• Alinhamento Humano-LLM: Todos os LLMs mostraram divergência substancial em relação aos julgamentos humanos.
  • Taxas de Incompatibilidade: Os LLMs exibiram taxas de incompatibilidade de 24% a 34% na tarefa binária, comparado a 4,9% para humanos.
  • Métricas de Concordância: Os valores de $\kappa$ ponderado entre humanos e LLMs variaram de 0,108 (Qwen 3) a 0,255 (Gemma 4), situando-se no intervalo de leve a moderado.
  • Pontuação de Intensidade: Os LLMs atribuíram sistematicamente pontuações de intensidade mais baixas do que os humanos. As métricas de concordância não nulas ($\alpha_{nz}$) foram uniformemente negativas em todos os modelos, indicando que, quando os LLMs sinalizavam viés, frequentemente sinalizavam sentenças diferentes ou atribuíam níveis de severidade diferentes dos humanos.
• Descobertas Específicas do Modelo:
  • Linguagem do Prompt: O uso de prompts em búlgaro para o BgGPT-Gemma-3 melhorou o alinhamento com os julgamentos humanos (aumentando a sobreposição de enviesados de 12,8% para 21,6% e reduzindo as taxas de incompatibilidade) em comparação com prompts em inglês.
  • Variabilidade do Tipo de Viés: Os LLMs tiveram um desempenho relativamente melhor nas categorias "Aparência" e "Deficiência" (provavelmente devido a marcadores lexicais explícitos), mas tiveram um desempenho ruim em "Gênero" e "Religião", que dependem de pistas culturais e contextuais sutis.
  • Agrupamento de Modelos: Os modelos da família Gemma (Gemma 4 e variantes BgGPT) agruparam-se, sugerindo vieses compartilhados de sua linhagem de pré-treinamento, enquanto o Qwen 3 formou um grupo distinto com a menor concordância.

Significância e Alegações
O artigo alega que os LLMs atuais são não confiáveis como substitutos independentes para anotadores humanos na detecção de viés, particularmente para línguas de baixos recursos e contextos culturalmente específicos. As descobertas enfatizam que:

1. A Percepção de Viés é Situada Culturalmente: Os LLMs lutam com vieses que exigem competência pragmática e cultural (ex: papéis de gênero, práticas religiosas), enquanto apresentam melhor desempenho em vieses lexicalmente explícitos.
2. A Linguagem do Prompt Importa: O prompting na língua alvo melhora significativamente o alinhamento do LLM com as expectativas culturais humanas, sugerindo que a linguagem do prompt é uma variável experimental crítica, não apenas um detalhe de implementação.
3. Necessidade de Recursos Fundamentados: O estudo destaca a necessidade de recursos lexicais e metodologias de anotação culturalmente fundamentados para línguas de baixos recursos, pois o aprendizado por transferência de modelos multilíngues é insuficiente para capturar padrões de viés específicos.
4. Cautela Metodológica: Alta concordância entre LLMs não deve ser interpretada como um proxy para a qualidade da anotação, pois os modelos podem compartilhar vieses sistemáticos de seus dados de treinamento em vez de convergir para julgamentos sociais humanos.

O autor conclui que, embora os LLMs possam replicar parcialmente a detecção binária de viés, eles divergem significamente na pontuação de intensidade e na sensibilidade de categoria. Trabalhos futuros devem focar no ajuste fino com corpora de viés na língua alvo, integração de contexto cultural nos prompts e expansão de conjuntos de dados para diversos domínios para melhorar a equidade e o desempenho em cenários de baixos recursos.