Side-by-side Comparison Amplifies Dialect Bias in Language Models

Resumo Técnico: Comparação Lado a Lado Amplifica o Viés Dialetal em Modelos de Linguagem

Declaração do Problema
Modelos de Linguagem de Grande Porte (LLMs) exibem vieses sistemáticos contra falantes com base em variações dialetais, um fenômeno conhecido como viés dialetal covert. Isso ocorre mesmo na ausência de rótulos dialetais explícitos, pois os modelos associam estereótipos negativos ao Inglês Vernacular Afro-Americano (AAVE) em relação ao Inglês Americano Padrão (SAE). Embora pesquisas anteriores tenham estabelecido a existência desse viés de forma isolada, permanece incerto como o viés se manifesta em contextos de tomada de decisão de alto risco, onde os modelos são obrigados a classificar ou comparar candidatos lado a lado. Além disso, é desconhecido se especificar explicitamente rótulos dialetais (viés overt) mitiga ou exacerba essas disparidades em comparação com a inferência implícita (viés covert). As estruturas de avaliação existentes frequentemente dependem de prompts absolutos (avaliando tuítes isoladamente), o que pode subestimar a gravidade do viés em configurações comparativas.

Metodologia
Os autores empregam uma técnica de sonda de "guise" combinada usando um conjunto de dados de 2.019 pares de tuítes com intenção equivalente (um SAE, um AAVE) derivados de Groenwold et al. [20]. O estudo avalia três modelos: LLaMA-3.1-8B, DeepSeek-V3 e GPT-4.0-mini.

A avaliação é conduzida em quatro condições distintas:

1. Prompting Absoluto: Tuítes SAE e AAVE são avaliados independentemente.
2. Prompting Contrastivo: Tuítes SAE e AAVE são apresentados lado a lado para comparação direta.
3. Configuração Covert: Nenhum rótulo dialetal explícito é fornecido; o modelo infere o dialeto a partir de características linguísticas.
4. Configuração Overt: Rótulos dialetais explícitos (por exemplo, "Este tuíte foi escrito em AAVE") são incluídos no prompt.

Os modelos são instruídos a avaliar cada tuíte em uma escala Likert de 1 a 5 em 12 traços estereotipados agrupados em seis pares de valência (por exemplo, Inteligência/Estupidez, Cortesia/Rudeza), informados pelas Trilogias de Princeton [18, 25, 26].

Para quantificar o viés, o estudo utiliza:

• d de Cohen: Para medir o tamanho do efeito das disparidades de pontuação entre SAE e AAVE.
• Gap de Justiça Contrafactual (CF Gap): Para medir o erro absoluto médio normalizado entre as pontuações atribuídas a pares de intenção equivalente.
• Valor $Q$: Uma métrica de razão de verossimilhança logarítmica para avaliar a confiança do modelo em atribuir pontuações específicas a diferentes dialetos.

Para mitigação, os autores aplicam ajuste fino de justiça contrafactual ao LLaMA-3.1-8B. Isso envolve treinar o modelo para atribuir pontuações de traço idênticas a pares de tuítes SAE e AAVE, utilizando as próprias pontuações SAE do modelo da configuração absoluta como verdade fundamental. Uma abordagem de desviés baseada em prompts também é testada como linha de base.

Principais Resultados

1. Amplificação em Configurações Contrastivas: A descoberta mais significativa é que a comparação lado a lado amplifica significativamente o viés dialetal covert. Em todos os modelos, os tamanhos de efeito (d de Cohen) e os gaps de CF são substancialmente maiores na configuração contrastiva do que na configuração absoluta. Por exemplo, o DeepSeek-V3 exibiu um aumento de 51,78% nos valores de d de Cohen ao passar do prompting absoluto para o contrastivo. Isso sugere que contextos comparativos, comuns em contratações ou moderação de conteúdo, exacerbam vieses existentes além do observado em isolamento.
2. Exacerbação do Viés Overt: Contrariamente à suposição de que o rótulo explícito poderia reduzir o viés ao tornar o modelo ciente do contexto, especificar explicitamente rótulos dialetais (configuração overt) frequentemente amplifica ainda mais o viés, particularmente em cenários contrastivos. Na configuração contrastiva overt, as disparidades para traços como Articulação e Sofisticação atingiram tamanhos de efeito grandes.
3. Sensibilidade do Modelo: O LLaMA-3.1-8B demonstrou a maior sensibilidade à variação dialetal, apresentando os maiores gaps de CF e a menor autoconsistência (estabilidade das pontuações em prompts repetidos) para entradas AAVE em comparação com SAE.
4. Limitações da Mitigação: O ajuste fino de justiça contrafactual reduziu com sucesso o viés para um subconjunto de traços (por exemplo, Falta de Sofisticação, Estupidez, Incoerência) na configuração absoluta. No entanto, essas melhorias não se mantiveram consistentemente na configuração contrastiva. Em alguns casos, o ajuste fino aumentou as disparidades para outros traços (por exemplo, Inteligência, Cortesia) quando os modelos foram forçados a comparar dialetos diretamente. O desviés baseado em prompts mostrou resultados mistos e foi menos confiável devido à sensibilidade à formulação do prompt.

Significado e Contribuições
O artigo faz quatro contribuições principais:

1. Amplificação Contrastiva: Demonstra que o viés dialetal covert não é estático, mas é dinamicamente amplificado quando os modelos realizam julgamentos comparativos, uma percepção crítica para aplicações do mundo real envolvendo classificação ou seleção.
2. Comparação Overt vs. Covert: Fornece uma comparação direta mostrando que pistas dialetais overt não mitigam o viés, mas frequentemente o intensificam, desafiando a eficácia das atuais estratégias de alinhamento de segurança no manuseio de pistas explícitas de identidade.
3. Estrutura de Avaliação: Destaca que configurações de avaliação padrão (prompting absoluto) podem subestimar significativamente a gravidade do viés dialetal, tornando necessária a inclusão de testes contrastivos em auditorias de justiça.
4. Desafios de Mitigação: Revela que, embora o ajuste fino de justiça contrafactual possa reduzir o viés agregado, ele é insuficiente para garantir justiça consistente em todos os traços e contextos de avaliação, particularmente em cenários comparativos de alto risco.

Os autores concluem que o viés dialetal permanece um problema não resolvido nos LLMs, com estratégias de mitigação existentes falhando em abordar os efeitos de amplificação inerentes à tomada de decisão contrastiva. Eles defendem estruturas de avaliação mais robustas que levem em conta essas dinâmicas comparativas para prevenir o reforço de desigualdades estruturais em sistemas automatizados.