Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models

Resumo Técnico: Viés Estrutural em Favor do Inglês Americano em Modelos de Linguagem

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em domínios de alto risco (educação, direito, administração pública), mas frequentemente oferecem configurações de idioma limitadas, privilegiando quase exclusivamente o "Inglês (EUA)". Apesar da diversidade global e da história colonial da língua inglesa, a maioria das plataformas (como ChatGPT e Claude) não permite a seleção de outras variantes padrão, como o Inglês Britânico (BrE).

O artigo investiga como as histórias geopolíticas de curadoria de dados, domínio digital e padronização linguística moldam o pipeline de desenvolvimento de LLMs. A questão central é: qual variedade de inglês os LLMs preferem implicitamente? O estudo foca na assimetria entre o Inglês Americano (AmE) e o Inglês Britânico (BrE), argumentando que o AmE é tratado como a norma de facto, enquanto o BrE, embora institucionalizado em muitas ex-colônias e na UE, é marginalizado estruturalmente nos sistemas de IA. Isso levanta preocupações sobre homogeneização linguística e injustiça epistêmica.

2. Metodologia

Os autores propõem uma abordagem tripartida para rastrear o viés estrutural através de todo o pipeline de desenvolvimento do LLM, utilizando dois componentes principais:

• Corpus de Variantes Dialectais: Construção de um corpus curado com 1.813 pares de variantes lexicais paralelas (AmE vs. BrE), compilados manualmente a partir de fontes linguísticas autênticas. O corpus cobre ortografia (ex: color vs. colour), vocabulário (ex: elevator vs. lift), gramática e convenções de escrita.
• DIALIGN (Dialectal Alignment Score): Um método novo, dinâmico e livre de treinamento para estimar a alinhamento dialectal de um texto.
  • Funcionamento: O método extrai n-grams (2 a 5 palavras) do texto, consulta o corpus histórico do Google Books Ngram para obter frequências normalizadas do AmE e do BrE, e calcula uma divergência logarítmica.
  • Cálculo: Atribui pesos baseados na divergência de frequência e aplica um "boost" (aumento) para variantes lexicais específicas do dicionário curado. O resultado é uma probabilidade de alinhamento ($P_{AmE}$ e $P_{BrE}$).

A investigação é estruturada em três perguntas de pesquisa (RQs), triangulando evidências em três estágios:

1. RQ1 (Corpos de Pré-treinamento): Auditoria de seis grandes corpora de pré-treinamento (BookCorpus, Wikipedia, Common Crawl/C4, Falcon RefinedWeb, RedPajama, Dolma) para quantificar o desequilíbrio lexical e estrutural.
2. RQ2 (Tokenizadores): Análise de como tokenizadores regionais (EUA, Europa, China, Reino Unido, Emirados Árabes) codificam as variantes. A métrica utilizada é a fertilidade (número médio de subpalavras por palavra) e a granularidade (distribuição de comprimentos de token).
3. RQ3 (Geração): Avaliação das preferências de geração dos modelos em respostas a perguntas de domínio aberto (formal e informal), sob condições de prompt em "Inglês" e "Inglês Britânico".

3. Principais Contribuições

• Primeira Auditoria Sistêmica: É o primeiro estudo a examinar sistematicamente as assimetrias dialectais entre variedades padrão de inglês (AmE e BrE) através de todo o pipeline de LLM (dados, tokenização e geração).
• Método DIALIGN: Introdução de uma ferramenta de diagnóstico training-free para medir alinhamento dialectal baseada em evidências distribucionais, capaz de capturar nuances lexicais, gramaticais e estilísticas.
• Quadro Pós-Colonial: A análise é interpretada através de uma lente pós-colonial, conectando o viés técnico a histórias de poder geopolítico e dominação cultural, argumentando que o viés não é apenas um erro técnico, mas uma perpetuação de assimetrias sociopolíticas.
• Recurso Aberto: Disponibilização de um léxico curado de 1.813 pares de variantes para futuras pesquisas.

4. Resultados Chave

• RQ1: Viés nos Dados de Pré-treinamento:

  • Todos os seis corpora analisados mostram um desvio estatisticamente significativo em favor do AmE.
  • O viés é mais forte em variantes ortográficas (ex: color vs. colour), onde o AmE domina com margens superiores a 70%.
  • Diferenças de vocabulário também favorecem o AmE, embora de forma menos extrema. O DIALIGN confirma essa preferência estrutural em nível de corpus.

• RQ2: Ineficiência na Tokenização:

  • As formas do BrE exigem consistentemente mais tokens (subpalavras) do que suas contrapartes do AmE.
  • A "fertilidade" do BrE é maior em todos os modelos testados, indicando uma codificação menos eficiente.
  • O desvio é maior em diferenças de vocabulário (até 18,72% mais tokens para BrE) do que em ortografia.
  • Tokenizadores desenvolvidos fora dos EUA (como Mistral e DeepSeek) mostram uma cobertura ligeiramente melhor do BrE, mas o viés persiste. O StableLM (UK) espelha o GPT-4, sugerindo riscos de reutilização de tokenizadores sem adaptação regional.

• RQ3: Preferências de Geração:

  • O AmE é o padrão de geração dominante em todos os modelos, mesmo quando explicitamente solicitados a responder em "Inglês Britânico".
  • Em prompts padrão, a maioria dos modelos gera 65–80% de conteúdo em AmE.
  • Mesmo com prompts em "British English (en-GB)", a saída raramente cai abaixo de 40% de preferência pelo AmE.
  • Modelos dos EUA mostram a preferência mais forte pelo AmE. Modelos não-EUA e domínios informais (como ELI5) mostram uma ligeira maior adoção do BrE, mas o viés estrutural permanece.

5. Significado e Implicações

• Injustiça Epistêmica: Ao privilegiar o AmE como norma, os LLMs marginalizam comunidades linguísticas que utilizam o BrE como padrão institucional (ex: partes da Ásia, África, Commonwealth e instituições da UE), perpetuando uma visão de mundo hegemônica.
• Homogeneização Linguística: A tendência de padronização para o AmE ameaça a diversidade linguística global e pode degradar a experiência do usuário em contextos onde o BrE é esperado (educação, jornalismo, direito).
• Recomendações Técnicas:
  • Curadoria de Dados: Enriquecer corpora de pré-treinamento com dados de domínios específicos (ex: .uk, .in) e usar ferramentas como DIALIGN para validar a inclusão de dados sintéticos.
  • Design de Tokenizadores: Desenvolver vocabulários sensíveis ao dialecto, expandindo o vocabulário base para incluir tokens do BrE que estão faltando, reduzindo a fertilidade e melhorando a eficiência.
  • Avaliação: Incorporar testes de robustade dialectal nas métricas de avaliação de LLMs.

Em conclusão, o artigo demonstra que o viés em favor do Inglês Americano não é um acidente, mas uma característica estrutural enraizada na curadoria de dados, no design de tokenizadores e no comportamento de geração dos modelos, exigindo intervenções técnicas conscientes para promover uma IA mais inclusiva e globalmente justa.