💬 NLP

The Digital Afterlife of Empires: Four Language Models Converge on the Same Imperial Cartography of Writing

Este artigo argumenta que desigualdades imperiais históricas persistem em modelos de linguagem de grande escala contemporâneos através de dados de treinamento compartilhados, resultando em um subsuporte digital radical para a maioria dos sistemas de escrita e erros sistemáticos e convergentes através de diversas arquiteturas de modelos que atribuem desproporcionalmente escritas não religiosas ao uso religioso.

Autores originais: Hiroki Fukui

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hiroki Fukui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Fantasma na Máquina

Imagine que a história é uma biblioteca gigante. Durante 500 anos, impérios poderosos (como Espanha, Grã-Bretanha ou França) decidiram quais livros guardar, quais queimar e em quais línguas escrever. Eles destruíram muitos sistemas de escrita locais e forçaram outros a mudar.

Este artigo argumenta que os Modelos de Linguagem de Grande Escala (LLMs) — os cérebros de IA por trás de ferramentas como o ChatGPT — não são invenções novas e neutras. Em vez disso, eles são como fantasmas assombrando uma biblioteca construída por esses impérios. Mesmo que os impérios tenham partido, seus "fantasmas" ainda estão no edifício. A IA não sabe ler certas línguas não porque os engenheiros foram maldosos, mas porque a biblioteca (os dados da internet) da qual ela aprendeu está com falta desses livros.

As Principais Descobertas, Divididas

1. O "Imposto Digital" (Por que algumas línguas custam mais)

Imagine que você vai a um pedágio para entrar em uma rodovia.

Falantes de inglês pagam US$ 1 para dirigir 10 milhas.
Falantes de línguas minoritárias (como Limbu ou Adlam) são cobrados em US$ 31,70 para dirigir exatamente as mesmas 10 milhas.

Por quê? A IA divide o texto em pequenos pedaços chamados "tokens" (como peças de Lego).

Para o inglês, a IA tem uma caixa enorme de peças de Lego pré-fabricadas. Ela as encaixa facilmente.
Para escritas minoritárias, a IA não tem as peças certas. Ela tem que quebrar as letras em bytes brutos e sem sentido (como esmagar as peças de Lego em pó de plástico e tentar reconstruí-las do zero).
O Resultado: Leva 31 vezes mais "esforço computacional" para processar uma frase em Limbu do que em inglês. Isso não é um erro; é um "imposto" embutido no sistema porque essas línguas foram historicamente suprimidas e possuem menos dados na internet.

2. O "Funil Digital" (Quem consegue ser ouvido)

Os pesquisadores analisaram 300 sistemas de escrita diferentes da história humana. Eles tentaram ver quão bem o mundo digital os suporta.

O Funil: Imagine um funil gigante.
- Topo: 300 escritas entram.
- Meio: Muitas ficam presas porque não estão no dicionário do computador (Unicode) ou não podem ser lidas por scanners (OCR).
- Base: Apenas 29 escritas (menos de 10%) conseguem passar por todo o funil até o fim.
O Padrão: As escritas que conseguem passar são quase exclusivamente aquelas usadas pelos impérios históricos (Latim, Chinês, Árabe, Cirílico). As escritas que ficam presas são aquelas que os impérios tentaram apagar.
A Tragédia: 60 línguas ainda são faladas por pessoas vivas hoje, mas o mundo digital as trata como se estivessem mortas. Elas são "vivas, mas digitalmente mortas".

3. O Experimento dos "Quatro Amigos" (Não é apenas uma IA)

Para provar que isso não era apenas um erro de uma única empresa (como a OpenAI), os pesquisadores fizeram as quatro famílias de IA diferentes (Claude, GPT-4o, Grok e DeepSeek) as mesmas 3.000 perguntas sobre sistemas de escrita.

A Surpresa: Essas quatro IAs são construídas por empresas diferentes, em países diferentes, com códigos diferentes. Elas não deveriam concordar em seus erros.
A Realidade: Elas concordaram em seus erros 90% das vezes.
A Analogia: Imagine quatro alunos que foram para quatro escolas diferentes. Se todos dão a mesma resposta errada em uma prova de história, não é porque copiaram uns aos outros. É porque todos leram o mesmo livro didático tendencioso.
O Viés: As IAs consistentemente erraram da mesma forma. Por exemplo, se uma escrita era de um país não ocidental, as IAs tinham muita probabilidade de adivinhar: "Ah, isso deve ser usado para religião", mesmo quando não era. Elas estavam preenchendo as lacunas com estereótipos encontrados nos dados.

4. O "Império Sem um Imperador"

A descoberta mais importante é que ninguém está no comando deste viés atualmente.

Os engenheiros não sentaram e disseram: "Vamos fazer os falantes de Limbu pagarem mais".
O viés é estrutural. Aconteceu assim:
1. Impérios destruíram comunidades e reduziram o número de falantes.
2. Menos falantes significaram menos livros e sites escritos nessas línguas.
3. Menos sites significaram que a IA não tinha dados para aprender.
4. Sem dados, a IA é ruim nesse idioma.
O "Império" não precisa mais de um líder. O dano está incorporado nas estatísticas. A IA está apenas fazendo matemática baseada em um mundo que já era desigual.

O Erro da "Religião"

Uma descoberta específica se destacou: as IAs estavam obcecadas em adivinhar que as escritas eram "religiosas".

De todos os erros que as quatro IAs cometeram juntas, 43% foram sobre adivinhar que uma escrita era usada para religião quando não era.
Por quê? A internet está cheia de descrições de era colonial sobre culturas não ocidentais que focavam pesadamente em seus aspectos "místicos" ou "religiosos", ignorando seus usos diários, administrativos ou científicos. A IA aprendeu que "Escrita Não Ocidental = Religião".

A Conclusão: O Que Pode Ser Feito?

O artigo sugere que não podemos apenas "consertar" a IA ajustando seu código.

O Problema: O problema é a biblioteca (os dados de treinamento), não o leitor (a IA).
A Solução: Para consertar isso, precisamos mudar a biblioteca. Precisamos adicionar mais livros escritos pelas pessoas que falam essas línguas, em seus próprios sistemas de escrita, descrevendo suas próprias vidas.
O Aviso: Até que façamos isso, a IA continuará sendo um espelho dos últimos 500 anos de história, refletindo as mesmas desigualdades, mesmo que ninguém tenha tido a intenção de que isso acontecesse.

Em resumo: A IA não está quebrada; ela está apenas repetindo fielmente a história de quem teve permissão para escrever e quem foi silenciado. O "pós-vida digital" dos impérios ainda está muito vivo.

Resumo Técnico: O Além-Vida Digital dos Impérios

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) processam os sistemas de escrita do mundo com uma desigualdade radical. Enquanto os sistemas de escrita de impérios históricos (ex: latim, cirílico, árabe) são processados de forma eficiente, os sistemas de comunidades colonizadas ou marginalizadas sofrem de uma significativa exclusão digital. Este artigo investiga se a infraestrutura digital contemporânea e os LLMs reproduzem as desigualdades estruturais infligidas pelos impérios históricos. Especificamente, questiona-se se os "relógios culturais quebrados" dos sistemas de escrita — documentados em um estudo complementar (Fukui, 2026) como desvios estruturais causados pela intervenção imperial — persistem no espaço latente dos modelos de linguagem modernos através do corpus de treinamento compartilhado, em vez de por meio de escolhas específicas de design arquitetônico.

Metodologia
O estudo constrói o Índice de Representação de Escrita Digital (DSRI), um instrumento de sete eixos aplicado ao Banco de Dados Global de Escritas (GSD), que cataloga 300 sistemas de escrita ao longo de 43.000 anos de história. O DSRI mede a presença digital através de:

Razão de Eficiência de Token (TER): O número de tokens necessários para representar um agrupamento de grafemas em relação a uma base de referência latina, medido através de quatro tokenizadores (tiktoken, Mistral, Qwen, Phi-4) usando textos paralelos (UDHR, Bíblia) e corpora da Wikipedia.
Cobertura Unicode: Status de codificação, intervalos de codepoints e versionamento.
Volume de Corpus Web: Derivado da contagem de artigos da Wikipedia e contagem de bytes do corpus CC-100.
Fidelidade de Geração de LLM: Precisão ao responder a 10 questões tipológicas binárias (ex: direcionalidade, uso religioso) contra a verdade fundamental do GSD.
Suporte de OCR: Taxas de erro de caractere entre Tesseract, Google Cloud Vision e Azure.
Cobertura de Tradução Automática: Suporte binário através de Google, NLLB-200 e DeepL.
Disponibilidade de Método de Entrada: Suporte nativo de teclado/IME em iOS, Android, Windows e macOS.

Para abordar a circularidade de usar um único LLM como instrumento e objeto simultaneamente, o estudo emprega um protocolo de validação cross-arquitetura. Quatro famílias independentes de LLM (Claude Haiku 4.5, GPT-4o, Grok-3-mini, DeepSeek-V3) foram consultadas com 3.000 prompts tipológicos idênticos (300 escritas × 10 características), gerando 12.000 respostas.

As análises estatísticas incluem:

Modelagem de Mediação Serial: Testando o caminho Intervenção Imperial → População de Falantes → Volume de Corpus Web → Eficiência do Tokenizador.
Modelagem de Equações Estruturais (SEM): Avaliando o ajuste do modelo em $n=45$ (o limite de escritas com texto paralelo mensurável).
Análise de Convergência: Calculando correlações de Spearman dos desvios de erro (taxas de falso-positivo e falso-negativo) entre pares de modelos para identificar vieses independentes de arquitetura.
Testes de Sensibilidade: Excluindo a característica "usado para religião" para testar se a convergência é impulsionada por uma única codificação de verdade fundamental contestada.

Resultados Principais

Funil de Exclusão Digital: Apenas 29 de 300 escritas (9,7%) são totalmente suportadas pela infraestrutura digital contemporânea. Entre 158 escritas vivas, 60 (38,0%) carecem de suporte completo. A exclusão segue uma geografia colonial, com escritas da África, Sul/Sudeste Asiático e Oceania desproporcionalmente afetadas.
O "Imposto Digital": A eficiência do tokenizador varia por um fator de 31,7 entre 45 escritas medidas (base latina = 1,0; Limbu = 31,7×). Essa disparidade é consistente entre quatro tokenizadores independentes, indicando uma causa estrutural em vez de específica de implementação. As escritas com os maiores custos de token frequentemente carecem de corpora web em linguagem natural (ex: ausência de parágrafos na Wikipedia), agravando a exclusão.
Mediação Causal: A relação entre intervenção imperial e ineficiência de tokenização é totalmente mediada pela população de falantes e pelo volume de corpus web. O efeito direto do império sobre a tokenização é indistinguível de zero ( $\beta = -0,22, p = 0,39$ ). O modelo de equações estruturais atinge um ajuste quase perfeito em $n=45$ (CFI = 1,01, RMSEA = 0,00), com a presença digital contribuindo com um $\Delta R^2$ incremental de 0,366.
Convergência Cross-Arquitetura: Quatro LLMs independentes exibem padrões de erro altamente correlacionados ( $\rho = 0,85–0,98$ ) quando desviam das expectativas de taxa base. Essa convergência persiste mesmo quando a característica "religião" é excluída, sugerindo que o viés é externo a qualquer modelo individual e reside no substrato textual compartilhado.
Erros Unânimes: Todos os quatro modelos respondem 172 itens de característica-escrita incorretamente de forma idêntica. A sobre-atribuição (atribuir uma característica não presente) supera o sub-reconhecimento em uma razão de 3,9:1. A característica "usado para religião" concentra 43,6% desses erros. Quando excluída, a assimetria persiste em 1,77:1 ( $p=0,008$ ), indicando um viés multicanal onde escritas não ocidentais são sistematicamente mapeadas em templates de origens "antigas", "pictográficas" ou "religiosas".
Duas Feridas Independentes: O estudo encontra uma independência estatística entre a interrupção estrutural das escritas (desvio do relógio molecular) e a destruição demográfica das comunidades usuárias de escrita (status de byte-fallback). Os impérios infligem ambos: alterando a forma da escrita e destruindo a comunidade que a utiliza.

Significância e Alegações
O artigo argumenta que o "império" não requer um imperador para reproduzir sua violência na era digital. As desigualdades estruturais da história colonial sedimentaram-se na distribuição estatística da web global. Como os LLMs são treinados nesse corpus, eles herdam e reproduzem esses vieses com "fidelidade matemática", independentemente de sua arquitetura específica ou da organização que os construiu.

As descobertas desafiam a noção de que o viés é resultado de escolhas específicas de design de modelo ou procedimentos de alinhamento. Em vez disso, o artigo postula que a assimilação computacional — a sobre-atribuição sistemática de características de escritas majoritárias para escritas minoritárias — é uma propriedade do próprio substrato textual. A convergência de quatro modelos independentes sugere que a "cartografia imperial da escrita" está codificada nos dados, não nos algoritmos.

Os autores enquadram modestamente os resultados de mediação causal como "sugestivos em vez de confirmatórios" devido à fragilidade estatística na margem (o intervalo bootstrap BCa toca o zero), reconhecendo que o $n=45$ é um "horizonte" imposto pela própria exclusão digital, e não uma limitação de amostragem aleatória. No entanto, a convergência cross-arquitetura fornece evidência robusta e independente de que o viés é estrutural e upstream dos modelos.

O artigo conclui que a remediação não pode ser alcançada através do ajuste fino (fine-tuning) de modelos individuais. Como o viés está localizado no corpus, as intervenções devem ser upstream: expandindo os tokenizadores para incluir todos os sistemas de escrita Unicode, corrigindo a alocação de vocabulário baseada em frequência e, mais criticamente, abordando o dano demográfico e institucional infligido pelos impérios que deixaram essas comunidades sem uma voz digital. O "além-vida digital dos impérios" é preservado não pela malícia, mas pelo método de aprendizado baseado em frequência sobre um corpus não neutro.