💬 NLP

Do Chinese models speak Chinese languages?

Este estudo revela que, apesar da paisagem linguística diversificada da China, seus principais LLMs de pesos abertos exibem perfis de desempenho multilíngue notavelmente semelhantes aos modelos ocidentais — destacando-se em idiomas globais majoritários como mandarim, francês e alemão, enquanto frequentemente falham em suportar idiomas minoritários como cazaque e uigur — sugerindo que as práticas de avaliação global e os recursos de treinamento compartilhados estão impulsionando uma homogeneização das capacidades linguísticas em detrimento de prioridades localizadas.

Autores originais: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da Inteligência Artificial como uma competição de culinária massiva e global. Chefes (desenvolvedores de modelos) de diferentes países estão tentando criar o "Caldeirão Universal de Línguas" definitivo, capaz de entender e falar todas as línguas da Terra.

Este artigo faz uma pergunta específica: Os chefs da China, que possuem uma cozinha repleta de ingredientes locais diversos, realmente cozinham com eles? Ou simplesmente seguem a mesma receita dos chefs dos EUA e da Europa?

Aqui está a análise de suas descobertas, usando analogias simples:

1. O Cenário: Uma Cozinha Diversa vs. Um Menu Global

A China é como uma cozinha massiva com 1,4 bilhão de pessoas falando mandarim, além de centenas de outros dialetos locais e línguas minoritárias (como uigur, tibetano e cazaque). Esperar-se-ia que os chefs chineses tivessem uma vantagem especial: acesso fácil a esses ingredientes locais.

No entanto, há um detalhe. Para vencer a competição e ganhar fama global, os chefs são julgados por um painel de críticos que falam principalmente inglês e utilizam planilhas de avaliação baseadas em inglês (benchmarks). Se quiser ser reconhecido como um chef de topo, precisa fazer seu prato agradar a esses juízes de língua inglesa.

2. O Experimento: Provando os Pratos

Os pesquisadores provaram pratos de 6 chefs chineses (como Qwen, Yi e DeepSeek) e 4 chefs ocidentais (como Llama e Mistral). Eles os testaram em 21 "línguas" diferentes, variando de principais como francês e alemão a línguas minoritárias locais da China.

Usaram três maneiras diferentes de provar a comida:

O Teste de Tradução: O modelo consegue traduzir uma frase do inglês para outra língua sem perder o sabor (significado)?
O Teste de Leitura: O modelo consegue ler uma história em uma língua estrangeira e responder perguntas sobre ela corretamente?
O Jogo dos Nomes: O modelo consegue olhar para um texto e dizer corretamente: "Isso está escrito em cazaque" ou "Isso está escrito em tibetano"?

3. Os Resultados: A "Exceção do Mandarim"

Os resultados foram surpreendentemente uniformes, com uma grande exceção.

O Efeito "Clone": Para quase todas as línguas testadas (francês, alemão, japonês, coreano, etc.), os modelos chineses e os modelos ocidentais tiveram desempenho quase idêntico. É como se ambos os grupos de chefs estivessem seguindo exatamente o mesmo livro de receitas global. O artigo encontrou uma correlação de 93% entre eles. Se um modelo ocidental era bom em francês, o modelo chinês também era bom em francês. Se um modelo ocidental tinha dificuldade com uma língua minoritária, o modelo chinês tinha tanta dificuldade quanto.
O Superpoder do Mandarim: A única vez que os chefs chineses realmente superaram os ocidentais foi com o mandarim chinês. Por terem mais acesso a dados em mandarim e focarem nisso, seu "prato em mandarim" era significativamente mais saboroso que a versão dos chefs ocidentais.
O Ponto Cego das Línguas Minoritárias: Aqui está a parte triste. Apesar de terem acesso a ingredientes locais, os modelos chineses foram tão ruins quanto os modelos ocidentais no manuseio de línguas minoritárias chinesas (como uigur e cazaque). Na verdade, muitos modelos chineses nem conseguiam reconhecer que um texto estava escrito em uigur ou cazaque. Eles tratavam essas línguas locais como se não existissem, exatamente como os modelos ocidentais faziam.

4. Por Que Isso Aconteceu?

O artigo sugere duas razões principais:

A Pressão do "Placar Global": Para ficar famoso e conseguir financiamento, os desenvolvedores chineses estão obcecados em vencer benchmarks globais. Esses benchmarks são majoritariamente em inglês ou em línguas europeias principais. Assim, em vez de usar seu acesso único a dados locais chineses para construir um modelo verdadeiramente diverso, eles otimizaram seus modelos para parecerem bons no placar global.
A Política "Mandarim Primeiro": Embora a China tenha uma história de tentar proteger suas muitas línguas, políticas recentes focaram fortemente em fazer do mandarim a única língua unificadora para todo o país. Os desenvolvedores de IA parecem estar seguindo essa tendência: priorizam o mandarim (a "superlíngua") e ignoram o resto.

A Conclusão

O artigo conclui que, apesar de a China possuir uma paisagem linguística única e o potencial de construir um modelo que realmente fale com sua população diversa, os modelos chineses tornaram-se "homogeneizados".

Eles são essencialmente cópias carbonadas de modelos ocidentais, com uma pequena atualização: falam mandarim ligeiramente melhor. Não usaram sua posição única para salvar ou elevar as centenas de outras línguas faladas dentro das fronteiras da China. Em vez disso, todos estão cozinhando o mesmo prato global, deixando os sabores locais e minoritários na prateleira.

Resumo Técnico: Os modelos chineses falam línguas chinesas?

Declaração do Problema
O rápido desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) na China estabeleceu o país como uma força líder em IA. No entanto, existe uma tensão crítica para os desenvolvedores de modelos chineses: eles devem navegar no compromisso entre atender a uma população doméstica linguisticamente diversificada (falante de mandarim, centenas de dialetos e línguas minoritárias) e otimizar para benchmarks globalmente visíveis que são predominantemente em inglês. Embora a China tenha uma história de políticas linguísticas que variam do pluralismo à assimilação, e regulamentações recentes de IA enfatizem a diversidade de dados, permanece incerto se os LLMs de código aberto desenvolvidos na China priorizam a diversidade linguística local ou se alinham às pressões de benchmarking global. Especificamente, é desconhecido se os modelos chineses possuem capacidades superiores em mandarim e línguas minoritárias chinesas em comparação com modelos desenvolvidos no Ocidente, ou se exibem um perfil de desempenho multilíngue homogeneizado semelhante ao de seus pares ocidentais.

Metodologia
Os autores conduziram um estudo comparativo de 10 LLMs de pesos abertos: 6 desenvolvidos por organizações chinesas (Qwen2.5, Yi-1.5, variantes do DeepSeek-R1, InternLM3, Baichuan2) e 4 modelos desenvolvidos no Ocidente (Llama-3, Mistral, OLMo-2, Gemma-2). Todos os modelos foram restritos à escala de 7 a 9 bilhões de parâmetros para garantir uma comparação justa. O estudo avaliou o desempenho multilíngue em 21 variantes linguísticas, categorizadas em Chinês Mandarim, dialetos Han chineses, línguas minoritárias chinesas (Jingpho, Tibetano de Lhasa, Uigur, Mongol, Cazaque), línguas do nordeste asiático, do sudeste asiático e línguas europeias.

A avaliação utilizou três experimentos distintos:

Paridade de Informação (IP): Usando o benchmark de tradução automática FLORES+, os autores mediram a eficiência de representar informações em línguas-alvo em relação ao inglês. A IP é calculada como a razão entre a verossimilhança negativa (NLL) do texto de referência e a do texto-alvo.
Compreensão de Leitura Automática (MRC): Usando o conjunto de dados Belebele, os autores avaliaram a precisão de compreensão de leitura de múltipla escolha em zero-shot em 17 línguas.
Identificação de Língua: Usando o Corpus Multilíngue de Línguas Minoritárias na China (MC2), os autores testaram a capacidade dos modelos de identificar quatro línguas minoritárias chinesas específicas (Tibetano, Mongol, Cazaque, Uigur) a partir de amostras de texto.

Principais Contribuições

Teste de Hipóteses: O artigo propõe e testa quatro hipóteses sobre as prioridades dos desenvolvedores chineses: a Hipótese Nula (otimização de benchmark global leva à paridade com modelos ocidentais), a Hipótese do Mandarim (priorização apenas do mandarim), a Hipótese Pluralista (amplo suporte a todas as línguas locais) e a Hipótese Regional (suporte a principais línguas asiáticas).
Benchmarking Empírico: O estudo fornece uma comparação quantitativa granular de LLMs chineses e ocidentais em um conjunto diversificado de línguas, incluindo línguas minoritárias sub-representadas frequentemente omitidas em benchmarks padrão.
Análise de Políticas: O trabalho conecta métricas de desempenho técnico com políticas linguísticas históricas e atuais da China, analisando como incentivos políticos e econômicos moldam as prioridades de desenvolvimento de IA.

Resultados

Alta Correlação: O desempenho multilíngue de modelos desenvolvidos na China e no Ocidente está altamente correlacionado ( $r \approx 0,93$ para IP e $r \approx 0,99$ para MRC). Os perfis de desempenho são quase idênticos na maioria das categorias linguísticas, sugerindo que os modelos chineses não superam significativamente os modelos ocidentais em línguas locais não mandarim.
Superioridade do Mandarim: A única exceção a essa homogeneização é o Chinês Mandarim. Modelos desenvolvidos na China consistentemente superam seus pares ocidentais tanto em Paridade de Informação quanto em Compreensão de Leitura Automática para Mandarim (Simplificado e Tradicional).
Deficiências em Línguas Minoritárias: Contrariando a Hipótese Pluralista, os modelos chineses têm desempenho ruim em línguas minoritárias chinesas, frequentemente falhando em identificar línguas como Cazaque e Uigur. Seu desempenho nessas línguas é comparável, e às vezes pior, ao dos modelos ocidentais.
Desempenho Regional: Os modelos chineses têm bom desempenho em línguas europeias (francês, alemão) e principais línguas asiáticas (japonês, coreano), espelhando as forças dos modelos ocidentais em vez de mostrar vantagens regionais únicas.
Ajuste por Instrução: Modelos ajustados por instrução geralmente superam os modelos base, mas a lacuna de desempenho entre modelos chineses e ocidentais permanece consistente independentemente do ajuste.

Significado e Alegações
O artigo argumenta que a homogeneização observada no desempenho multilíngue indica que os desenvolvedores de modelos chineses estão otimizando principalmente para práticas de benchmarking global e recursos de treinamento compartilhados, em vez de atender às necessidades linguísticas específicas da população doméstica diversificada da China. Os resultados apoiam a Hipótese do Mandarim (modelos chineses são melhores em mandarim, mas não em outras línguas locais) e não rejeitam a Hipótese Nula (alta correlação com modelos ocidentais).

Os autores interpretam essas descobertas como evidência de que as pressões de benchmarking global e os recursos de dados compartilhados exercem uma "pressão normalizadora" sobre o treinamento de LLMs, levando a perfis de desempenho semelhantes em contextos políticos e culturais distintos. Isso sugere que o suporte linguístico atual em LLMs é resultado de priorização e compromissos, e não de um resultado inevitável do desenvolvimento. O artigo destaca as implicações para formuladores de políticas e desenvolvedores, observando que, sem intervenção específica, o movimento de "IA soberana" pode resultar em custos ambientais e homogeneização cultural sem entregar valor único para a diversidade linguística local. Os autores apelam para trabalhos futuros que investiguem os fatores estruturais e institucionais que impulsionam essas prioridades e explorem oportunidades para desenvolvedores alavancar o acesso exclusivo a dados locais para diferenciar seus modelos.