Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study

Resumo Técnico: Viés Bilíngue em Grandes Modelos de Linguagem: Um Estudo de Referência sobre a Soberania de Taiwan

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implementados em contextos multilíngues, sua consistência em relação a tópicos politicamente sensíveis em diferentes idiomas permanece subestudada. Este artigo aborda a lacuna crítica na compreensão de como os LLMs lidam com o status geopolítico contestado da República da China (Taiwan). Especificamente, investiga se os modelos exibem "viés de linguagem" — o fenômeno onde um único modelo produz posturas políticas substantivamente diferentes dependendo de se a consulta é feita em chinês ou inglês. O estudo postula que as descrições factuais da soberania de Taiwan (por exemplo, que não é uma província da República Popular da China e nunca foi governada pelo PCC) são questões de realidade histórica e política, mas os sistemas de IA podem falhar em preservar esses fatos ou perspectivas democráticas, potencialmente inclinando-se para narrativas favorecidas por potências autoritárias.

Metodologia
Os autores introduzem o Taiwan Sovereignty Benchmark Pro, uma estrutura de avaliação bilíngue projetada para testar 17 LLMs diversos (dos EUA, França e China) tanto em chinês tradicional quanto em inglês.

• Design do Benchmark: O estudo utiliza 10 prompts cuidadosamente construídos que cobrem introduções básicas, estado, status político, governança, território, liderança, dia nacional, capital, relações entre os dois lados do estreito e movimentos de independência. Os prompts foram redigidos nativamente em ambos os idiomas para garantir equivalência semântica e fraseologia natural, verificados por pesquisadores bilíngues.
• Taxonomia de Pontuação: As respostas são avaliadas contra uma taxonomia de "Bandeira Vermelha" (Red Flag):
  • Tipo A (Falha Imediata): Alegações explícitas de soberania do PCC (ex: "Princípio de uma só China", "província da China").
  • Tipo B (Aviso): Enquadramentos problemáticos que implicam um framework de um único país (ex: "Um País, Dois Sistemas").
  • Tipo C (Censura Suave): Respostas evasivas ou erros de filtragem ao nível de API.
• Métricas: O estudo propõe duas métricas inovadoras:
  • Pontuação de Viés de Linguagem (LBS): Quantifica a diferença direcional no desempenho entre chinês e inglês ($Score_{zh} - Score_{en}$).
  • Consistência Ajustada pela Qualidade (QAC): Uma métrica que recompensa os modelos por alcançarem tanto alta consistência entre idiomas quanto alta qualidade (taxas de aprovação), evitando que modelos que falham consistentemente pareçam "consistentes".
• Análise Estatística: O teste de McNemar é aplicado a resultados binários pareados (passar/falhar) para determinar se as diferenças de linguagem observadas são estatisticamente significativas.
• Escopo de Avaliação: 17 modelos foram testados via API OpenRouter em fevereiro de 2026, incluindo modelos de ponta (GPT-5.2, Gemini 3 Pro) e modelos de origem chinesa (Qwen, DeepSeek, Kimi).

Principais Resultados

• Falha Generalizada: Apenas o GPT-4o Mini alcançou uma pontuação perfeita de 10/10 em ambos os idiomas. Mesmo modelos avançados de ponta como o GPT-5.2 (7/10) e o Gemini 3 Pro (6/10) falharam em atingir o limite do benchmark.
• Falha Uniforme de Modelos Chineses: Todos os seis modelos de origem chinesa falharam no benchmark. Notavelmente, modelos como DeepSeek Chat e Kimi K2.5 exibiram uma censura consistente de linguagem, pontuando 1/10 em ambos os idiomas (LBS = 0.0). Isso sugere que as restrições políticas estão incorporadas no nível dos pesos do modelo, e não aplicadas seletivamente com base no idioma da consulta. O DeepSeek R1, um modelo de raciocínio, teve um desempenho pior (0/10) do que seu predecessor, incorporando explicitamente as narrativas do PCC em seu raciocínio de cadeia de pensamento (chain-of-thought).
• Fraqueza de Modelos Ocidentais no Chinês: Contrário às expectativas, vários modelos ocidentais tiveram um desempenho pior em chinês do que em inglês (LBS negativo). Por exemplo, o GPT-4o pontuou 8/10 em chinês versus 10/10 em inglês. A análise sugere que isso se deve à contaminação de dados de treinamento em língua chinesa que incorpora enquadramentos alinhados à RPC.
• Consistência vs. Qualidade: O estudo destaca que a consistência bruta é enganosa; o Qwen3 Max alcançou 100% de consistência, mas com uma pontuação de 0/10 em ambos os idiomas, resultando em um QAC de 0.0.

Principais Contribuições

1. Estrutura de Benchmark: O lançamento do Taiwan Sovereignty Benchmark Pro, uma ferramenta bilíngue para avaliar o alinhamento político de LLMs em questões de soberania.
2. Métricas Inovadoras: A introdução da Pontuação de Viés de Linguagem (LBS) e da Consistência Ajustada pela Qualidade (QAC) para quantificar e interpretar melhor o viés político bilíngue.
3. Evidência Empírica de Censura Incorporada: A descoberta de que modelos chineses aplicam restrições políticas uniformes independentemente do idioma da consulta, indicando que a censura está integrada nos pesos do modelo, e não apenas nas camadas de API.
4. Identificação de Contaminação de Treinamento: Evidência de que modelos ocidentais podem sofrer de "bolhas de informação" ou contaminação de dados ao processar consultas em chinês, levando a respostas alinhadas à RPC.
5. Recursos de Código Aberto: Os autores disponibilizaram abertamente os prompts do benchmark, scripts de avaliação e resultados brutos para facilitar a reprodutibilidade e extensão pela comunidade.

Significância e Alegações
O artigo afirma ser o primeiro estudo acadêmico a quantificar sistematicamente o viés bilíngue em LLMs em relação à soberania de Taiwan. Argumenta-se que garantir que os sistemas de IA preservem o "pluralismo cognitivo" e a precisão factual é essencial para a integridade da informação global. O estudo desafia a suposição de que modelos maiores ou mais capazes lidam inerentemente melhor com tópicos políticos sutis, observando que o GPT-4o Mini superou o GPT-5.2.

Os autores propõem várias hipóteses para os vieses observados:

• Contaminação de Dados de Treinamento: A dominância de mídia estatal da RPC e plataformas censuradas no conteúdo da web em língua chinesa.
• Influência de Padrões ISO: O uso generalizado de "Taiwan, Província da China" em padrões técnicos (ISO 3166) potencialmente contaminando os dados de treinamento.
• Censura Uniforme Incorporada: Desenvolvedores de modelos chineses aplicando restrições políticas abrangentes no nível do modelo para cumprir as regulamentações da RPC, independentemente da localização ou idioma do usuário.

O artigo conclui com um chamado para expandir a pesquisa para validar essas descobertas em mais modelos, modos de implantação (local vs. nuvem) e contextos geopolíticos, enfatizando que benchmarks de idioma único são insuficientes para avaliar a segurança da IA em regiões geopolíticas contestadas.

Limitações Reconhecidas
Os autores explicitamente notam limitações, incluindo:

• Testes Apenas em Nuvem: Os resultados refletem o comportamento da API, que pode incluir filtragem ao nível do provedor, podendo diferir de implantações locais.
• Tamanho da Amostra: O conjunto de 10 prompts limita o poder estatístico para detectar vieses sutis.
• Diferenciação de Escrita: O estudo utilizou apenas Chinês Tradicional; não testou o Chinês Simplificado, que pode desencadear respostas diferentes.
• Viés de Autoavaliação: O assistente de pesquisa usado para a análise (um agente de IA) compartilha uma família de modelos com alguns dos sujeitos avaliados, um potencial conflito de interesses que os autores reconhecem e convidam pesquisadores futuros a controlar.