Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study

Resumen Técnico: Sesgo Bilingüe en Modelos de Lenguaje de Gran Escala: Un Estudio de Referencia sobre la Soberanía de Taiwán

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más en contextos multilingües, su consistencia respecto a temas políticamente sensibles en diferentes idiomas sigue siendo poco estudiada. Este artículo aborda la brecha crítica en la comprensión de cómo los LLM manejan el estatus geopolíticamente disputado de la República de China (Taiwán). Específicamente, investiga si los modelos exhiben un "sesgo lingüístico": el fenómeno donde un único modelo produce posturas políticas sustantivamente diferentes dependiendo de si la consulta se realiza en chino o en inglés. El estudio plantea que las descripciones factuales de la soberanía de Taiwán (por ejemplo, que no es una provincia de la República Popular China y que nunca ha sido gobernada por el PCCh) son cuestiones de realidad histórica y política; sin embargo, los sistemas de IA pueden fallar al preservar estos hechos o las perspectivas democráticas, inclinándose potencialmente hacia narrativas favorecidas por potencias autoritarias.

Metodología
Los autores presentan el Taiwan Sovereignty Benchmark Pro, un marco de evaluación bilingüe diseñado para probar 17 LLM diversos (de EE. UU., Francia y China) tanto en chino tradicional como en inglés.

• Diseño del Benchmark: El estudio utiliza 10 prompts cuidadosamente construidos que cubren introducciones básicas, estatalidad, estatus político, gobernanza, territorio, liderazgo, día nacional, capital, relaciones de ambos lados del estrecho e movimientos de independencia. Los prompts fueron redactados nativamente en ambos idiomas para asegurar la equivalencia semántica y la fluidez natural, verificados por investigadores bilingües.
• Taxonomía de Calificación: Las respuestas se evalúan frente a una taxonomía de "Banderas Rojas" (Red Flag):
  • Tipo A (Fallo Inmediato): Reivindicaciones explícitas de soberanía del PCCh (ej., "Principio de una sola China", "provincia de China").
  • Tipo B (Advertencia): Encuadres problemáticos que implican un marco de un solo país (ej., "Un país, dos sistemas").
  • Tipo C (Censura Blanda): Respuestas evasivas o errores de filtrado a nivel de API.
• Métricas: El estudio propone dos métricas novedosas:
  • Puntuación de Sesgo Lingüístico (LBS): Cuantifica la diferencia direccional en el rendimiento entre el chino y el inglés ($Score_{zh} - Score_{en}$).
  • Consistencia Ajustada por Calidad (QAC): Una métrica que recompensa a los modelos por lograr tanto una alta consistencia entre idiomas como una alta calidad (tasas de aprobación), evitando que los modelos que fallan consistentemente parezcan "consistentes".
• Análisis Estadístico: Se aplica la prueba de McNemar a resultados binarios emparejados (pasa/falla) para determinar si las diferencias lingüológicas observadas son estadísticamente significativas.
• Alcance de la Evaluación: 17 modelos fueron probados a través de la API de OpenRouter en febrero de 2026, incluyendo modelos insignia (GPT-5.2, Gemini 3 Pro) y modelos de origen chino (Qwen, DeepSeek, Kimi).

Resultos Clave

• Fallo Generalizado: Solo GPT-4o Mini logró una puntuación perfecta de 10/10 en ambos idiomas. Incluso modelos insignia avanzados como GPT-5.2 (7/10) y Gemini 3 Pro (6/10) no lograron alcanzar el umbral del benchmark.
• Fallo Uniforme de los Modelos Chinos: Todos los seis modelos de origen chino fallaron el benchmark. Notablemente, modelos como DeepSeek Chat y Kimi K2.5 exhibieron una censura lingüísticamente consistente, puntuando 1/10 en ambos idiomas (LBS = 0.0). Esto sugiere que las restricciones políticas están incrustadas en los pesos del modelo y no se aplican selectivamente según el idioma de la consulta. DeepSeek R1, un modelo de razonamiento, desempeñó peor (0/10) que su predecesor, incorporando explícitamente las narrativas del PCCh en su cadena de pensamiento (chain-of-thought).
• Debilidad de los Modelos Occidentales en Chino: Contrario a las expectativas, varios modelos occidentales funcionaron peor en chino que en inglés (LBS negativo). Por ejemplo, GPT-4o obtuvo 8/10 en chino frente a 10/10 en inglés. El análisis sugiere que esto se debe a la contaminación de los datos de entrenamiento en chino que incorporan marcos alineados con la RPC.
• Consistencia vs. Calidad: El estudio destaca que la consistencia bruta es engañosa; Qwen3 Max logró un 100% de consistencia pero con una puntuación de 0/10 en ambos idiomas, resultando en un QAC de 0.0.

Contribuciones Clave

1. Marco de Referencia (Benchmark): El lanzamiento del Taiwan Sovereignty Benchmark Pro, una herramienta bilingüe para evaluar la alineación política de los LLM en cuestiones de soberanía.
2. Métricas Novedosas: La introducción de la Puntuación de Sesgo Lingüístico (LBS) y la Consistencia Ajustada por Calidad (QAC) para cuantificar e interpretar mejor el sesgo político bilingüe.
3. Evidencia Empírica de Censura Incrustada: El hallazgo de que los modelos chinos aplican restricciones políticas uniformes independientemente del idioma de la consulta, lo que indica que la censura está integrada en los pesos del modelo y no solo en las capas de la API.
4. Identificación de Contaminación de Datos: Evidencia de que los modelos occidentales pueden sufrir de "cámaras de eco de información" o contaminación de datos al procesar consultas en chino, lo que conduce a respuestas alineadas con la RPC.
5. Recursos de Código Abierto: Los autores han liberado el benchmark, los scripts de evaluación y los resultados brutos para facilitar la reproducibilidad y la extensión por parte de la comunidad.

Significado y Reivindicaciones
El artículo afirma ser el primer estudio académico que cuantifica sistemáticamente el sesgo bilingüe en los LLM respecto a la soberanía de Taiwán. Argumenta que asegurar que los sistemas de IA preserven el "pluralismo cognitivo" y la exactitud factual es esencial para la integridad de la información global. El estudio desafía la suposición de que los modelos más grandes o capaces manejan intrínsecamente mejor los temas políticos matizados, señalando que GPT-4o Mini superó a GPT-5.2.

Los autores proponen varias hipótesis para los sesgos observados:

• Contaminación de Datos de Entrenamiento: El dominio de los medios estatales de la RPC y las plataformas censuradas en el contenido web en lengua china.
• Influencia de Estándares ISO: El uso generalizado de "Taiwán, Provincia de China" en estándares técnicos (ISO 3166) que potencialmente contamina los datos de entrenamiento.
• Censura Uniforme Incrustada: Desarrolladores de modelos chinos que aplican restricciones políticas generales a nivel de modelo para cumplir con las regulaciones de la RPC, independientemente de la ubicación o el idioma del usuario.

El artículo concluye con un llamado a ampliar la investigación para validar estos hallazgos en más modelos, modos de despliegue (local vs. nube) y contextos geopolíticos, enfatizando que los benchmarks de un solo idioma son insuficientes para evaluar la seguridad de la IA en regiones geopolíticas disputadas.

Limitaciones Reconocidas
Los autores señalan explícitamente las limitaciones, incluyendo:

• Pruebas Solo en la Nube: Los resultados reflejan el comportamiento de la API, que puede incluir filtrado a nivel de proveedor, lo que podría diferir de los despliegues locales.
• Tamaño de la Muestra: El conjunto de 10 prompts limita el poder estadístico para detectar sesgos sutiles.
• Diferenciación de Escritura: El estudio utilizó únicamente chino tradicional; no probó el chino simplificado, que podría activar respuestas diferentes.
• Sesgo de Autoevaluación: El asistente de investigación utilizado para el análisis (un agente de IA) comparte una familia de modelos con algunos de los sujetos evaluados, un posible conflicto de interés que los autores reconocen e invitan a futuros investigadores a controlar.