💬 NLP

Do Chinese models speak Chinese languages?

Este estudio revela que, a pesar del diverso panorama lingüístico de China, sus principales LLM de pesos abiertos exhiben perfiles de rendimiento multilingüe sorprendentemente similares a los modelos occidentales, destacando en idiomas globales mayoritarios como el mandarín, el francés y el alemán, mientras que a menudo fallan en dar soporte a idiomas minoritarios como el kazajo y el uigur, lo que sugiere que las prácticas de evaluación comparativa global y los recursos de entrenamiento compartidos están impulsando una homogeneización de las capacidades lingüísticas en detrimento de la priorización local.

Autores originales: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Publicado 2026-05-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la Inteligencia Artificial como una competición de cocina masiva y global. Los chefs (desarrolladores de modelos) de diferentes países intentan crear la "Olla Universal de Lenguas" definitiva, capaz de entender y hablar todos los idiomas de la Tierra.

Este artículo plantea una pregunta específica: ¿Los chefs de China, que tienen una cocina llena de ingredientes locales diversos, realmente cocinan con ellos? ¿O simplemente siguen la misma receta que los chefs de Estados Unidos y Europa?

A continuación, se presenta el desglose de sus hallazgos, utilizando analogías sencillas:

1. La Configuración: Una Cocina Diversa vs. Un Menú Global

China es como una cocina masiva con 1.400 millones de personas que hablan mandarín, además de cientos de otros dialectos locales e idiomas minoritarios (como el uigur, el tibetano y el kazajo). Uno esperaría que los chefs chinos tuvieran una ventaja especial: tienen acceso fácil a estos ingredientes locales.

Sin embargo, hay un truco. Para ganar la competición y hacerse famosos a nivel mundial, los chefs son juzgados por un panel de críticos que principalmente hablan inglés y utilizan tarjetas de puntuación basadas en inglés (puntos de referencia). Si quieres ser reconocido como un chef de primer nivel, debes hacer que tu plato sepa excelente para estos jueces de habla inglesa.

2. El Experimento: Degustando los Platos

Los investigadores probaron platos de 6 chefs chinos (como Qwen, Yi y DeepSeek) y 4 chefs occidentales (como Llama y Mistral). Los probaron en 21 "idiomas" diferentes, que van desde los principales como el francés y el alemán hasta las lenguas minoritarias locales de China.

Utilizaron tres formas diferentes de probar la comida:

La Prueba de Traducción: ¿Puede el modelo traducir una oración del inglés a otro idioma sin perder el sabor (significado)?
La Prueba de Lectura: ¿Puede el modelo leer una historia en un idioma extranjero y responder preguntas sobre ella correctamente?
El Juego de Nombres: ¿Puede el modelo mirar un texto y decir correctamente: "Esto está escrito en kazajo" o "Esto está escrito en tibetano"?

3. Los Resultados: La "Excepción del Mandarín"

Los resultados fueron sorprendentemente uniformes, con una gran excepción.

El Efecto "Clon": Para casi todos los idiomas probados (francés, alemán, japonés, coreano, etc.), los modelos chinos y los modelos occidentales funcionaron casi idénticamente. Es como si ambos grupos de chefs estuvieran siguiendo exactamente el mismo libro de recetas global. El artículo encontró una correlación del 93% entre ellos. Si un modelo occidental era bueno en francés, el modelo chino también era bueno en francés. Si un modelo occidental tenía dificultades con un idioma minoritario, el modelo chino tenía dificultades exactamente igual.
El Superpoder del Mandarín: La única vez que los chefs chinos superaron realmente a los occidentales fue con el mandarín. Debido a que tenían más acceso a datos en mandarín y se centraron en ello, su "plato de mandarín" era significativamente más sabroso que la versión de los chefs occidentales.
El Punto Ciego de las Lenguas Minoritarias: Aquí está la parte triste. A pesar de tener acceso a ingredientes locales, los modelos chinos eran igualmente malos manejando las lenguas minoritarias chinas (como el uigur y el kazajo) que los modelos occidentales. De hecho, muchos modelos chinos ni siquiera podían reconocer que un texto estaba escrito en uigur o kazajo. Trataban estos idiomas locales como si no existieran, exactamente igual que lo hacían los modelos occidentales.

4. ¿Por Qué Sucedió Esto?

El artículo sugiere dos razones principales:

La Presión de la "Tarjeta de Puntuación Global": Para hacerse famosos y obtener financiación, los desarrolladores chinos están obsesionados con ganar los puntos de referencia globales. Estos puntos de referencia están mayoritariamente en inglés o en las principales lenguas europeas. Por lo tanto, en lugar de utilizar su acceso único a datos locales chinos para construir un modelo verdaderamente diverso, optimizaron sus modelos para que se vieran bien en la tabla de puntuación global.
La Política "Primero el Mandarín": Aunque China tiene una historia de intentar proteger sus muchos idiomas, las políticas recientes se han centrado fuertemente en hacer del mandarín el único idioma unificador para todo el país. Los desarrolladores de IA parecen estar siguiendo esta tendencia: priorizan el mandarín (el "superidioma") e ignoran el resto.

La Conclusión

El artículo concluye que, a pesar de que China tiene un paisaje lingüístico único y el potencial de construir un modelo que realmente hable con su población diversa, los modelos chinos se han "homogeneizado".

Son esencialmente copias exactas de los modelos occidentales, con una pequeña mejora: hablan mandarín ligeramente mejor. No han utilizado su posición única para salvar o elevar las cientos de otros idiomas hablados dentro de las fronteras de China. En cambio, todos están cocinando el mismo plato global, dejando los sabores locales y minoritarios en el estante.

Resumen Técnico: ¿Hablan los modelos chinos lenguas chinas?

Enunciado del Problema
El rápido desarrollo de los Modelos de Lenguaje Grande (LLM) en China ha establecido al país como una fuerza líder en IA. Sin embargo, existe una tensión crítica para los desarrolladores de modelos chinos: deben navegar el compromiso entre atender a una población doméstica lingüísticamente diversa (que habla mandarín, cientos de dialectos y lenguas minoritarias) y optimizarse para benchmarks globalmente visibles que son predominantemente en inglés. Aunque China tiene una historia de políticas lingüísticas que van desde el pluralismo hasta la asimilación, y las recientes regulaciones de IA enfatizan la diversidad de datos, no está claro si los LLM de código abierto desarrollados en China priorizan la diversidad lingüística local o se alinean con las presiones de la evaluación global. Específicamente, se desconoce si los modelos chinos poseen capacidades superiores en mandarín y lenguas minoritarias chinas en comparación con los modelos desarrollados en Occidente, o si exhiben un perfil de rendimiento multilingüe homogeneizado similar al de sus contrapartes occidentales.

Metodología
Los autores realizaron un estudio comparativo de 10 LLM de código abierto: 6 desarrollados por organizaciones chinas (Qwen2.5, Yi-1.5, variantes de DeepSeek-R1, InternLM3, Baichuan2) y 4 modelos desarrollados en Occidente (Llama-3, Mistral, OLMo-2, Gemma-2). Todos los modelos se restringieron a la escala de 7 a 9 mil millones de parámetros para garantizar una comparación justa. El estudio evaluó el rendimiento multilingüe en 21 variantes lingüísticas, categorizadas en chino mandarín, dialectos chinos han, lenguas minoritarias chinas (jingpo, tibetano de Lhasa, uigur, mongol, kazajo), lenguas del noreste asiático, del sudeste asiático y europeas.

La evaluación utilizó tres experimentos distintos:

Paridad de Información (IP): Utilizando el benchmark de traducción automática FLORES+, los autores midieron la eficiencia de representar información en lenguas objetivo en relación con el inglés. La IP se calcula como la relación entre la log-verosimilitud negativa (NLL) del texto de referencia y el texto objetivo.
Comprensión Lectora Automática (MRC): Utilizando el conjunto de datos Belebele, los autores evaluaron la precisión de la comprensión lectora de opción múltiple en cero disparos (zero-shot) en 17 lenguas.
Identificación de Lenguas: Utilizando el Corpus Multilingüe de Lenguas Minoritarias de China (MC2), los autores probaron la capacidad de los modelos para identificar cuatro lenguas minoritarias chinas específicas (tibetano, mongol, kazajo, uigur) a partir de muestras de texto.

Contribuciones Clave

Prueba de Hipótesis: El artículo propone y prueba cuatro hipótesis sobre las prioridades de los desarrolladores chinos: la Hipótesis Nula (la optimización de benchmarks globales conduce a la paridad con los modelos occidentales), la Hipótesis del Mandarín (priorización del mandarín únicamente), la Hipótesis Pluralista (apoyo amplio a todas las lenguas locales) y la Hipótesis Regional (apoyo a las principales lenguas asiáticas).
Evaluación Empírica: El estudio proporciona una comparación cuantitativa granular de LLM chinos y occidentales en un conjunto diverso de lenguas, incluidas lenguas minoritarias subrepresentadas a menudo omitidas en los benchmarks estándar.
Análisis de Políticas: El trabajo conecta las métricas de rendimiento técnico con las políticas lingüísticas históricas y actuales de China, analizando cómo los incentivos políticos y económicos dan forma a las prioridades de desarrollo de la IA.

Resultados

Alta Correlación: El rendimiento multilingüe de los modelos desarrollados en China y los desarrollados en Occidente está altamente correlacionado ( $r \approx 0.93$ para IP y $r \approx 0.99$ para MRC). Los perfiles de rendimiento son casi idénticos en la mayoría de las categorías lingüísticas, lo que sugiere que los modelos chinos no superan significativamente a los modelos occidentales en lenguas locales no mandarinas.
Superioridad del Mandarín: La única excepción a esta homogeneización es el chino mandarín. Los modelos desarrollados en China superan consistentemente a sus contrapartes occidentales tanto en Paridad de Información como en Comprensión Lectora Automática para el mandarín (simplificado y tradicional).
Déficits en Lenguas Minoritarias: Contrariamente a la Hipótesis Pluralista, los modelos chinos tienen un rendimiento deficiente en lenguas minoritarias chinas, a menudo fallando en identificar lenguas como el kazajo y el uigur. Su rendimiento en estas lenguas es comparable, o a veces peor, que el de los modelos occidentales.
Rendimiento Regional: Los modelos chinos tienen un buen rendimiento en lenguas europeas (francés, alemán) y en las principales lenguas asiáticas (japonés, coreano), reflejando las fortalezas de los modelos occidentales en lugar de mostrar ventajas regionales únicas.
Ajuste por Instrucción: Los modelos ajustados por instrucción generalmente superan a los modelos base, pero la brecha de rendimiento entre los modelos chinos y occidentales permanece constante independientemente del ajuste.

Significado y Afirmaciones
El artículo argumenta que la homogeneización observada en el rendimiento multilingüe indica que los desarrolladores de modelos chinos están optimizando principalmente para prácticas de evaluación global y recursos de entrenamiento compartidos en lugar de abordar las necesidades lingüísticas específicas de la diversa población doméstica de China. Los resultados apoyan la Hipótesis del Mandarín (los modelos chinos son mejores en mandarín pero no en otras lenguas locales) y no logran rechazar la Hipótesis Nula (alta correlación con los modelos occidentales).

Los autores interpretan estos hallazgos como evidencia de que las presiones de la evaluación global y los recursos de datos compartidos ejercen una "presión normalizadora" sobre el entrenamiento de LLM, lo que conduce a perfiles de rendimiento similares en distintos contextos políticos y culturales. Esto sugiere que el soporte lingüístico actual en los LLM es el resultado de prioridades y compromisos en lugar de un resultado inevitable del desarrollo. El artículo destaca las implicaciones para los responsables políticos y los desarrolladores, señalando que, sin una intervención específica, el movimiento de la "IA soberana" podría resultar en costos ambientales y homogeneización cultural sin entregar un valor único para la diversidad lingüística local. Los autores piden trabajos futuros para investigar los factores estructurales e institucionales que impulsan estas prioridades y explorar oportunidades para que los desarrolladores aprovechen el acceso único a datos locales para diferenciar sus modelos.