Do Chinese models speak Chinese languages?

技術的概要：中国のモデルは中国語を話すか？

問題提起
中国における大規模言語モデル（LLM）の急速な発展は、同国を AI 分野の主導的な力として確立した。しかし、中国のモデル開発者には重要な緊張関係が存在する。すなわち、言語的に多様な国内人口（標準中国語、数百の方言、少数民族言語を話す人々）への対応と、主に英語で構成される世界的に可視化されたベンチマークの最適化との間のトレードオフをいかに調整するかという課題である。中国には多様性から同化まで多岐にわたる言語政策の歴史があり、最近の AI 規制もデータ多様性を強調しているが、中国で開発されたオープンウェイト LLM が、地域の言語的多様性を優先しているのか、それとも世界的なベンチマーク圧力に適合しているのかは依然として不明である。具体的には、中国のモデルが、西洋で開発されたモデルと比較して標準中国語および中国の少数民族言語において優れた能力を有しているのか、あるいは西洋の対抗モデルと同様に均質化された多言語パフォーマンスプロファイルを示しているのかは、未だ不明である。

方法論
著者は、中国の組織によって開発された 6 つ（Qwen2.5、Yi-1.5、DeepSeek-R1 変種、InternLM3、Baichuan2）と、西洋で開発された 4 つ（Llama-3、Mistral、OLMo-2、Gemma-2）の計 10 のオープンウェイト LLM について比較研究を実施した。すべてのモデルは公平な比較を確保するため、70 億〜90 億パラメータの規模に制限された。本研究は、標準中国語、中国の漢語方言、中国の少数民族言語（景頗語、ラサ・チベット語、ウイグル語、モンゴル語、カザフ語）、北東アジア諸語、東南アジア諸語、およびヨーロッパ諸語に分類される 21 の言語変種における多言語パフォーマンスを評価した。

評価には 3 つの異なる実験が用いられた：

1. 情報対等性（IP）： FLORES+ 機械翻訳ベンチマークを用い、著者は英語に対するターゲット言語での情報表現の効率性を測定した。IP は、参照テキストの負の対数尤度（NLL）とターゲットテキストの NLL の比率として計算される。
2. 機械読解（MRC）： Belebele データセットを用い、著者は 17 の言語にわたるゼロショット多肢選択式読解精度を評価した。
3. 言語識別： 中国の少数民族言語多言語コーパス（MC2）を用い、著者はモデルがテキストサンプルから 4 つの特定の中国少数民族言語（チベット語、モンゴル語、カザフ語、ウイグル語）を識別する能力をテストした。

主要な貢献

• 仮説検証： 本論文は、中国の開発者の優先事項に関する 4 つの仮説を提案し、検証する。すなわち、帰無仮説（世界的ベンチマークの最適化が西洋モデルとの対等性をもたらす）、標準中国語仮説（標準中国語のみを優先する）、多元主義仮説（すべての地域言語を広く支援する）、および地域仮説（主要なアジア言語を支援する）である。
• 実証的ベンチマーク： 本研究は、標準ベンチマークでしばしば省略される過小評価された少数民族言語を含む多様な言語セットにわたる、中国と西洋の LLM の詳細かつ定量的な比較を提供する。
• 政策分析： 本作業は、技術的パフォーマンス指標を中国の歴史的および現在の言語政策と結びつけ、政治的および経済的インセンティブが AI 開発の優先順位をどのように形成するかを分析する。

結果

• 高い相関： 中国開発モデルと西洋開発モデルの多言語パフォーマンスは非常に高い相関を示す（IP において $r \approx 0.93$、MRC において $r \approx 0.99$）。パフォーマンスプロファイルは、ほとんどの言語カテゴリにおいてほぼ同一であり、中国のモデルが標準中国語以外の地域言語において西洋モデルを有意に上回っていないことを示唆している。
• 標準中国語の優位性： この均質化に対する唯一の例外は標準中国語である。中国開発モデルは、簡体字および繁体字の標準中国語において、情報対等性と機械読解の両方で西洋の対抗モデルを一貫して上回る。
• 少数民族言語の欠如： 多元主義仮説に反し、中国のモデルは中国の少数民族言語においてパフォーマンスが低く、カザフ語やウイグル語などの言語を識別できない場合さえある。これらの言語に対する彼らのパフォーマンスは、西洋モデルと同等か、時にはそれ以下である。
• 地域パフォーマンス： 中国のモデルは、ヨーロッパ諸語（フランス語、ドイツ語）および主要なアジア諸語（日本語、韓国語）において良好に機能し、西洋モデルの強みを反映しており、独自の地域的優位性を示すわけではない。
• 指示チューニング： 指示チューニングされたモデルは一般的にベースモデルを上回るが、チューニングの有無にかかわらず、中国モデルと西洋モデルの間のパフォーマンスギャップは一貫して維持される。

意義と主張
本論文は、多言語パフォーマンスにおける観察された均質化が、中国のモデル開発者が中国の多様な国内人口の特定の言語的ニーズに対応するのではなく、主に世界的なベンチマーク慣行と共有されたトレーニングリソースの最適化を行っていることを示唆していると主張する。結果は、標準中国語仮説（中国のモデルは標準中国語には優れているが、他の地域言語には優れていない）を支持し、帰無仮説（西洋モデルとの高い相関）を棄却できない。

著者は、これらの知見を、世界的なベンチマーク圧力と共有データリソースが LLM 訓練に対して「正常化圧力」を行使し、異なる政治的および文化的文脈において類似したパフォーマンスプロファイルをもたらす証拠として解釈する。これは、現在の LLM における言語支援が、開発の必然的な結果ではなく、優先順位付けとトレードオフの結果であることを示唆している。本論文は、政策立案者および開発者への示唆を強調し、具体的な介入がなければ、「主権 AI」運動は、地域の言語的多様性に対する独自の価値を提供することなく、環境コストと文化的均質化をもたらす可能性があると指摘する。著者は、これらの優先事項を推進する構造的および制度的要因を調査し、開発者が独自の地域データへのアクセスを活用してモデルを差別化する機会を探求するための今後の作業を呼びかけている。