テクニカル・サマリー：「多言語モデルは本当に向上しているのか？ 真のクロスリンガル転移の分離」

問題提起

クロスリンガル転移（XLT）は、十分に表現されているソース言語（通常は英語）から、表現が少ないターゲット言語へと能力を汎化させるモデルの能力と定義される。多言語ベンチマークは、この分野の進歩を追跡するために一般的に使用されているが、著者らは、既存の指標が真の転移の向上と、ソース言語における一般的な精度の向上を混同していると主張している。

現在の標準的な測定法には以下が含まれる：

1. 絶対ターゲット精度（Absolute Target Accuracy）: ターゲット言語単独での性能を測定する。
2. XLTギャップ（XLT Gap）: ソース言語とターゲット言語の精度の絶対差。
3. 転移スコア（Transfer Score）: ソースでの予測が正しかった場合に、ターゲットの質問が正解となる割合。

本論文は、これらの指標に決定的な欠陥があることを指摘している。すなわち、ソース精度とターゲット精度は強く線形に結合している（$R^2 > 0.94$）。モデルの全般的な能力（例：推論、事実性、またはスケール）が向上するにつれ、ソースとターゲットの両方の精度は予測通りに上昇する。その結果、ターゲット精度の向上は、転移メカニズムの改善ではなく、単にソースの性能向上を反映している可能性がある。同様に、XLTギャップは、モデルがスケールするにつれて、基礎となる転移プロファイルが改善している場合であっても、転移が悪化しているという誤解を与える可能性がある。

手法

難易度調整済み転移（HAT）スコア

ソースにおける一般的な改善による混同効果に対処するため、著者らは難易度調整済み転移（Hardness Adjusted Transfer: HAT）スコアを提案する。この指標は、ソースの絶対的な難易度やモデルの全般的な習熟度とは独立して、ソースからターゲットへとどの程度の割合で性能が翻訳されるかを分離するために、第一原理から導出されたものである。

理論的定義:
$S$ と $T_\ell$ を、それぞれソース言語およびターゲット言語 $\ell$ のパス率とする。理想的な転移プロファイルは、条件付き期待値 $E[T_\ell | S=s, M]$ によって定義される。モデルが完全な転移を持つ場合、このプロファイルは直線 $y=x$ に一致する。

HATスコアは、ソース精度の特定の分布によって導入されるバイアスを取り除くために、ソース精度の一様分布の下での期待ターゲット精度を正規化したものである：
$$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$$
乗数 2 は、スコアが $[0, 1]$ の範囲に収まるようにするためのものである。

経験的推定:
$E[T_\ell | S, M]$ は直接観測できないため、著者らは線形回帰アプローチを用いてこれを推定する：

1. 各データセットのインスタンスに対して、ソース言語とターゲット言語の両方で $N=10$ 回プロンプトを実行し、パス率（$s^{(i)}$ および $t^{(i)}$）を推定する。
2. ペア $(s^{(i)}, t^{(i)})$ に対して線形回帰モデルを適合させ、$S=0$ のときに $T=0$ となるよう制約を課した上で、条件付き期待値を近似する。
3. この適合した直線の傾き（$\hat{m}$）が、HATスコアとして機能する。

実験設定

本研究では、5つのファミリー（Gemini, Gemma, Qwen, GPT-OSS, Claude）にわたる**20種類の多様な大規模言語モデル（LLM）**を評価し、そのサイズは1Bから120Bパラメータまで、また「思考（thinking）」予算（推論の深さ）も様々である。

評価は、以下の3つの多言語ベンチマークに対して行われる：

1. ECLeKTic: クロスリンガル・ファクトイドQA（事実に基づく質問応答）。
2. MGSMv2: 多言語数学推論（MGSMの修正版）。
3. MMLU-ProX-Lite: 多言語の多肢選択式推論および概念的知識。

MGSMv2およびMMLU-ProX-Liteについては、英語がソース言語となる。ECLeKTicについては、元のWikipedia記事に基づき、質問ごとにソース言語が変化する。

主な結果

1. HAT対伝統的指標の検証

著者らは、伝統的な指標がしばしば進歩を誤って表現していることを示している：

• ターゲット精度: 転移プロファイル自体は変化していないにもかかわらず、ソース精度の分布がより高い値へとシフトした（例：より大きなモデルになった）だけで、進歩を偽って示すことがある。
• XLTギャップ: モデルがスケールする際、転移プロファイル（傾き）が改善している場合であっても、転移が悪化しているという誤った印象を与えることがある。
• HATスコア: ソース精度の分布の変化に対して頑健であり、真の転移強度を示す信頼できる指標となる。

2. モデルサイズによる進展

• 小型モデル: 小型モデル（1B–4B）において転移は「壊れて」はおらず、これらのモデルのHATスコアは50%から80%の範囲にある。これは、ターゲット精度がソース精度のかなりの割合を占めていることを示している。しかし、伝統的な指標は、小型モデルに対して過度に悲観的な推定値を与える。
• スケーリングの傾向: より大きなモデルは転移の向上を示すものの、モデルサイズの増加に対する進展は予想よりも遅い。HATスコアは、XLTにおける利得が、生のターゲット精度が示唆するよりも緩やかであることを明らかにしている。

3. 時系列による進展

• 推論ベンチマーク: MGSMv2およびMMLU-ProX-Liteにおいて、新しいモデル（2025年以降）は「完全な転移」のラインへと大きくシフトしている。中央値としてのHATスコアは、MMLU-ProX-Liteでは0.75から0.93へ、MGSMv2では0.90から0.97へと改善しており、これらのベンチマークにおけるXLTはほぼ解決（solved）されつつあることを示唆している。
• ファクトイド・ベンチマーク: ECLeKTicではこのような傾向は見られず、進展が停滞しているように見える。

4. 転移に影響を与える要因

• モデルアーキテクチャと事前学習: 同程度のサイズでありながらモデルファミリー間（例：GPT-OSS vs Gemma vs Qwen）でHATスコアに差があることは、事前学習のレシピがモデルサイズ単独よりも転移に大きな影響を与えることを示唆している。
• 思考/推論予算: 「思考（reasoning depth）」を有効にすると、すべてのベンチマークにおいてXLTが向上する。著者らは、モデルが非英語のプロンプトに対して追加のトークンを割り当てている（5〜20%長い）ことを観察しており、これが言語間の架け橋となるメカニズムを示唆している。
• スクリプト（文字体系）の類似性: スクリプトの違いが転移を著しく弱めるのは、ECLeKTic（ファクトイドQA）においてのみである。推論タスク（MGSMv2, MMLU-ProX-Lite）においては、スクリプトの違いがHATスコアを大幅に低下させることはない。

意義と主張

本論文は、ソース精度とターゲット精度の結合により、クロスリンガル転移における進歩の解釈が誤られていると主張している。HATスコアを導入することで、著者らは、全般的な能力の向上と真の転移の利得を分離する指標を提供している。

著者らの結論は以下の通りである：

1. 小型モデルにおける転移は機能的である。これは、生のターゲット精度から導かれる悲観的な見解とは対照的である。
2. XLTにおける進展は予想よりも遅い。これは、単にパラメータ数を増やすことが自動的に多言語のギャップを解消するという仮定に異議を唱えるものである。
3. 現在のベンチマークは推論タスクにおいて飽和に近づいている（MGSMv2, MMLU-ProX-Lite）。そのため、意味のある進歩を測定し続けるためには、より困難で実用的な動機に基づいたベンチマーク（例：マルチステップのタスク）の開発が必要である。

本研究は、クロスリンガルな汎化を正確に評価し、研究を推進するために、HATのようなより原則に基づいた指標を採用するようコミュニティに呼びかけるものである。