技術的概要：多言語 LLM タスク実行における言語役割の解離

1. 問題提起

多言語大規模言語モデル（LLM）は、指示言語、ソースコンテンツ言語、必要な応答言語が一致しないワークフローにおいて、ますます展開されるようになっている。既存のベンチマークは言語カバレッジと指示追従評価を拡大してきたが、通常は言語を単一の単一的な変数として扱うか、あるいは単一評価設計内で指示、コンテンツ、応答の特定の役割を分離することに失敗している。その結果、モデルが失敗した場合、その誤りがタスクの誤解、コンテンツ処理、目標言語の実現、制約の遵守、あるいはこれらの要因間の相互作用のいずれに起因するものなのかは不明瞭なままとなる。本論文は、3 つの異なる言語役割 $(L_{instr}, L_{content}, L_{resp})$ 間の構造化された相互作用として多言語タスク実行を評価するための、制御された診断フレームワークの必要性に対処する。

2. 手法：MTM-Bench

著者らは、これらの役割を解離するために設計された制御ベンチマークであるMTM-Bench（Multilingual Triplet Mismatch Benchmark：多言語トリプレットミスマッチベンチマーク）を導入する。

ベンチマーク構築

• 設計: このベンチマークは、英語（EN）、スペイン語（ES）、中国語（ZH）を用いた完全交叉設計を採用している。すべての $3^3 = 27$ 通りの言語トリプレットを列挙する。
• タスクファミリー: ベンチマークは、それぞれ特定の執行課題を対象とする 3 つの異なるタスクファミリーにまたがり、モデルあたり 2,430 件のインスタンスで構成される。
  1. 意味的反転（ファミリー A）: 表面的な文言と矛盾する根底の立場（例：皮肉、風刺）をモデルに特定させるタスク。
  2. 最終状態抽出（ファミリー B）: 更新を含む短い管理文書に関わるタスクであり、厳格な出力形式を遵守しつつ、最終的な有効値（例：再スケジュールされた時間や連絡先）を抽出することを要求する。
  3. 言語純粋性と更新実現（ファミリー C）: 状態の更新（例：部屋の変更）を目標言語で記述することを要求するタスクであり、構造的な枠組みを厳密にローカライズしつつ、特定の許可リストに載った固有名詞（例："Zoom"、"Teams"）はそのまま使用することを認める。
• 制御変数: 27 種類のトリプレット変種全体で意味的安定性を確保するため、ベース項目は翻訳ではなく書き換えられる。メタデータ、名前、および回答形式はタスクを定義する限り固定され、語彙的素材は特定の言語スロットに応じてローカライズされる。

評価プロトコル

評価は、異なる失敗モードを分離するために分解された指標を用いる。

• 意味的正しさ（SC）: 出力が目標意味を捉えているかを測定する（例：反転における正しい極性、抽出における正しい最終値）。
• 言語的正しさ（LC）: 応答が要求された応答言語（$L_{resp}$）に準拠しているかどうかの二値判断であり、数値と許可リストの固有名詞は言語中立的として扱う。
• 制約正しさ（CC）: 明示的な出力制約（例：「出力のみ」、「単一文」）をチェックする。
• 汚染率（CTR）: 出力内の非目標言語素材の連続的な測定値。
• 統合成功（JS）: 3 つの要件すべてが共同で必要であるとして定義される集約指標、すなわち $JS = SC \times LC \times CC$。

採点は、境界ケースとルーチン出力を対象とした人間による監査を通じて検証されており、対象ケースにおけるコンポーネントレベルのオーバーライド率は 18.2% であり、自動パイプラインがほとんどのルーチンケースを一貫して処理していることを示唆している。

3. 主要な貢献

1. 多言語実行の再定義: 本論文は、指示、コンテンツ、応答の言語を単一の未分化な変数として扱うのではなく、独立して変化させることで、多言語タスク実行をトリプレットベースの評価問題として再定義する。
2. 完全交叉ベンチマーク: 27 の言語トリプレットと 3 つのタスクファミリーにまたがる制御ベンチマークを提供し、意味的正しさ、言語準拠、制約充足を分離して評価する分解されたプロトコルで採点する。
3. 役割固有の診断: 完全交叉設計により、集約ベンチマークでは分離できない周辺比較を可能にし、劣化が言語が占める役割によって組織化されており、単にミスマッチの数によるものではないことを明らかにする。

4. 結果

著者らは、Claude、GPT、Gemini、DeepSeek、Qwen、LLaMA ファミリーを含む 20 の最先端およびオープンウェイト LLM を、完全ベンチマーク上で評価した。

全体的なパフォーマンス

• 統合成功: モデル間で 0.537 から 0.840 の範囲（平均 0.745）。
• コンポーネント指標: 個別の指標はより高かった（平均 LC: 0.905、SC: 0.893、CC: 0.880）。これは、3 つの要件を同時に満たすことが、個別に満たすことよりもはるかに困難であることを示している。
• モデル間分散: 全体のランキングは単一のコンポーネント指標に還元されなかった。意味的正しさで優れているモデルが制約充足で失敗することがあり、その逆もまた然りであった。

言語役割に関する主要な知見

• 応答言語の支配性: 応答言語は変異の支配的な軸である。応答言語がスペイン語（$\Delta = -0.108$）または中国語（$\Delta = -0.113$）の場合、英語と比較して統合成功は著しく低下した。対照的に、指示言語またはコンテンツ言語の変異はほとんど影響を与えなかった（$\Delta < 0.03$）。
• ミスマッチ数対役割位置: 本論文は、ミスマッチ数が困難の単調な予測因子であるという仮説に異議を唱える。「応答のみ」のミスマッチ（1 つのミスマッチ）と「完全ミスマッチ」（3 つのミスマッチ）は、同様のパフォーマンスレベル（0.694 対 0.705）をもたらした。これは、応答言語が先行する文脈と異なる場合、指示またはコンテンツの追加のミスマッチは困難に対する説明力をほとんど付加しないことを示唆している。
• タスク固有のボトルネック:
  • 意味的反転: 高い意味的正しさだが、応答言語の実現、特に中国語の応答において制限される。
  • 最終状態抽出: 高い言語的正しさだが、制約充足（例：「出力のみ」ルールの違反）での頻繁な失敗。
  • 言語純粋性: 高い制約充足だが、情報を省略または歪曲することなく更新を実現する難しさにより、意味的正しさは低い。

5. 意義と主張

本論文は、多言語評価は、異なる構成を 1 つの集約スコアに縮約するのではなく、各言語が果たす役割を追跡すべきであると主張する。

• 診断的価値: 完全交叉設計は、劣化が言語が占める役割によって組織化されていることを明らかにする。応答言語の役割が変異の主要な源泉であり、指示およびコンテンツの役割はより小さく、一貫性の低い役割を果たす。
• 非単調な困難さ: ミスマッチ数が困難の単調な予測因子ではないという発見は、多言語実行の認知的または構造的負担が単純に加算的ではないことを示唆している。単一言語の文脈からミスマッチした応答言語への移行が、主要な障壁を構成する。
• 限界: 著者らは控えめに、これらの知見は EN/ES/ZH の設定および特定のタスクファミリー（短い、管理的、反転シナリオ）内で制御されていると指摘する。結果は、すべての多言語タスク実行や広範なドメインレベルのパフォーマンスに関する普遍的な主張というよりも、制御された診断プローブとして解釈されるべきである。ベンチマークは、広範なドメインレベルのパフォーマンスを推定するためではなく、役割固有の診断のために設計されている。

結論として、MTM-Bench は、成功する多言語タスク実行には一般的な流暢さ以上のものを必要とし、指示とソースコンテンツの両方と異なる可能性のある目標言語で回答を実現する特定の能力が必要であることを示している。この能力は、他の言語役割を理解したり処理したりすることと比較して、現在のモデルにおいて不均衡に困難である。