技術要約：推論時におけるクロスリンガル表現アライメントとしての漸進的コードスイッチング（Gradual Code-Switching）

問題提起

多言語能力において大きな進展が見られるものの、大規模言語モデル（LLM）の性能には言語間での偏りが存在します。この格差は、**英語中心の潜在表現（English-centric latent representations）**への過度な依存に起因しています。近年の研究によれば、LLMは非英語の入力を推論の前に内部的に英語へと翻訳することが多く、これが「翻訳の障壁」を生み出しています。この初期段階の内部翻訳が失敗すると、最終的な出力の質は急激に低下します。

これに対処するための既存のアプローチである**クロスリンガル・インコンテキスト学習（X-ICL）**は、通常、唐突で単一ステップのピボット（転換）に依存しています。例えば、ターゲット言語のタスクを解くために英語のデモンストレーションをプロンプトとして与えたり、クエリ全体を推論前に英語に翻訳したりといった手法です。これらの手法は、表面的なタスクパターン（例：出力形式）は転移させるものの、ターゲット言語とモデルの英語中心の潜在空間との間にある根本的な表現のギャップを効果的に埋めることはできません。その結果、低リソース言語や未知の言語における性能は依然として不十分なままです。

手法：コードスイッチング・インコンテキスト学習（CSICL）

著者らは、推論の軌跡を明示的に足場立て（scaffolding）することで、クロスリンガルの表現を整列させるための、トレーニングを必要としない推論時のメカニズムであるCSICLを提案します。CSICLは、唐突な転換ではなく、ターゲット言語から英語へと移行する漸進的なコードスイッチング戦略を採用しています。

コアメカニズム

CSICLは、主に以下の2つのコンポーネントで構成されます。

1. 漸進的翻訳指示（Gradual Translation Instruction）： モデルに対し、非英語の入力を処理する際、段階的に英語へと翻訳し、英語で思考し、その上で最終的な回答をターゲット言語で生成するように指示します。
2. 漸進的コードスイッチング・デモンストレーション（Gradual Code-Switching Demonstrations）： 数発の例示（few-shot examples）は、言語を唐突に切り替えるのではなく、以下のステップに従って段階的な進行を見せます。
   • 0%（ターゲット言語）： クエリは完全にターゲット言語で行われます。
   • 25% - 75%（中間ステップ）： クエリはターゲット言語の文法構造を保持しながら（行列言語フレームモデル）、段階的に英語のトークンを取り入れていきます。
   • 100%（英語）： クエリは完全に英語に翻訳されています。

この緩やかな変化は「言語的な架け橋」として機能し、実際の推論ステップが行われる前に、LLMが非英語の入力をその英語中心の推論空間へと動的に整列させるよう促します。

実装の詳細

• デモンストレーションの構築： 各ターゲット言語に対して、漸進的なコードスイッチング・シーケンスを生成します。デフォルトの実装ではデモンストレーションの構築にGPT-5を使用していますが、CSICLは本質的に外部のオーラクル（神託）に限定されるものではありません。この手法は、自己生成（同一モデルを使用）またはルールベースの生成をサポートしています。また、推論モデルとしてGPT-5を使用することに制限はありません。本論文では、Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, Gemini 2.5 Flashの4つの異なる多言語LLMを用いてCSICLを評価しています。
• 方向性（Directionality）： この手法は、特にターゲット言語 $\to$ 英語への遷移に特化しています。アブレーション研究によれば、この方向は逆方向（英語 $\to$ ターゲット言語）よりも優れています。なぜなら、入力の形式をモデルの潜在空間に合わせるのではなく、潜在空間から乖離させてしまうためです。
• 粒度（Granularity）： 著者らは様々なステップ数（例：3ステップ、5ステップ、7ステップの遷移）をテストし、5ステップの線形遷移が、性能とトークン効率のバランスにおいて一般的に最適であることを発見しました。

主な貢献

1. CSICLの提案： 構造化された漸進的コードスイッチングを通じて、ターゲット言語と英語の表現を繋ぐ、新しい推論時のメカニズムを提案し、唐突なピボットによる弊害を回避しました。
2. 体系的な実証的エビデンス： 4つの多言語LLM（Qwen3, DeepSeek, Grok, Gemini）、6つのデータセット（Global MMLU, MedExpQA, PolyMathを含む）、および10の言語（高リソース、中リソース、低リソースの設定を網羅）にわたる包括的な評価を行いました。
3. 潜在空間の可視化： 隠れ状態のPCA（主成分分析）を用いた可視化により、CSIC（CSICL）が非英語の入力表現を潜在空間内の英語アンカーに系統的に近づけていることを示し、アライメント仮説を検証しました。
4. 設計因子の分析： 方向性、粒度、デモンストレーション生成のソースを含む重要な要因を分析し、CSICLが自己生成またはルールベースのデモンストレーションを使用した場合でも効果的であることを実証しました。

実験結果

CSICLは、すべての評価設定において、標準的なX-ICLベースライン（モノリンガル、パラレル、および翻訳ベースのプロンプティングを含む）を一貫して上回りました。

• 性能向上：
  • ターゲット言語： モノリンガル・ベースラインに対して平均6.0パーセントポイント (pp) の向上。
  • 未知の言語： 平均4.8 pp の向上。
  • 低リソース設定： 改善は低リソースのシナリオで最も顕著であり、ターゲット言語で14.7 pp、未知の言語で5.3 pp の向上を記録しました。
• タスク特性：
  • 翻訳： CSICLは最大の利得（ターゲット言語で**+6.8 pp**）を得ました。これは、漸進的な遷移が潜在的な翻訳プロセスを直接足場立てするためです。
  • 推論： 推論指向のタスクにおいて顕著な改善（+5.4 pp）が見られました。これは、「英語で考える」ことが漸進的な整列を通じて表現の干渉を軽減することを示唆しています。
  • 知識： 文化的な知識や社会的バイアスのタスクにおいても、緩やかではあるものの一貫した利得が見られました。
• 効率性： フル構成のCSICL（5ショット、5ステップ）は、より単純なベースラインよりも多くのトークンを使用しますが、そのオーバーヘッドは標準的なコンテキストウィンドウ内で管理可能な範囲内です。特筆すべきは、0-shotおよび1-shotバージョンのCSICLであっても、既存の多くのX-ICL代替案よりも少ないトークンを使用しながら、強力なベースラインを凌駕している点です。

意義と主張

本論文は、CSICLを、モデルの再学習やファインチューニングを必要とせずに、推論時のクロスリンガルな不整合を軽減するための堅牢かつ効果的なアプローチとして位置付けています。

• 公平な展開： 低リソース言語や未知の言語における性能を向上させることで、CSICLはLLMをより公平な多言語システムへと導き、能力が英語に大きく偏っているという現在の限界に対処します。
• メカニズムの洞察： 本研究は、漸進的なコードスイッチングが単なるスタイルの選択ではなく、推論の軌跡を制御する機能的なメカニズムであり、モデルがターゲット言語の忠実性を維持しながら、最も強力な英語の推論能力を活用することを可能にすることを確立しました。
• 実用的な有用性： 本手法は、軽量で調整可能なソリューションとして提示されており、優れた「効率と精度のトレードオフ」を提供します。これにより、予算制約のある設定（0/1-shotバリアント経由）と高精度が要求される設定の両方に適しています。

著者らは、CSICLがクロスリンガル・アライメントの新たな視点を提示しており、ターゲット言語から英語への遷移を明示的に足場立てすることが、既存のLLMの多言語能力を大幅に強化できることを示していると結論付けています。