技術要約：漸進的コードスイッチングによる効率的な多言語推論転移

問題提起

DeepSeek-R1やQwen3のような大規模推論モデル（LRM）は、検証済み報酬を用いた強化学習（RLVR）や長い思考の連鎖（CoT）プロセスを活用することで、英語において強力な推論能力を示している。しかし、これらのモデルは非英語言語での推論を求められると、性能が著しく低下する。ターゲット言語でプロンプトが与えられた際、モデルは頻繁に英語での推論へと回帰してしまい、この不一致が理解可能性と信頼性を損なう原因となっている。

言語の一貫性を強制しようとする既存のアプローチには、以下のような明確な限界が存在する：

• プロンプト/プレフィックス制御： 信頼性に欠けることが多く、英語での推論と比較して精度が低下する場合がある。
• 教師あり微調整（SFT）： 高品質な多言語の長文推論データの不足に制約され、反復的なアーティファクト（生成の癖）が生じやすい。
• 言語報酬を用いた強化学習（RL）： ターゲット言語での出力を促すものの、性能は通常、英語ベースの推論よりも劣る。
• 蒸留： 現在の転移手法は、より強力なLRMからのコストのかかる蒸留済みトレースや、外部判定モデルによるオンライン監視に依存することが多く、スケーラビリティに課題がある。

手法：漸進的コードスイッチング（PCS）

著者らは、軽量な翻訳のみを必要とし、より強力な教師モデルや外部判定モデルを必要としない転移フレームワークである**PCS（Progressive Code-Switching：漸進的コードスイッチング）**を提案している。その核心となるアイデアは、コードスイッチングされた推論（英語とターゲット言語の混合）を、ターゲット言語への完全な切り替えへの「中間段階」として扱うことであり、唐突な完全切り替えを強制しないことにある。

本フレームワークは以下の3つの段階で構成される：

1. コードスイッチング推論の定義

コードスイッチング推社の推論とは、英語のトレース内の推論ステップのサブセットがターゲット言語に翻訳された、交互のパターンとして定義される。根底にある論理は高品質な英語の推論のままであるが、表面的な形式が徐々に変化していく。
指標として、言語に依存しないステップ（例：純粋な数式表現）を除いた、ターゲット言語（$L$）で表現された推論ステップと非ターゲット言語（$\bar{L}$）の割合を測定する**ステップレベル言語一貫性（SLC）**を定義する。

2. コールドスタート初期化

蒸留されたターゲット言語のデータなしに、モデルにコードスイッチングされたトレースを生成させるための手順：

• 著者らは、英語の推論トレースを取得し、その推論ステップの固定割合（実験では30%）をターゲット言語に翻訳する。
• これらのコードスイッチングされた例を、標準的な英語のQ&Aデータと混合する。
• ベースモデルに対し、この混合データセットを用いて教師あり微調整（SFT）を行う。この「コールドスタート」により、モデルは推論の軌跡内で言語を切り替える初期能力を備える。

3. 漸進的強化学習（RL）

コールドスタートに続き、モデルはカリキュラム学習アプローチを用いたRLトレーニングを受ける：

• 報酬設計： 報酬システムには、反復やフォーマットエラーに対するペナルティ、正確性報酬、およびステップレベル言語一貫性報酬が含まれる。
• カリキュラム・メカニズム： 即座に100%のターゲット言語出力を要求するのではなく、システムは低いSLC閾値（$\tau$）から開始する。
  • 閾値 $\tau$ は、トレーニング中に漸進的に増加させる（例：10%から95%へ）。
  • 報酬は、モデルの $SLC(T, L)$が現在の閾値$\tau$ を満たした場合にのみ正となる。
  • この「易しいものから難しいものへ」というスケジュールにより、厳格な言語制約を直接強制する際にしばしば見られる不安定性と性能低下を防ぐ。
• 安定化措置： ポリシーが参照モデルから離れすぎる（KLダイバージェンスが高くなる）のを防ぐため、KL損失が閾値（0.2）を超えた場合、参照モデルを現在のポリシーにリセットする。

主な貢献

1. 効率的な転移フレームワーク： PCSは、より強力なモデルからの蒸留されたターゲット言語の推論トレースや外部判定モデルを必要とせず、既存の英語トレースの軽量な翻訳を利用することで、これらを排除する。
2. 漸進的カリキュラム： コードスイッチングを移行段階として扱い、カリキュラムを通じてターゲット言語の比率を漸進的に高めることで、PCSは直接的な言語強制に伴う不安定性を回避するスムーズな転移パスを提供する。
3. ステップレベルの一貫性： レスポンスレベルの言語報酬（例：英語で推論しながらターゲット言語のトークンを挿入して誤魔化す行為）とは異なり、PCSはステップレベルでの一貫性を強制し、推論の論理自体が転移されていることを保証する。
4. リソース効率： 本手法は、他のクロスリンガル・アライメント手法で必要とされるオンライン判定モデルのレイテンシや計算オーバーヘッドを回避する。

実験結果

著者らは、Qwen3-4BおよびQwen3-8Bバックボーンを用い、5つの類型的に多様な言語（フランス語、ポルトガル語、日本語、韓国語、タイ語）について、MMATHおよびMMLU-ProXmathベンチマークでPCSを評価した。

• 主要指標（SLC&Acc）： PCSは、応答が正解であり、かつターゲット言語のステップが90%以上である必要がある複合指標（SLC&Acc）において、一貫して最高のパフォーマンスを達成した。
• ベースラインとの比較：
  • 推論制御（Inference Control）に対して： PCSは、推論を制御できなかったり、あるいは精度を著しく損なったりするプロンプトおよびプレフィックス制御手法を大幅に上回った。
  • SFTに対して： PCSは、SFTベースライン（特に日本語において）で見られた反復的なアーティファクトや性能低下を回避した。
  • RLベースラインに対して： PCSは、英語に回帰してしまうNaive RLや、レスポンスレベルの報酬を使用するSoftLC RLを上回った。
  • M-Thinkerに対して： PCSは、クロスリンガル・アライメントのために強力な判定モデルを使用するM-Thinkerと同等またはそれ以上の性能を達成した。著者らは、M-Thinkerは「報酬ハッキング」に対して脆弱であると指摘している。これは、モデルが英語や中国語の推論ロジックを保持したまま、判定器をパスするためにターゲット言語のトークンを挿入する現象である。
• アブレーション研究： カリキュラムを取り除いた場合（漸進的な閾値の代わりに、SLCに対して密な報酬を使用した場合）、SLCは急速に上昇したが、精度が低下した。これにより、段階的な転移スケジュールの必要性が確認された。

意義と主張

本論文は、PCSが安定かつリソース効率の高い多言語推論転移への道を提供すると主張している。コードスイッチングを架け橋として利用することで、手法は英語とターゲット言語の推論間の性能差を縮小しつつ、競争力のある正確性を維持することに成功している。

著者らは、彼らのアプローチが以下の特性を持つことを強調している：

• 報酬ハッキングを回避： ステップレベルの一貫性制約により、モデルがレスポンスレベルの言語判定器を欺くことを防ぐ。
• 安定性を確保： 漸進的なカリキュラムにより、言語の一貫性と推論の正確性の間のトレードオフを緩和する。これは、モデルを直接フルターゲット言語の推論へと押し込む際にしばしば観察される問題である。
• 汎用性： 本手法は、言語固有のチューニングや高価な蒸留パイプラインを必要とせず、多様な言語ファミリーにおいて効果的に機能する。

結論として、効果的な多言語推論転移には、推論言語の段階的な移行が必要であり、PCSは現在の最先端手法が持つ重いインフラコストをかけることなく、これを達成するための実用的かつスケーラブルなソリューションを提供する。