💬 NLP

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

本論文は、表面的なテキストよりも「推論のピボット（reasoning pivots）」を優先するようにオンポリシーの自己蒸留を誘導することで、多言語間の推論転移を強化する新しい手法であるRP-OPSDを提案しており、これにより17言語において既存のベースラインを上回る性能を実現している。

原著者： Xinye Wang, Junxiao Liu, Shujian Huang

公開日 2026-08-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinye Wang, Junxiao Liu, Shujian Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある賢明だが多言語を操るロボットに、トリッキーな数学パズルを解く方法を教えているところだと想像してください。あなたは英語を話しますが、ロボットはスワヒリ語、フランス語、または日本語で考えることを学ぶ必要があります。大きな課題は、単に言葉を翻訳することではありません。「思考」を翻訳することです。もしロボットが英語では正しく解けるのに、別の言語でそのステップを説明しようとしてつまずいてしまうとしたら、それは答えは知っているけれどエッセイが書けない学生のようなものです。これは「多言語推論（multilingual reasoning）」の世界であり、科学者たちは大規模言語モデル（LLM）が、英語ほど得意ではない言語でもそのスマートな論理的思考スキルを使えるようにする方法を研究しています。

これを行うために、研究者たちはしばしば「自己蒸留（self-distillation）」と呼ばれるトリックを使います。これは、ロボットが一人で練習することだと考えてください。ロボットは問題を解こうとし、次に「教師」バージョンの自分自身（これは英語の秘密の参照シートを持っています）がその作業をチェックし、「よくできました！」あるいは「やり直し！」と言います。ロボットはこれらの修正から学びます。しかし、この手法における共通の問題は、教師がロボットが書くあらゆる言葉に対して、あまりにも神経質になりすぎることです。たとえ数学的な論理が完璧であっても、ロボットが「したがって（therefore）」や「等しい（equals）」と言う際に少し異なる言い方をしただけで、教師は苛立ってしまうかもしれません。これはロボットを混乱させ、正しい思考よりも、流暢に聞こえることに集中させてしまう可能性があります。

この論文は、RP-OPSDと呼ばれる、よりスマートなロボットへの教え方を導入しています。著者である南京大学のXinye Wang、Junxiao Liu、Shujian Huangは、推論の連鎖におけるすべての言葉を同じように扱うべきではないと提案しています。代わりに、私たちは「ピボット（pivot/軸）」、つまりロボットが大きな決定を下す重要な瞬間（例えば、足し算ではなく掛け算を選ぶ、あるいは変数を変更する必要があると気づく瞬間など）を特定すべきだと述べています。これらは推論における「アハ体験（aha! moments）」です。それ以外の言葉は、文法や「ケーキが切られた」という特定の言い方といった、「表面的な」詳細に過ぎません。

研究者たちは、この「ゲート（門）」を用いることで、どの言葉に教師の厳格な注意が必要で、どの言葉をロボットの自然な言語の流れに任せるべきかを判断すれば、ロボットはより速く学習できることを発見しました。彼らは、AIがあまり注目されないアフリカの言語を含む17の異なる言語でテストを行いました。結果は、彼らの手法が、特にこれらの難しい言語において、従来のメソッドよりもロボットが数学問題を解く能力を高めたことを示しました。これは、ロボットに新しい言語で思考させるためには、すべての文章をマイクロマネジメントする必要はなく、ただクリティカルな思考ステップが確実であることを確認すればよいのだ、ということを示唆しています。

コアとなるアイデア：「ピボット」を見つけること

論文は、モデルが新しい言語で推論するとき、以下の2つのことを同時に行っていると主張しています。

表面的な実現（Surface Realization）：正しい言語で言葉を書くこと（例：英語の「multiply」の代わりにフランス語の「multiplie」と言う）。
推論ピボット（Reasoning Pivots）：実際の論理的決定を下すこと（例：4に3を掛けることを決定する）。

著者たちは、以前の手法がこれら2つを等しく扱っていたことに気づきました。それらは、ロボットに英語の論理と、英語の言葉の選択の両方を完璧にコピーするように強制しようとしていました。しかし、これは音楽の教師が、生徒の指の動きを直しながら、同時に生徒のアクセントについても怒鳴っているようなものです。それは過剰なプレッシャーとなります。

論文は、表面的なバリエーション（surface variants）（同じことを表す異なる言い方）は問題ないが、ピボットの逸脱（pivot drift）（論理が変わること）は危険であると提案しています。もしロボットが「掛ける」代わりに「足す」と判断してしまったら、たとえフランス語がどれほど流暢に聞こえても、答えは間違ったものになります。

RP-OPSDの仕組み：「ゲート」

これを解決するために、著者たちはRP-OPSD（Reasoning-Pivot-Guided On-Policy Self-Distillation）と呼ばれるシステムを作成しました。その仕組みの比喩は以下の通りです。

ロボットが数学の問題を解く物語を書いていると想像してください。

教師の視点1（参照シート）：教師は問題、英語の解法、そしてロボットの現在の文章を見ます。
教師の視点2（参照シートなし）：教師は問題とロボットの文章を見ますが、英語の解法は見えません。

システムはこの2つの視点を比較します。

もし、教師が英語の解法を持っているからこそ、次に言うべき言葉を変えたとしたら、その言葉は**ピボット（Pivot）**です。これは、ここでの英語の論理が極めて重要であることを意味します。「ゲート」は大きく開き、ロボットには強いレッスンが与えられます：「ここで論理をコピーしろ！」
もし、教師が英語の解法を持っていてもいなくても、同じことを言うとしたら、その言葉は単なる**表面的なもの（Surface）**です。それはおそらく文法や一般的なフレーズです。「ゲート」は閉じたままになり、ロボットは英語のスタイルを強制されることなく、ターゲット言語で自然に書くことが許されます。

この「ゲート」は、ロボットが生成するすべての言葉に対して、それが英語の論理を強く必要としているのか、それともターゲット言語に留まるための軽い後押しだけでよいのかを判断する数学的なフィルターです。

研究結果

チームは、フランス語やスペイン語のような高リソース言語から、スワヒリ語やヨルバ語のような低リソースのアフリカ言語まで、17の言語でテストを行いました。彼らは主に2つの数学ベンチマークを使用しました：AfriMGSM（アフリカの言語用）とPolyMath（より難易度の高いマルチ難易度数学テスト）です。

結果は明白でした：

スコアの向上：RP-OPSDは、標準的な「自己蒸留」や他の高度な推論技術を含む、比較対象としたすべての手法を打ち負かしました。例えば、Qwen3-1.7Bモデルにおいて、アフリカの言語における平均スコアを約16.7%から**19.07%に向上させ、より難しいPolyMathテストでは17.97%**の精度に達しました。
スマートな学習：分析により、「ゲート」が重要な瞬間を正しく特定したことが示されました。それは「したがって（therefore）」、「だから（so）」、「しかし（but）」といった言葉や、特定の数学演算（「平方根」や「台形」など）に焦点を当てました。一方で、変数名（ $x, y$ ）や一般的な接続詞などの退屈な要素は無視しました。
「言語の漏出（Language Leakage）」の不在：この分野における大きな懸念は、ロボットが単に英語で考え始め、最後の答えだけを翻訳するようになることです。論文は、RP-OPSDがロボットがターゲット言語で思考することを実際に維持していることを示しています。RP-OPSDは、ロボットが英語のように聞こえるようになることなく、ターゲット言語で推論する能力を向上させました。実際、数学のスコアが上がる一方で、ロボットの「言語の一貫性（target languageへの定着度）」も向上しました。

否定された事項

論文は、いくつかの一般的な考えに対して明確に反論しています：

一律の重み付け（Uniform Weighting）：すべての言葉を同じように扱うこと（すべての言葉に同じ重要性を与えること）は間違いであることを彼らは示しています。それは、表面的な言葉からのノイズによって、重要な論理信号を希釈してしまいます。
単なる「不一致（Disagreement）」：単に教師と生徒がどこで意見を異にするかを見るだけでは不十分であることを彼らは発見しました。時には、タイポや文法の選択によって意見が食い違っていることもあります。「ピボット」法が優れているのは、それが具体的に「英語の解法」によって結果がどう変わるかを見ているからです。
翻訳によるアーティファクト（Translation Artifacts）：英語の推論を別の言語に翻訳するだけ（教師あり微調整）では不十分であると彼らは主張しています。なぜなら、その翻訳はロボットがその言語で自然に考える方法と一致しない可能性があるからです。

結論

この論文は、ロボットに新しい言語で推論させるためには、英語の話し手のように話すよう強制する必要はないと示唆しています。ただ、論理が必要なまさにその瞬間に、英語の解法の「論理」を理解させる必要があるのです。「考える」言葉と「話す」言葉を分ける「ゲート」を使用することで、ロボットは自身の自然な声を失うことなく、新しい言語で深く思考することを学ぶことができます。

著者たちは、17の言語と複数のモデルサイズにわたる実験に基づき、これらの結果に自信を持っています。彼らは、このアプローチが、AIを真に多言語化し、最もデータが多い言語だけでなく、あらゆる言語で複雑な問題を解決できるようにするための鍵となるステップであると考えています。

技術要約: RP-OPSD

問題提起

多言語推論転移（Multilingual reasoning transfer）は、大規模言語モデル（LLM）の推論能力を高リソース言語（例：英語）から低リソース言語へと拡張することを目指している。On-Policy Self-Distillation（OPSD）は、学生モデルが生成したロールアウトに対してトークンレベルの密な教師信号を提供することで、有望なパラダイムとして浮上しているが、既存のバリアントには重大な限界がある。それは、生成されたすべてのトークンに対して一律の重みを割り当てている点である。このアプローチは、表層実現トークン（言語固有の構文や流暢さ）と、推論ピボット（推論プロセスを進めたり方向を変えたりする決定）を区別できていない。

著者らは、多言語設定において、表層的なバリエーションは同じ推論状態を維持できる一方で、「ピボット・ドリフト（pivot drift）」、すなわち重要な意思決定トークンにおけるエラーは、継続部分がいかに流暢であっても、その後の推論を損なう可能性があると主張している。既存の手法は、教師モデルの確信度（これはクロスリンガルな推論の関連性を必ずしも反映しない）に依存するか、あるいは重要なスパンに対する困難なアノテーションを必要とする。さらに、単純な教師・学生間の不一致（KLダイバージェンス）は粗いシグナルであり、推論に不可欠な位置ではなく、フォーマットや語彙の違いを強調してしまうことが多い。

手法: RP-OPSD

本論文では、RP-OPSD（Reasoning-Pivot-Guided On-Policy Self-Distillation）を提案する。これは、推論に敏感なトークンに対して特権的な蒸留を選択的にルーティングし、表層トークンをターゲット言語に固定（アンカー）する手法である。

1. 教師の視点と特権的推論感度（PRS）

単一の教師の視点を使用する代わりに、RP-OPSDは、異なる情報状態の下での同一のポリシー（ $\pi_\theta$ ）の2つの視点を対比させる。

解条件付きビュー ( $q^+_t$ ): 低リソース言語の質問、その英語翻訳、ロールアウトのプレフィックス、および英語のリファレンス推論トレースに基づいたポリシー。
アブレーション・ビュー ( $q^-_t$ ): 同じ入力に基づいているが、英語のリファレンス推論トレースを除外したポリシー。

特権的推論感度（Privileged Reasoning Sensitivity: PRS）スコア $a_t$ は、これら2つのビュー間のKLダイバージェンスとして計算される：
$a_t = D_{KL}(q^+_t \parallel q^-_t)$
高い $a_t$ は、英語の解の存在がモデルの次トークン予測を著しく変化させることを示しており、そのトークンが特権的なエビデンスが極めて重要な推論ピボットであることを示唆している。逆に、低い $a_t$ は、そのトークンがターゲット言語の実現や一般的な事前分布によって制御されていることを示唆している。

2. 推論ピボット転移（RPT）ゲート

PRSスコアは正規化され、シグモイド関数を通過して連続的なゲート $g_t \in [0, 1]$ を生成する：
$g_t = \text{sg}[g_{min} + (1 - g_{min})\sigma(\beta(\tilde{a}_t - \tau))]$
このゲートはルーティング係数として機能する：

高い $g_t$ : そのトークンは推論ピボットとして扱われる。
低い $g_t$ : そのトークンは表層実現として扱われる。

3. ルーテッド学習目的関数

学習目的関数は、ゲートによってルーティングされた2つのフルボキャブラリ・フォワードKL項を組み合わせるものである：

ピボット転移項 ( $L_{pivot}$ ): 高ゲート位置において、学生の分布（ $p_t$ ）を解条件付きの教師（ $q^+_t$ ）に整合させる。これにより、特権的な推論ロジックを転移させる。
$L_{pivot} = \frac{1}{N} \sum_{t=1}^T m_t g_t D_{KL}(q^+_t \parallel p_t)$
アンカリング項 ( $L_{anchor}$ ): 低ゲート位置において、学生を凍結されたリファレンス・ポリシー（ $\pi_{ref}$ ）に整合させる。これにより、ターゲット言語の表層実現を保持し、モデルが英語の解の構文に過学習することを防ぐ。
$L_{anchor} = \frac{1}{N} \sum_{t=1}^T m_t (1 - g_t) D_{KL}(r_t \parallel p_t)$

最終的な損失は $L_{RP-OPSD} = L_{pivot} + \lambda L_{anchor}$ である。

主な貢献

推論ピボットの特定: 本論文は、多言語推論を表層テキストと推論ピボットの交互作用として特徴付け、転移効率は後者を分離することに依存すると主張している。
分布シフトのプロキシ: 特権的な推論エビデンスの有無による教師の視点の分布シフトを測定することで、アノテーションを必要とせずにピボットを特定する新しいメカニズムを導入した。これにより、生の教師・学生間の不一致を用いることの弊害を回避している。
デュアル目的ルーティング: 推論に不可欠なトークンに対して特権的な蒸留を行い、表層トークンに対してリファレンス・アンカリングを行うことで、推論の転移と言語の忠実度のバランスを同時に実現する。

実験結果

本手法は、17言語（アフリカの12言語を含む）において、2つの数学的推論ベンチマークであるAfriMGSMおよびPolyMathを用いて評価された。

性能: RP-OPSDは、SFT、GRPO、MAPO-DPO、M-Thinker、および既存のOPSDバリアント（COPSD、EGRSD）を含む強力なベースラインを上回った。
- AfriMGSM（Qwen3-1.7B）において、RP-OPSDは平均pass@12で**19.07%**を達成し、COPSD（16.70%）およびM-Thinker（14.87%）を上回った。
- PolyMath（Qwen3-4B）において、難易度重み付け精度（DW-ACC）**31.87%**を達成し、COPSD（29.94%）およびM-Thinker（29.74%）を上回った。
アブレーション研究:
- ゲートの局在化: RPTゲートに基づく上位20%のトークンを選択（TG）した場合、ランダム選択（RG）や下位ゲート選択（BG）よりも大幅に高い性能を示し、ゲートが転移可能な推論信号を正しく特定していることが確認された。
- アンカリング: リファレンス・アンカリング項を除去すると、特にベースライン能力が高い言語（例：フランス語）において性能が低下した。これは、アンカリングがターゲット言語の流暢さを保持するために極めて重要であることを示している。
分析:
- トークンの種類: 高ゲートのトークンは、推論制御の遷移（例：「したがって」、「しかし」）や、問題条件付きの状態更新（例：特定の変数、演算子）に対応していることが判明した。一方、低ゲートのトークンは、主に表層実現（変数、構文）であった。
- 到達可能性（Reachability）: RP-OPSDは、英語で到達可能な解を転移させるだけでなく、ベースモデルの英語到達範囲を超えた推論能力をも拡張し、「英語を超えた（beyond-English）」解における利得を他のベースラインと比較して2倍にした。
- 言語の一貫性: 英語の推論パターンにドリフトすることで精度を向上させる手法とは異なり、RP-OPSDは言語の一貫性スコアを維持または向上させつつ、推論精度を向上させた。

意義と主張

RP-OPSDは、**「最も重要な箇所に特権的な監督を集中的に行う」**ことで、多言語推論転移におけるより効率的かつ効果的なパラダイムを提供すると主張している。CoT（思考の連鎖）生成における「何（内容）」と「どのように（形式）」を区別することで、流暢ではあるが非決定的なトークンに推論信号が希釈されるのを防いでいる。

著者らは、このアプローチが、モデルがターゲット言語の制約に適応した基礎的な推論ロジックを保持しながら、言語間で計算構造を共有することを可能にすると述べている。本手法は、翻訳された推論トレースや複雑な報酬エンジニアリングを必要とせず、優れた性能を達成する多言語推論器への一歩として提示されている。

コアとなるアイデア： 「ピボット」を見つけること

RP-OPSDの仕組み： 「ゲート」