🤖 machine learning

Weight-Space Geometry of Offline Reasoning Training

本論文は、Qwen3-4Bモデルにおける6つのオフライン推論学習手法の重み空間の幾何学を分析しており、SFT、RFT、およびRIFTが、同様の精度を持つほぼ共線的な更新へと収束する一方で、DPOはGSM8KおよびAIME26ベンチマークにおいて著しく優れた性能を達成する明確に異なる、ほぼ直交する部分空間を採用しており、さらにOffline GRPOは、SFTの損失盆地内に留まりつつも大幅な直交成分を導入していることを明らかにしている。

原著者： Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑な問題を解くことができる、天才的で巨大な数学の家庭教師（「教師」）を持っていると想像してください。あなたは、その教師のように考えるように、より小さくて安価な生徒（「生徒」）を教えたいと考えています。あなたは生徒に、教師のステップバイステップの解決策（「ロールアウト」と呼ばれます）を与え、その中から学ばせます。

この論文は、シンプルですが深い問いを投げかけています。「どのように生徒に学ぶよう指示するか」は重要なのでしょうか？

研究者たちは、さまざまな「学習式（損失関数）」を使用しています。ある人は、「正解だけを見ろ」と言います。ある人は、「すべての答えを見ろ、ただし良いものにはボーナスを与えろ」と言います。またある人は、「良い答えを悪い答えと比較せよ」と言います。

著者たちは知りたいと考えました。これらの異なる数式によって、生徒の脳（コンピュータの重み）は同じように変化するのか、それとも全く異なる種類の思考を生み出すのか？

以下に、簡単な比喩を用いた彼らの発見のまとめを記します。

1. 「模倣者」グループ (SFT, RFT, RIFT)

比喩： 3人の生徒が絵の模写をしている様子を想像してください。

生徒Aは、一本一本の線をすべて書き写します。
生徒Bは、完璧な線だけを書き写します。
生徒Cは、すべての線を書き写しますが、完璧な線だけを少し濃く描きます。

発見： 異なるルールを使っているとしても、彼らは皆、ほぼ全く同じ絵を描き終えます。

数学的には、彼らの脳への変化は極めて似通っています（97%の類似性）。
彼らは皆、数学テストでほぼ同じスコア（約87〜88%）を獲得します。
結論： もしあなたが単に教師の推論過程を模倣させたいのであれば、これら3つの特定の数式のどれを使用するかは、ほとんど問題になりません。これらは実質的に同じことを行っています。

2. 「自己調整者」 (DFT)

比喩： この生徒は生徒Aと同じ紙を使っていますが、奇妙な癖があります。自信があるときはペンを軽く、自信がないときは濃くするというのです。

発見： この小さな調整が、描画の方向を大きく変えてしまいます。この生徒の脳の変化は、報酬スコアを使って導かれたわけではないにもかかわらず、コピーキャット（模倣者）グループとは大きく異なります。これは独自の経路ですが、必ずしもより高いスコアにつながるわけではありません。

3. 「サイドステップ」 (Offline GRPO)

比喩： この生徒は教師の仕事を見ますが、大きく横にステップを踏むことに決めました。彼らは依然として同じ一般的な領域（「損失の盆地」）に留まっていますが、歩んでいる道は異なります。

発見： この手法は、生徒の脳を（コピーキャットとは）67%異なる方向へと押し進めます。脳の後層（「最終的な思考」）においては、この差は86%近くまで拡大します。

しかし、彼らは依然として同様のテストスコア（約87%）を得ています。
結論： この手法は新しい方向を探索していますが、コピーキャットと比較して精度における「超能力」を引き出しているようには見えません。

4. 「アウトライヤー（異端児）」 (DPO)

比喩： 他の全員が同じ部屋で同じ紙に絵を描いている一方で、この生徒は全く異なるキャンバスを使い、別の部屋で、全く異なるスタイルで描いています。

発見：

幾何学： この生徒の脳への変化は、他の全員に対してほぼ**90度（直交）**です。彼らは根本的に異なることをしています。
障壁： もしこの生徒の脳とコピーキャットの脳を混ぜ合わせよう（「線形補間」）とした場合、その結果は崩壊します。彼らは異なる「宇宙」の解の中にいます。
スコア： これほどまでに異なっているにもかかわらず、この生徒は最高のスコア（数学で93.5%、難しいパズルで30%）を獲得しました。
注意点： この生徒は、10倍小さい学習率（非常に小さく慎重なステップ）で訓練されました。著者らは、高いスコアが「数式」によるものなのか、単に彼らがより精密なステップを踏んだからなのか、100%断定することはできないと警告しています。

5. 「ライブ vs 記録済み」の驚き

論文はまた、生徒が「ライブ」の練習（オンライン）から学ぶ場合と、「記録された」練習（オフライン）から学ぶ場合の違いについても調査しました。

オフライン： 固定された教師の回答セットから学習する場合、「サイドステップ」の生徒（Offline GRPO）はコピーキャットの近くに留まります。
オンライン： 生徒が自分自身の練習問題を作成する場合（Online GRPO）、彼らはコピーキャットから**完全に直交（全く別物に）**します。
結論： 「オフライン」の手法がコピーキャットと似ている理由は、彼らが皆、全く同じ固定された教師の回答を見つめているからです。もし彼らに独自の練習を生成させれば、彼らは激しく分岐します。

まとめ

**ほとんどの手法（SFT, RFT, RIFT）**は、「教師を模倣せよ」という指示の異なる言い方に過ぎません。これらは同じ脳構造と似たスコアをもたらします。
DPOはアウトライヤーです。それは全く異なる脳構造を構築します。最高スコアを獲得しますが、それは比較を困難にするほど非常に具体的で慎重なトレーニングスタイル（小さな学習率）を伴っています。
「オフライン」という性質が、これらの手法の多くが互いに似通った結果となる主要な理由です。

この論文は、これらの学習手法の「地理」をマッピングしており、どの手法が隣人であり、どの手法が異なる惑星に住んでいるのかを示しています。

技術要約：オフライン推論学習における重み空間の幾何学

問題提起

RFT、RIFT、DFT、Offline GRPO、およびDPOといったオフライン強化学習（RL）の損失関数は、大規模な教師モデルから小規模な生徒モデルへと推論能力を蒸留するために、ますます頻繁に使用されている。これらの手法は、ダウンストリームのベンチマーク精度に基づいて日常的に比較されているが、そのメカニズム的な差異性は未知である。具体的には、異なる損失形式が質的に異なる重み更新を生み出すのか、それとも単に重み空間における類似の方向に収束しているだけなのかが不明である。この区別は、実務家が損失関数を選択する際や、研究者が「オフラインRL」が単一のメカニズムを表しているのか、あるいは多様なアプローチのファミリーであるのかを解釈する上で極めて重要である。

手法

著者らは、6つのオフライン推論学習手法（SFT（教師あり微調整）、RFT（報酬微調整）、DFT（重み減衰微調整）、RIFT（報酬重み付きインコンテキスト微調整）、Offline GRPO、およびDPO（直接選好最適化））について、制御された重み空間比較を行った。

実験設定:

ベースモデル: Qwen3-4B-Instruct。
データ: DeepScaleRプロンプトに対する教師モデル（DeepSeek-V4-Flash）が生成した同一の数学ロールアウト（検証済みの数学問題約40k件）。DPOは、これらと同じロールアウトから派生した約1.8k組の（選択された、拒絶された）サンプルを使用しており、他の手法はすべて約75k行を使用している点を除き、すべての手法で同一のデータを使用した。
アーキテクチャ: LoRAをアテンション投影（q, k, v, o）のみに適用し、ランク32、 $\alpha=64$ とし、144個のモジュールにわたって適用した。
学習プロトコル: 学習率（LR）を除き、同一のハイパーパラメータ（バッチサイズ32、コサインスケジューリング、5%ウォームアップ）を使用した。すべての手法でピーク学習率 $5 \times 10^{-6}$ を使用したが、DPOのみ、標準的な慣習に従い10倍小さい $5 \times 10^{-7}$ を使用した。学習は1,500ステップ実行し、結果は1,000ステップ時点のものを報告した。
分析指標: 以下の手法を用いて、結果としてのLoRA重みデルタ（ $\Delta W$ $Δ W$ ）を分析した：
1. コサイン類似度（グローバルおよびレイヤー別）。
2. 主成分角部分空間分析（上位10個の特異ベクトルに対するSVD）。
3. 線形モード連結性（デルタを補間し、GSM8Kにおけるクロスエントロピーを測定）。
4. 中央化カーネル整列（CKA）（隠れ状態の）。

主要な貢献と結果

1. 報酬重み付きMLE手法の収束

著者らは、SFT、RFT、およびRIFTが、ほぼ共線的な重みデルタに収束することを発見した。

幾何学: これらの手法間のコサイン類似度は $\ge 0.97$ であり、上位1の主成分角は約 $7^\circ$ （中央値）であった。
性能: これらは統計的に区別不可能なGSM8K精度（87–88%、McNemarテストによる $p \ge 0.15$ ）を達成した。
示唆: 負のサンプルをフィルタリングすること（RFT）や、それらに報酬の重みを付けること（RIFT）は、プレーンなSFTと比較して更新の方向を変えることはなく、主にステップサイズ（フロベニウスノルム）を調整する。

2. DFTの乖離

DFTは、SFTの最小限の修正（単一の乗法的係数による確信度の高いトークンの重み減衰）であるにもかかわらず、明示的に報酬重み付けされた手法よりも著しく特徴的な更新を生み出した。

幾何学: DFTはSFTに対して $\sim 0.57$ のコサイン類似度を示し、報酬重み付けされた手法よりも乖離した。
性能: 精度はSFT/RFT/RIFTと同等であり、これは方向のシフトがあるにもかかわらず、損失の盆地（loss basin）は共有されていることを示唆している。

3. Offline GRPO：盆地内の直交成分

Offline GRPOは、同じ損失の盆地内に留まりながら、SFTの方向に対して実質的な直交成分を導入する。

幾何学: それは $\sim 67\%$ のグローバルな直交成分を加え、後半のレイヤーでは $\sim 86\%$ に上昇する。SFTクラスターに対するコサイン類似度は $\sim 0.74$ である。
連結性: Offline GRPOとSFTの間の線形補間は障壁を示さず、これらが同じ最適化の盆地を共有していることを示している。
性能: 精度はSFT/RFT/RIFTと同等である（87.3%）。

4. DPO：明確な部分空間と精度のピーク

DPOは、ほぼ直交する部分空間を占め、本研究のプロトコルにおいて最高の精度を達成した。

幾何学: DPOは他のすべての手法に対してほぼ直交している（SFT/RFT/RIFTに対してコサイン $\le 0.065$ ）。それはより高い有効ランクの部分空間（他が $\sim 16$ であるのに対し、ランク $\sim 24.5$ ）で動作しているが、フロベニウスノルムは非常に小さい。
連結性: DPOと他の手法の間の線形補間は鋭い障壁（損失の非単調な増加）を明らかにし、異なる解決策の盆地であることを示している。
表現の類似性: CKAは後半のレイヤーで $\sim 0.46$ に崩壊し、明確に異なる内部表現を確認した。
性能: DPOはGSM8Kで93.5%、AIME26で30.0%を達成し、他のすべての手法を大幅に上回った（GSM8Kにおいて $p < 10^{-9}$ ）。
注意点: 著者らは、DPOの優れた性能がその10倍小さい学習率および約40倍少ないトレーニング行数と絡み合っていることを指摘している。精度差を学習率を一致させた比較なしに、損失関数のみに帰属させることはできない。

5. オンポリシー・サンプリングの役割

Offline GRPOとOnline GRPOの比較に関する重要な発見である。

Offline GRPO（固定されたロールアウトで訓練）は、SFTと部分的に整列している（直交分画 0.67）。
Online GRPO（オンポリシーのロールアウトで訓練）は、SFTに対してほぼ完全に直交している（直交分画 0.998）。
結論: SFTとOffline GRPOの間で見られる方向の収束は、一部、同一の固定ロールアウトで訓練していることによるアーティファクトである。これらをオンポリシーのサンプルに置き換えることで、この収束は打破され、更新は全く異なる部分空間へと押し出される。

意義と主張

本論文は、「オフライン推論」のランドスケープは単一の構造ではなく、明確に異なる幾何学的レジームで構成されていると主張している：

報酬重み付きMLEクラスター: SFT、RFT、およびRIFTはメカニズム的に類似しており、ステップの大きさにのみ違いがある。
中間的なシフター: DFTおよびOffline GRPOは方向をシフトさせるが、SFTの損失の盆地内に留まる。
直交レジーム: DPOおよびオンポリシーの手法（Online GRPOなど）は、ほぼ直交する部分空間で動作し、明確に異なる表現幾何学を持つ。

著者らは、DPOが最高の精度を達成しているものの、この結果はオプティマイザの設定（具体的には学習率）によって混同されていることを強調している。したがって、本論文はDPOがその損失関数のみによって因果的に優れていると主張しているのではなく、特定のプロトコル下において、それが独自の幾何学的空間を占めていることが結果をもたらしたと述べている。本研究は、「オフラインRL」という言葉が単一のメカニズムを指すわけではないことを浮き彫りにしている。すなわち、データの選択（固定 vs オンポリシー）と損失関数が、重み空間の軌跡を共同で決定するのである。

限界事項: 本研究は、単一のドメイン（数学）、単一のベースモデル・チェックポイント、およびアテンションのみのLoRAに限定されている。DPOの比較については、学習率の不一致により不完全であることが認められており、対照的なファミリー（IPO, KTO, SimPO）の完全な調査は今後の課題として残されている。