Do Reasoning Models Enhance Embedding Models?
本論文は、推論能力を強化したLLMで埋め込みモデルを初期化しても、検証可能な報酬を用いた強化学習（RLVR）がグローバルな意味マニフォールドを保持するため、その後の対照学習によって初期化の状態に関わらず表現の再整列が可能となることから、ベースモデルに対して性能上の優位性が得られないことを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな問い： 「思考」は地図をより良くするか？
想像してみてください。あなたは、世界中のあらゆる詳細が描かれた巨大で非常に精巧な地図（これが大規模言語モデルです）を持っています。この地図は、目的地への道順を見つけたり、都市間の関係を理解したり、複雑な地形をナビゲートしたりするのに役立ちます。
最近、科学者たちは、モデルに回答する前に**「もっと深く考える」ことを教えることで、この地図の新しいバージョンを作成しました。彼らはRLVR**（検証可能な報酬を用いた強化学習）と呼ばれる手法を用いました。これは、地図に対して「ただルートを推測するのではなく、すべてのステップを計算し、数学的なチェックを行い、100%確信が持てたときだけ進みなさい」と命じる、厳しいコーチを与えるようなものです。
著者たちが投げかけた大きな問いは、**「もし地図がより良く『考える』ことを学んだとしたら、その地図自体がナビゲーションのためのより優れたツールになるのだろうか？」**というものでした。
具体的には、これらの「思考する」モデルが、より優れた**エンベディング（埋め込み）**を作成できるかどうかを知りたかったのです。簡単に言えば、エンベディングとは、文章を地図上の「点」へと変換する方法のことです。もし2つの文章が同じ意味であれば、それらの点はすぐ隣に位置するはずです。
驚きの答え： 地図に変化なし
著者たちは、これらの「思考する」モデルをエンベディング・ツールへと変換することで、このテストを行いました。そして、それらを元の「思考しない」モデルと比較しました。
結果： 「思考する」モデルは、元のモデルと全く同じパフォーマンスを示しました。
- 比喩： あなたがGPSアプリを持っていると想像してください。ドライバーが運転中に複雑な数学の問題を解けるように、アプリをアップグレードしました。すると、ドライバーがより良いルートを通るようになることを期待するでしょう。しかし、いざGPSをテストしてみると、ルートは以前と全く同じでした。つまり、「思考」は地図を全く変えなかったのです。
これは、モデルが推論において賢くなれば、その内部にある言語の理解（すなわち「地図」）も向上するはずだと誰もが考えていたため、非常に驚くべき結果でした。
探偵の仕事： なぜこのようなことが起きたのか？
なぜパフォーマンスが変わらなかったのかを解明するために、著者たちはHRSA（階層的表現類似性解析）と呼ばれる新しいツールを考案しました。HRSAは、異なる角度からモデルの脳を観察する、3層構造のX線検査装置のようなものです。
- 座標系（表現レベル）： 地図の軸は同じ方向を向いているか？
- 地形の形（幾何学レベル）： 山や谷の形は同じか？
- 目的地（機能レベル）： モデルは依然として同じ場所へ行く方法を知っているか？
彼らが見つけたもの：「多様体の再整列（Manifold Realignment）」
彼らはこのX線検査を用いて、**「多様体の再整列」**と呼ばれる極めて興味深い現象を発見しました。
「思考」のプロセス（RLVR）は「ハイカー」のようなもの：
モデルが「考える（RLVR）」ことを学ぶとき、モデルは地図全体を描き直すわけではありません。山を動かしたり、海を変えたりすることはありません。その代わりに、既存の地形の上を歩くためのより良い経路を学習するのです。- グローバルな形状： 世界全体の形（「グローバルな幾何学」）は、まったく同じままです。
- ローカルな形状： しかし、ハイカーは足元にある小さな茂みや岩を、特定の旅をより容易にするために、配置し直します（「ローカルな幾何学」）。
「エンベディング」のプロセス（対照学習）は「コンパス」のようなもの：
彼らがこれらのモデルをエンベディング・ツールへと変換した際、彼らは「対照学習」と呼ばれる学習法を用いました。これは、地図を標準的なグリッドに合わせるよう強制するコンパスのようなものです。- 「思考」モデルは、小さな茂み（ローカルな幾何学）のみを変更し、山（グローバルな幾何学）は変更しなかったため、コンパスは容易に地図を再整列させることができました。
- コンパスは、小さな再配置を無視し、「思考」モデルの地図を元のモデルの地図へと完璧に一致するように引き戻したのです。
比較：「思考」 vs 「暗記」
著者たちはまた、モデルに特定の回答リストを暗記させるような、SFT（教師あり微調整）と呼ばれる異なる手法とも比較を行いました。
- SFTは、地図にハンマーを叩きつけるようなものです。山を粉砕し、谷の形を変えてしまいます。これにより、全く別の地図が作り出されます。これが、SFTモデルがエンベディングのタスクにおいて（時には性能が低下するなど）異なるパフォーマンスを示す理由です。
- **RLVR（思考）**は穏やかです。地図の構造を保ったまま、ルートを最適化します。
結論
この論文は、RLVR（「思考」のトレーニング）は、根本的な地図自体を改善するものではないと結論付けています。
- それは、軌跡（トラジェクトリー）（モデルが問題を解決するために辿る経路）を最適化します。
- しかし、景観（ランドスケープ）（モデルが言語を理解する根本的な方法）を再構築することはありません。
したがって、もしあなたがより優れたエンベディング・モデル（似たテキストを見つけるためのより良い地図）を探しているなら、単にモデルに「より深く考える」よう訓練しても、効果はありません。あなたは地図そのものを変える必要があり、単にモデルの歩き方を変えるだけでは不十分なのです。「思考する」モデルは、同じ古い地図の上を歩いているだけであり、目的地に到達するために、わずかに異なる、より慎重なルートを選択しているに過ぎないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。