🤖 AI

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

本論文は、大規模言語モデルにおける推論と記憶を区別し、記憶によるショートカットではなく真の推論能力の向上へと探索を導く、方向性を考慮した強化学習フレームワークであるDiRLを導入し、数学および一般的な推論ベンチマークにおいて大幅な性能向上を実証するものである。

原著者： Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、優秀だが少し混乱している生徒（AI）に、複雑な数学の問題を解く方法を教えていると想像してください。あなたは、生徒がさまざまなアプローチを試し、間違いを犯し、何がうまくいくのかを理解させることで、学べるようにしたいと考えています。これは**強化学習（Reinforcement Learning）**と呼ばれます。

しかし、そこには罠があります。生徒には2つの学習方法があります：

真の推論（True Reasoning）: 「もしXをすれば、Yが起こる」といった具合に、ステップを実際に考え抜くこと。
暗記（Memorization）: 以前見た特定の質問の答えを覚えていたり、その問題だけに通用するラッキーなショートカットを使ったりすること。

問題点：「ランダムな推測」の罠

これまでの手法は、まるで「何であれ、違う方法を試したことを素晴らしい！」と言う教師のようでした。

もし生徒が、新しい、巧妙な解き方を試したら、教師は褒めました。
しかし、もし生徒が、暗記した答えの数字を入れ替えただけ（例：理由もわからず「5」を「6」に変えただけ）だったとしても、教師はそれが「違って見える」という理由で、同様に褒めてしまいました。

これは良くないと、論文は主張しています。あらゆる「違い」に対して報酬を与えてしまうと、AIは思考のプロセスを学ぶ代わりに、パターンやショートカットを暗記して、手抜きをするようになってしまいます。これは、練習テストの解答集を暗記したものの、数字が少し変わっただけで本番の試験に失敗してしまう学生のようなものです。

解決策：DiRL（方向性を考慮した強化学習）

研究者たちは、DiRLという新しい手法を提案しています。DiRLは、教師が「良い違い」と「悪い違い」を区別するのを助ける、賢いコンパスだと考えてください。

その仕組みは以下の通りです。

1. 地図を描く（方向性）

トレーニングが始まる前に、研究者たちはAIの脳を観察し、地図上に一本の線を引きます。

線の一方の側は**「推論」**（一生懸メント考えること）です。
もう一方の側は**「暗記」**（事実を思い出すこと）です。
彼らは、AIが考えている時と、単に記憶を呼び出している時の脳の状態がどのようなものかを正確に把握します。この線は、トレーニング中ずっと固定されています。

2. 「方向性確認」チェック

AIが問題を解こうとするたびに、DiRLはこうチェックします。「今回の新しい試みは、地図上の『推論』側に近づいたか？それとも、『暗能』の周りでただ動いただけか？」

シナリオA（良いケース）: AIが、論理的な新しい経路を試しました。コンパスは「推論」の方角を指します。
- 結果: 教師は大きなボーナスを与えます。「素晴らしい！より深く考えられているね！」
シナリオB（悪いケース）: AIが、暗記した答えのバリエーションに過ぎないショートカットを試しました。コンパスは「暗記」の方角を指します。
- 結果: 教師はペナルティを与えるか、あるいは報酬を小さくします。「推測はやめて、考え抜いてみて。」

3. 報酬システム

従来のメソッドでは、AIは単に「斬新（新しい）」であるだけで報酬を得ていました。しかし、DiRLでは、AIは**「正しい方向への斬新さ」**に対してのみ報酬を得ます。

もしAIが間違いを犯したとしても、それが推論のプロセスに基づいているなら、正しい考え方を学んでいるため、小さな報酬が与えられます。
もしAIが正解を出したとしても、それが暗記によるものだった場合は、根本的な論理を学んでいないため、報酬は小さくなります。

なぜこれが重要なのか

研究者たちは、これを難しい数学の問題（高校の競技数学レベル）でテストしました。

結果: DiRLで訓練されたAIは、見たことがない問題を解く能力が大幅に向上しました。
証拠: 研究者が数字や問題の形式を変更したとき（暗記を無意味にする変更）、DiRLで訓練されたAIは依然として良好なパフォーマンスを示しました。これは、AIが暗記ではなく、実際に「推論」を学んだことを証明しています。

まとめ

犬の訓練を想像してみてください。

旧メソッド: 犬が何か違うことをするたびに、たとえそれがただの回転運動であっても、おやつを与えます。結局、犬は、おやつをもらうために回転することばかりを覚えます。
DiRLメソッド: 犬が、ボールを捕まえるのに役立つ「違う動き」をした時にだけ、おやつを与えます。回転している時は無視（あるいは優しく修正）します。

この論文は、私たちが「どのような種類の多様性」に報酬を与えるかを厳選することで、AIを「オウム」ではなく、より人間のように「推論」できる存在へと教え込むことができることを示しています。

技術要約：DiRL – LLMの強化学習における方向性を考慮した多様性探索

問題提起
強化学習（RL）は、大規模言語モデル（LLM）に複雑な推論能力を引き出すための主要なパラダイムとなっています。しかし、強化学学における中心的な課題は「探索（exploration）」です。方策（policy）は、狭く不適切な局所解（suboptimal modes）への崩壊を避けるために、多様な軌跡をサンプリングしなければなりません。既存の探索手法は、通常、意味空間や勾配空間における多様性を促進しますが、その多様性の「源泉」を区別することはありません。ある軌跡が、真に新しい推論パスを辿っているために斬新に見えるのか、あるいは単に記憶されたパターンやショートカットを変奏しているだけなのかを区別しません。現在のアプローチはこれら両方の振る舞いを等しく報酬として与えてしまいますが、これは推論能力の向上ではなく、記憶（暗記）への偏りを助長するリスクがあります。指標が、最適化のダイナミクスをより正確に反映するためにセマンティックな埋め込みから勾配空間へと移行したとしても、新しい更新が推論能力の強化ではなく、記憶の強化を強めてしまう可能性があります。

手法：DiRLフレームワーク
本論文では、方策自身の表現から導出される内部的な「推論ー記憶方向」に探索を固定するフレームワークであるDiRL (Direction-Aware Reinforcement Learning) を提案します。DiRLは、標準的なGroup Relative Policy Optimization (GRPO) アルゴリズムにシームレスに統合されます。この手法は、以下の4つの段階を経て進行します。

推論ー記憶方向の抽出:
RLトレーニングの前に、本手法は方策の残差ストリーム（residual stream）内に固定された方向ベクトル $k$ を構築します。これは、2つの互いに素なタスク集合、 $text{D}^+$ （多段階の数学など、推論集中的なタスク）と $\text{D}^-$ （事実の想起など、記憶集中的なタスク）の間の平均活性化の差を計算することによって達成されます。この方向は、ある応答が推論行動と記憶行動のどちらに近いかを区別するための幾何学的なアンカーとして機能します。
方向重み付き勾配特徴量:
各応答に対して、DiRLは、その応答が方策をどのように更新するかを要約する勾配特徴量 $\Phi^{(i)}$ を構築します。標準的な勾配特徴量とは異なり、これらは各トークンの隠れ状態と推論方向 $k$ との整合性によって重み付けされます。推論側に沿ったトークンは高い重みを受け取り、記憶側に沿ったトークンは低い重みを受け取ります。これにより、結果としての特徴量ベクトルが、記憶ではなく推論における多様性を主に反映するように保証されます。
推論にアンカーされた探索スコア:
本フレームワークは、ロールアウトのグループを、平均隠れ状態の $k$ への投影に基づいて、推論整合グループ（ $G_R$ ）と記憶整合グループ（ $G_M$ ）の2つのサブグループに分割します。
- $G_R$ 内の応答については、探索スコアは他の推論整合型のピアに対する新規性を測定します。
- $G_M$ 内の応答については、探索スコアは推論整合型の更新方向からの距離を測定します。
  この設計により、有効な推論パスの空間を拡張する場合にのみ多様性が報酬として与えられ、記憶に関する変奏は価値が低い、あるいは有害なものとして扱われるようになります。
方向を考慮した報酬整形:
探索スコアは、元のバイナリ報酬を整形するために使用されます。正解の推論整合型応答には報酬が増幅され、不正解の推論試行には（有用な方向的更新に寄与するため）ペナルティが緩和されます。逆に、正解の記憶整合型応答には報酬が減額されてショートカットを抑制し、不正解の記憶応答にはより重いペナルティが課されます。これらの整形された報酬は、標準的なGRPOのアドバンテージ計算に投入されます。

主な貢献

DiRLフレームワーク: 推論と記憶の区別に探索を明示的に固定し、方策を記憶されたパターンではなく真の推論へと導く、方向を考慮したRLフレームワークの導入。
斬新な探索メカニズム: 方向重み付き勾配特徴量空間において新規性を測定し、推論整合的な探索を選択的に増幅させつつ、記憶整合的な変奏を抑制するメカニズムの開発。
実証的検証: 数学的および一般的な推論ベンチマークにおいて、標準的なGRPOや他の多様性ベースの探索手法と比較して、DiRLが性能を向上させることを示す広範な実験。

実験結果
著者らは、Qwen3-1.7BおよびQwen3-4Bバックボーンを用いて、複数のベンチマークでDiRLを評価しました。

数学的推論: MATH500、AMC、AIME24、AIME25を含むベンチマークにおいて、DiRLは一貫してベースライン（GRPO、Entropy Bonus、EVOL-RL、G2RL）を上回りました。例えば、Qwen3-4Bにおいて、DiRLはMATH500で83.0のpass@1（GRPOより+5.6）、AIME24で19.6（+7.3）を達成しました。
一般的推論: GPQAおよびMMLU-Proにおいて、DiRLは一貫した改善を示し、その恩恵が数学的問題解決を超えて一般的な推論能力にも及ぶことを示しました。
汎化性能と堅牢性: DiRLで学習されたモデルは、GSM-Symbolicおよびその摂動されたバリアントにおいて優れた性能を示し、モデルが特定のベンチマークのパターンに過学習するのではなく、基礎となる推論手順を学習したことを示唆しています。
ロールアウトの分析: DiRLは、ロールアウトにおける推論整合型応答の割合を増加させました（例：Qwen3-4BのAIME25において、45.8%から60.0%へ）。
効率性: 本手法は、フォワードパスの活性化と事前に抽出された静的な方向ベクトルに依存しているため、訓練ステップあたりの計算オーバーヘッドは最小限（約13-18%の増加）に抑えられています。

意義と主張
本論文は、LLMの強化学習における効果的な探索とは、単に多様な軌跡を生成することではなく、真に推論を拡張する軌跡を奨励することであると主張しています。LLMの内部幾何学を利用して推論と記憶を区別することで、DiRLはRLをより堅牢な推論行動へと導くメカニズムを提供します。著者らは、この研究が、内部モデルのシグネチャを使用して学習ダイナミクスを最適化する、表現を考慮した探索（representation-aware exploration）の研究を動機付けるものであると考えています。また、現在の手法は代表的なデータから抽出された単一のグローバルな方向に依存しており、将来の研究では、推論行動の複数の潜在次元を発見することを探索できる可能性があるとして、限界についても言及しています。