Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories
本論文は、推論をマルコフ遷移としてモデル化することにより、ポストトレーニングにおける探索のパラドックスを解決し、RLVRやORM/PRMといった標準的な手法がモデルを高確率な経路へと偏らせ、稀な推論ステップを忘却させてしまうことを理論的に証明するとともに、インスタンスの拒絶やKL正則化といった探索戦略がこれらの極めて重要な軌跡を保持するのに役立つことを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
全体像：「賢いが、頑固な」学生
非常に賢い学生（基盤モデル）を想像してみてください。彼らは図書館にあるすべての本を読み終えたような状態で、あらゆることについて少しずつ知識を持っています。しかし、特定の非常にトリッキーな数学の問題を与えられると、時々行き詰まったり、ミスをしたりすることがあります。
これを修正するために、教師はポストトレーニング（検証可能な報酬を用いた強化学習、RLVRなど）を用います。これは、学生にテストを受けさせ、答えをチェックして、「正解したら素晴らしい！次も同じようにやってごらん」と伝えるようなものです。
問題点： この論文は、この「練習」がしばしば裏目に出ることを指摘しています。モデルは、難しい問題を解くための「新しい方法」を学ぶ代わりに、自分がすでに知っている「最も簡単な方法」に執着してしまうのです。もし問題が、巧妙で珍しいテクニックを必要とするものだった場合、学生は単純で一般的な手法を練習することに夢中になりすぎて、そのテクニックを忘れてしまいます。
著者らはこれを**「スクイージング効果（押しつぶし効果）」**と呼んでいます。それはスポンジを絞るようなものです。水はすべて絞り出せますが、同時にスポンジの形も押しつぶされてしまいます。モデルは一般的なタスクには非常に強くなりますが、稀で困難なタスクを扱う能力を失ってしまうのです。
比喩：推論の迷路
なぜこのようなことが起こるのかを理解するために、著者らは推論を巨大な樹形図のような迷路としてイメージしています。
- スタート： 入口（問い）にいます。
- 経路： 出口（答え）に到達するための多くの経路があります。
- 易しい経路（高確率）： これらは幅の広い舗装された高速道路です。ほとんどの人がこれを通ります。これらは大抵の問いに対して機能します。
- 難しい経路（低確率）： これらは狭く、草が生い茂った小道です。めったに通りません。しかし、特定のトリッキーな問いに対しては、これこそが正解へと導く唯一の道となります。
1. 事前学習（Pre-training）：地図の発見
学生が練習を始める前、彼らは迷路を探索します。彼らは高速道路も隠れた小道も、両方を見つけ出します。彼らは地図が存在することを知っています。
2. ポストトレーニング（Post-Training）：「押しつぶし」
教師が正解に対して報酬を与え始めると、学生は地図を見てこう考えます。「おや、高速道路は道幅が広くて、いつもこれで正解できる。だったら、高速道路だけを通っていよう。」
論文は、標準的な学習手法（RLVR、PPO、RAFTなど）が磁石のように作用することを数学的に証明しています。それらは学生の注意を完全に高速道路へと引き寄せてしまいます。
- 結果： 学生は高速道路の達人になります。しかし、もし特定の問いが「隠れた小道」にしか解法を持っていない場合、学生はその道を見つける方法を忘れてしまっています。そして、その難しい問いに失敗するのです。
3. 「一貫性」の罠（ORM/PRM）
論文では、思考プロセスの中で「スコアラー（評価器）」（ニューラルネットワーク）がステップを判定するという、別の手法についても見ています。
- 罠： スコアラーは一貫性に偏っています。スコラーは、いつも上手くいく手順が何度も繰り返されることを好みます。そのため、高速道路のステップには高いスコアを与えますが、たとえ隠れた小道が現在の問題を解くための唯一の道であったとしても、その小道のステップには低いスコアを与えてしまいます。
- 結果： 学生は、そこに到達する前に、隠れた小道から遠ざけられてしまうのです。
解決策：学生の柔軟性を維持する方法
論文は単に問題を指摘するだけでなく、学生が難しい道を忘れないようにするための理論的な解決策を提示しています。
解決策A：易しい問題を拒絶する（RL-rej）
教師がこう言った場面を想像してください。「もし君がこの問題を易しい高速道路を使って解けるなら、私はそれを見たくない。私は、高速道路が通用しない問題において、君がどう解くかを見たいのだ。」
- 仕組み： 易しい勝利に対して報酬を与えることを拒否することで、教師は学生に隠れた小道を探索することを強制します。
- 論文の主張： これにより、モデルは隠れた小道を忘れることなく、稀で困難な経路を学習することができます。
解決策B：「温度」のつまみ（KL正則化）
学生が高速道路に固執しすぎている様子を想像してください。そこで教師は「温度」のつまみ（KL正則化）を追加します。
- 仕組み： このつまみは学生にこう伝えます。「自分を過信するな。元の好奇心を少し残しておきなさい。」これにより、学生が100%高速道路だけに集中してしまうのを防ぎ、隠れた小道が存在することも依然として記憶させておくことができます。
- 論文の主張： これにより、モデルの「マルチタスク」能力が維持され、一つのことに集中している間に他のタイプの問題を解く能力を失うことがなくなります。
解決策C：「Doob h変換」（DPRM）
これは「スコアラー」の手法に関する、より高度な数学的トリックです。
- 比喩： スコアラーは現在のステップを見るだけでなく、パスの「未来全体」を見渡します。それはこう計算します。「もし今、この狭い小道を通ったとしたら、ゴールに到達する確率はどのくらいだろうか？」
- 論文の主張： この手法（DPRMと呼ばれる）は、数学的に「ソフトな」形式の最適解選択と同等です。これにより、隠れた小道を押しつぶすのではなく、それらをオープンでアクセス可能な状態に保つことができます。
結論
この論文は、単純な真理を数学を用いて証明しています。**「もし『易しい』思考のやり方ばかりに報酬を与えれば、最終的に『難しい』思考のやり方は忘れてしまう」**ということです。
- 標準的な学習： モデルを易しいタスクのスペシャリストにしますが、難しく稀なタスクにおいては失敗作にします。
- 解決策： モデルが易しい事柄に過度に集中するのを、積極的に防がなければなりません。易しい勝利を無視したり、多様性を保つために「温度」を加えたり、あるいは稀なパスの「可能性」を評価するよりスマートなスコアリング手法を用いることで、それを実現できます。
著者らは、彼らの数学が簡略化された「トイ・モデル（理論上の迷路）」に基づいているものの、それが今日の大型AIモデルに見られる現実世界の挙動、つまり「なぜAIが時として単純なパターンに陥り、困難で巧妙な解決策を見つけることができなくなるのか」を説明していると強調しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。