Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road
本論文は、推論モデルの微調整における「推論の縮小」現象を調査し、トレーニングデータにおける曖昧な意思決定点シナリオの蔓延を主要な原因として特定するとともに、標的としたデータ合成と多様性を考慮したデコーディングがこのカバレッジの損失を効果的に軽減し得ることを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
生徒に迷路の解き方を教える場面を想像してください。どの道を選んでも出口を見つけられるようにしたい一方で、迅速かつ正確であることも望みます。
本論文は、複雑な数学や論理処理を行う高度なAIモデルを「推論」の専門家として訓練する際に発生する奇妙な問題を調査しています。この問題を「カバレッジの収縮（Coverage Shrinkage）」と呼びます。
以下に、著者らの発見を日常的な比喩を用いて簡潔に解説します。
問題：「縮む」地図
これらのAIモデルを訓練すると、正解への「唯一の」最善の経路を見つけるのが非常に上手になります。一度質問すれば、正解する可能性が非常に高くなります（これをpass@1と呼びます）。
しかし、同じ質問を10回、あるいは100回繰り返して、彼らが解くことのできるあらゆる異なる方法を観察しようとすると、多様性が失われます。全員が全く同じ答えを返すか、あるいは最悪の場合、全員が同じ誤った経路で立ち往生し始めます。彼らの「解決策の地図」は縮んでしまいました。異なる経路を探求する能力を失ったのです。
犯人：「分かれ道」
著者らは、この問題の原因がAIの学習アルゴリズムの欠陥にあるのではなく、訓練データにあると主張します。
物語の本で、登場人物が道端の分かれ道に到達する場面を想像してください。
- 現実世界： 登場人物は左に行ったり右に行ったりするかもしれません。両方の道は有効に見えますが、宝に導くのは片方だけです。
- 訓練データ： その物語の本には、登場人物が右の道を進む場面しか描かれていません。なぜ右を選んだのか、あるいは左の道が選択肢だったことさえも説明されていません。
著者らは、このような瞬間を**「分かれ道（Forks in the Road）」**と呼びます。これは、モデルが複数の有効な選択肢から選ぶ必要がある決定点ですが、データにはそのうちの1つしか示されていない状態です。
モデルは常に1つの経路しか見ていないため、悪い習慣を学習してしまいます。「最初に正しく見えるものを選び、たとえ間違っていたとしても100%自信を持っている必要がある」と。探索を停止し、「左」の道を検討することをやめてしまいます。なぜなら、物語の本にはそれが示されていなかったからです。
実験：理論の証明
研究者たちは、2つの巧妙な設定でこの仮説を検証しました。
スターグラフ（迷路）：
星型の迷路のように見える単純な数学パズルを作成しました。スタート地点には2つの経路があり、そのうち1つだけが正解へと導きます。- Aグループは、迷路を前方に進み、分かれ道で選択を行うモデルのデータで訓練されました。
- Bグループは、正解からスタート地点へ後方に進む（選択を必要としない）モデルのデータで訓練されました。
- 結果： 選択を強いられたAグループは、代替経路を見つける能力を失いました。一方、Bグループは完全な地図を保持していました。これは、十分な情報なしに選択を行う行為が収縮を引き起こすことを証明しました。
スタイルの切り替え（コード対言葉）：
コードを書くか、あるいは平易な英語で書くかのどちらかで解ける数学問題を取り上げました。- シナリオ1： 問題の混合を与えましたが、各問題には1つの解決スタイルしか示されませんでした（一部はコード、一部は言葉）。
- シナリオ2： 同じ混合を与えましたが、すべての問題について、コードによる解決策と言葉による解決策の両方を示しました。
- 結果： シナリオ1では、モデルは混乱し、単語の順序などといった些細で無関係な手がかりに基づいてスタイルを選択するようになり、選択肢を縮小しました。一方、同じ問題に対して両方の選択肢を見たシナリオ2では、モデルは柔軟性を保ち、「地図」を広く維持しました。
「偽の手がかり」（悪い習慣）
モデルは正解がわからないままこれらの「分かれ道」で選択を強いられているため、**偽の手がかり（spurious cues）**にしがみつくようになります。
- 例： 問題が「Let（～しよう）」という単語で始まると、モデルは「よし、'Backtracking（バックトラッキング）'という思考スタイルを使おう」と判断します。「To（～するために）」で始まると、「よし、'Linear（線形）'スタイルを使おう」と判断します。
- モデルは実際には数学について考えているのではなく、最初の単語に反応しているだけです。これによりモデルは脆くなります。最初の単語を変えれば、モデルは全く異なり（そしてより悪い）思考スタイルに切り替えてしまう可能性があります。
解決策：最初のステップを揺さぶる
本論文は、モデル全体を再訓練することなく、この問題を解決する2つの方法を提案しています。
- より良いデータ設計： 訓練データを作成する際、単に異なる種類の問題を混ぜるだけでは不十分です。各特定の問題について、それを解く複数の有効な方法をモデルに示してください。これにより、「この分かれ道では、両方の経路が可能である」とモデルに教えることができます。
- 「最初の単語」のトリック： モデルは生成する最初の単語に固執してしまうため、研究者らはスタートを「揺さぶる」方法を見つけました。「Okay（よし）」「Let's（～しよう）」、「To（～するために）」などの一般的な単語で開始することをモデルに強制することで、閉ざされていた異なる思考スタイルを解放することができました。
- 比喩： これはまるで、かじりついたドアのようです。モデルはドアが施錠されていると思い込んでいますが、取手を少し違う方向に押す（最初の単語を変える）と、ドアが開き、モデルはかつて知っていたすべての経路を思い出すことができます。
結論
本論文は、AIモデルが多様性を「忘れる」わけではないと結論付けています。彼らが単一の経路に固定されてしまうのは、訓練データが「分かれ道」で代替案を示すことなく盲目的な選択を強いたためです。データ内でこれらの選択を提示する方法を変更するか、あるいは回答の開始直後にモデルを軽く促すことで、失われた多様性を取り戻すことができます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。