Reasoning Fine-Tuning Induces Persistent Latent Policy States

あなたは、ある優秀な学生が複雑な数学の問題を解いている様子を観察していると想像してください。時として、彼らはただ答えを口走ったり、何かが引っかかるまで一つのアイデアを次々と試しながら、推測の霧の中を彷徨ったりします。しかしまたある時は、彼らは明確で、ステップ・バイ・ステップの計画を持っています。彼らは問題を理解するために立ち止まり、問題を小さな断片に分解し、自分の作業をダブルチェックし、そして自信を持って最終的な解を書き上げます。長年、科学者たちは、コンピュータープログラムである「大規模言語モデル（LLM）」がいかにして後者のタイプの思考を行うようになるのかについて疑問を抱いてきました。これらのモデルは膨大な量のテキストで学習されますが、推論を得意にするために、研究者は「思考の連鎖（Chain of Thought）」、つまり最終的な答えの前にステップ・バイ・ステップの説明を求める問題を用いて追加のトレーニングを行います。

大きな謎は、この追加のトレーニングが、単に次の単語を予測する能力をわずかに向上させているだけなのか、それとも、時間の経過とともにモデルの「脳」の仕組みを根本的に再編成しているのか、ということでした。これは、混沌とした群衆がランダムに言葉を叫んでいる状態と、よく練習されたオーケストラが交響曲を奏でている状態の違いのようなものです。論文では、このトレーニングが、モデルを「いつバイオリンを入れ、いつドラムに主導権を渡すべきかを正確に知っている指揮者」に変えるのか、それとも、単に「より大きく、より自信に満ちた群衆」にしているだけなのかを問うています。このモデルがどのように考えているのかを理解することは極めて重要です。なぜなら、もし私たちが彼らの思考プロセスを理解できれば、モデルが行き詰まったときに修正したり、現在失敗している問題を解決する手助けをしたりできるからです。

---

AIの脳内にある隠れたスイッチボード

この論文において、研究者たちはAIの思考プロセスを**スイッチング動的システム（switching dynamical system）として扱っています。これは、モデルの脳は単に滑らかに流れる思考の川ではなく、むしろ異なる「トラック」や潜在的な方策状態（latent policy states）**の間を飛び移る列車であると想定していることを意味する、専門的な表現です。

AIを長い旅の途中の旅行者だと想像してみてください。「ベース」モデル（推論用に特別に訓練されていないモデル）は、目的もなく彷徨う観光客のようなものです。彼らはカフェに立ち寄ったり、公園に行ったり、美術館に行ったりしますが、しばしば同じ場所をぐるぐると回ったり、混乱したり、明確な目的地を持たずにランダムに場所を移動したりします。彼らの経路は乱雑で予測不可能です。

対照的に、推論ファインチューニングされたモデルは、熟練したガイドのようです。このガイドは、明確な「モード」や「状態」を持つ隠れた地図を持っています。ガイドが「計画モード」に入ると、ルートを慎重に練りながらしばらくそこに留まります。次に、数字を計算する「計算モード」へと切り替わります。最後に、最終回答に到着する前にすべてをダブルチェックするために「検証モード」へと移動します。この論文の主要な発見は、トレーニングが単にガイドを賢くしただけでなく、これらのモード間の切り替えをより組織的で構造化された方法で行えるようにしたということです。

研究者たちの発見

チームは、数学や論理パズルの問題を解いている最中の、15億から320億のパラメータを持つAIモデルの内部の「活性化（activations）」（電気信号）を調査しました。彼らはCEBRAと呼ばれる特殊なツールを使用して、この膨大なデータを単純で低次元のマップへと圧縮し、次に**スイッチング動的システム（SDS）**という数学的枠組みを適用して、隠れた「レジーム（体制）」や状態を見つけ出しました。

彼らが発見したことは以下の通りです：

1. より組織化された切り替え: 推論訓練されたモデルは、単に多くの状態を持っているだけでなく、それらの間を切り替えるためのより優れた構造を持っていました。ベースモデルは、近くの状態の間でランダムに明滅する傾向がありましたが（まるで故障した電灯のスイッチのように）、推論モデルは、明確で、よく分離された「クラスター（集団）」の活動を持っていました。彼らは一つの状態に長い時間留まり（高い持続性）、それから次に必要な状態へと意図的なジャンプを行いました。
2. 機能的な専門化: 研究者たちは、これらの隠れた状態が、実際の推論ステップと実際に一致していることを発見しました。ある状態は明らかに「問題について考えている」ものであり、別の状態は「計算を行っている」ものであり、また別の状態は「答えをチェックしている」ものでした。推論モデルは、適切な状態に適切な時間留まることに非常に長けていました。
3. 単に正解することだけが目的ではない: 研究の重要な部分は、これらのパターンが、推論モデルがより多くの正解を出したから出現したのではないという考えを排除することでした。研究者たちは、ベースモデルと推論モデルの両方が正解した問題のみに焦点を当てることで、これをテストしました。これら「完璧な」ケースにおいても、推論モデルは依然として組織化されたマルチステート構造を示しましたが、ベースモデルは混沌としたままでした。このことは、この構造が、単にスコアが向上したことによる副産物ではなく、モデルの「考え方」における根本的な変化であることを示唆しています。
4. 因果関係の証明（「移植」実験）: これらの状態が実際に重要な役割を果たしていることを証明するために、研究者たちは「手術」を行いました。彼らは、推論モデルの「切り替えルール（方策）」を取り出し、それをベースモデルに移植しようと試みました。ベースモデルの脳を、推論モデルの経路に従うよう優しく促すことで、彼らはベースモデルが以前は失敗していた問題を解けるようにすることに成功しました。これは、組織化された切り替えパターン自体が、違いを生み出す要因であることを証明しました。

実用的なスーパーパワー：「PrefixGuard」

この発見から得られた最もエキサイティングな実用的応用は、ミスを修正することにありました。研究者たちは、モデルが「悪いパス」（失敗につながる推論の接頭辞）に入り始めると、役に立たない特定の状態に陥る傾向があることに気づきました。

彼らはPREFIXGUARDというツールを構築しました。これは、ランナーを見守るコーチを想像してください。もしランナーが間違った方向に全力疾走し始めたら、コーチはエネルギーを無駄にする前に「ストップ！」と叫びます。PREFIXGUARDはAIに対してこれを行います。それは、モデルが思考を開始する際の隠れた状態を監視します。もしモデルが「失敗しやすい」状態に入っているのを見つけると、その思考の連鎖を遮断し、より良いアプローチでモデルを再起動させます。

結果は目覚ましいものでした。異なるモデルと異なる数学データセットを組み合わせた12のテスト設定のうち11において、この手法は標準的な手法と比較して、モデルの精度を最大12.5パーセントポイント向上させました。それは単に推測を改善したのではなく、誤った方向への転換を完全に回避したのです。

これが意味すること

この論文は、AIに推論を教えるとき、私たちは単に新しい事実を教えているのではないことを示唆しています。私たちは、その内部の「オペレーティングシステム」を根本的に再編成しているのです。私たちは、モデルに一連の明確で持続的なメンタルモードを与え、それらの間を一貫した、時間感覚を持ったシーケンスで切り替える方法を教えているのです。

著者たちは、これがモデルに人間のような意識があることや、哲学的な意味で何を「知って」いるかということではない、と注意深く述べています。そうではなく、その思考の数学的構造が、混沌としたシャッフルではなく、よく振り付けされたダンスのようになっていることを意味しています。この発見は、AIがどのように機能するかを分析するための新しい方法を開くだけでなく、より重要なことに、これらのモデルをエラーから遠ざけ、より良い解決策へと導くための新しいツールを与えてくれます。