コンピュータが、これまでに書かれたほぼすべての本を読み終えた、巨大で空腹な図書館であるような世界を想像してみてください。これらの図書館は「大規模言語モデル（LLM）」と呼ばれ、文章の次の単語を予測することにおいて驚異的な能力を持っています。しかし、単に文章を完結させる方法を知っているだけでは、トリッキーな数学の問題を解いたり、壊れたコンピュータプログラムのデバッグを行ったりするには不十分です。これらのタスクを本当に得意にするためには、彼らに「考え方」を教える必要があります。

このプロセスは、学生を訓練することに似ています。まず、学生は膨大な図書館を読み（事前学習）、言語の基礎を学びます。次に、教師が現れて、パズルを解くための具体的なレッスンを与えます（事後学習）。通常、教師は主に2つの方法を用います。一つは、完璧な答えを学生に見せて、「これを真似しなさい」と言う方法（教師あり微調整／Supervised Fine-Tuning）です。もう一つは、学生に実際に試行させ、成績を付け、「次はもっとうまくやるように」と伝える方法（強化学習／Reinforcement Learning）です。最近では、「オンポリシー蒸留（On-Policy Distillation）」と呼ばれる新しい手法が人気を集めています。これは、教師が学生が問題を解いている様子をリアルタイムで観察し、「その言葉は良かった」「いや、その言葉はダメだ」と、教師がそう言うであろう内容に基づいて囁くようなものです。これは効率的であり、複雑な採点システムを設計するという面倒な作業を回避できます。

しかし、ここには落とし穴があります。この賢い手法であっても欠点があります。教師が囁くとき、教師は学生がすでに知っていること、例えば「礼儀正しく振る舞う方法」や「物語を語る方法」などを、うっかり囁いてしまう可能性があるのです。それは、教師を天才たらしめている論理の「アハ体験（ひらめき）」とは異なるものです。この論文が問いかけているのは、非常にシンプルな疑問です。「もし、ノイズを取り除き、教師が学んだ『新しいテクニック』だけを教えることができたらどうなるだろうか？」ということです。

この論文は、**OPD2（On-Policy Delta Distillation）**と呼ばれる巧妙な新技術を紹介しています。研究者たちは、「推論を行う教師（Reasoning Teacher）」とは、実は一つのモデルの中に二つのモデルが含まれているのだと気づきました。それは、元の「ベース（Base）」モデル（推論を学ぶ前のモデル）と、「推論（Reasoning）」モデル（推論を学んだ後のモデル）です。もし、ベースモデルの思考を推論モデルの思考から差し引けば、「デルタ信号（Delta Signal）」が得られます。この信号は、教師が思考することを学んだ際に、具体的に何が変化したのかを示すハイライト・リールのようなものです。学生は、教師の最終的な答えをただコピーするのではなく、この「デルタ信号」――つまり、推論能力の飛躍を象徴する具体的な差異――から学ぶのです。

著者らは、数学、科学、コーディングの問題を混ぜてこのアイデアをテストしました。彼らは、「デルタ信号」を主要な報酬として使用することで、学生が従来の方法よりもずっと速く、より良く学習できることを発見しました。実際、彼らの新しい手法であるOP密なOPD2は、17億パラメータの極小モデルから80億パラメータの巨大なモデルに至るまで、さまざまなサイズのモデルにおいて、一貫して以前のベストな手法を打ち破りました。その効果は非常に高く、OPD2で訓練された小さなモデルが、古い手法で訓練されたはるかに大きなモデルを凌駕することさえありました。この論文は、教師の全人格ではなく、思考の「変化」のみに焦点を当てることで、AIに論理的思考をより効果的に教えることができると示唆しています。

「デルタ」信号の物語

この発見のメカニズムを、簡単な比喩を使って掘り下げてみましょう。あなたが複雑なビデオゲームを学んでいると想像してください。あなたには、歩く、跳ぶ、話すといった基本を知っている「ベース」バージョンのキャラクターがいます。そして、ゲームの最難関レベルをマスターした「プロ」バージョンのキャラクターがいます。

従来の教え方（標準的なオンポリシー蒸着）は、プロのキャラクターがあなたの横に立ち、「私がやる通りにやりなさい」と言うようなものです。問題は、プロのキャラクターも依然としてベースのキャラクターと同じように歩き、話すということです。ですから、プロが「前へ歩け」と言ったとしても、それはあなたがすでにできることを繰り返しているに過ぎません。あなたはプロになるための秘密のコンボを学ぶのではなく、歩く練習に時間を費やしてしまうのです。

この論文の著者である、NAVER AI Labの Byeongho Heo、Jaehui Hwang、Sangdoo Yun、および Dongyoon Han は、異なるアプローチを提案しました。彼らはこう問いかけました。「もし、プロとベースの『差』だけを学生に教えるとしたらどうだろうか？」

この差こそが、デルタ信号です。

• ベースモデル： 話したり書いたりすることはできるが、複雑な論理に対してはつまずくことがある。
• 推論を行う教師： 話すことも、書くこともでき、さらに難しい論理パズルを解くことができる。
• デルタ： 教師がパズルを解くために学んだ、特定の「魔法」の部分。

論文では、これをワードクラウドを用いて可視化しています。従来の手法が教えていた内容を見ると、「見る（see）」、「試す（try）」、「検証する（verify）」といった一般的な言葉で溢れていました。しかし、デルタ信号を見たとき、際立っていたのは「したがって（hence）」、「しかしながら（however）」、「注記（note）」、「代わりに（instead）」といった論理的な接続詞でした。これらは、論理的な議論を繋ぎ合わせる接着剤となる言葉です。デルタ信号は、学生がすでに知っている「退屈な」要素を効果的に取り除き、推論の「秘伝のソース」を浮き彫りにするのです。

彼らはどのようにOPD2を構築したのか

これを実現するために、研究者たちはいくつかのトリッキーな問題を解決しなければなりませんでした。単にデルタ信号を学生に与えるだけでは、信号が学生自身の行動を考慮していないため、学生が混乱する可能性があります。それは、プレイヤーの現在位置を見ることなく、コーチが指示を叫んでいるようなものです。

そこで、彼らはレシピに2つの特別な材料を加えました。

1. センタリング（Centering）： 信号がゼロを中心にバランスが取れるように調整しました。これにより、学生は単に生のスコアを受け取るのではなく、ある動きが「平均より良い」のか「平均より悪い」のかを理解できるようになります。
2. 結合条件付け（Joint Conditioning）： 新しいデルタ信号が、従来の標準的な手法と一致する場合にのみ機能するようにしました。これはセーフティネットとして機能します。もしデルタ信号が、教師の一般的なスタイルと矛盾するような奇妙な方向へ学生を押し進めようとした場合、システムは「待った」をかけ、更新を停止します。これにより、学生が論理を学ぼうとする過程で、話し方を忘れたり混乱したりすることを防ぎます。

結果：新たなチャンピオン

チームは、彼らがOPD2と名付けた新しい手法を、標準的な手法（OPD）およびExOPDと呼ばれるより高度な手法と比較しました。彼らは、数学、科学、コーディングのデータセットから10万問の質問を混ぜて使用しました。テストは、Qwen3ファミリー（サイズ：1.7B、4B、8B）およびGemma4を含む様々なモデルに対して行われました。

結果は目覚ましいものでした。「非思考（non-thinking）」モード（モデルが思考プロセスを示さず、素早く回答するモード）において、OPD2は他を一貫して圧倒しました。

• Qwen3-1.7Bモデルの数学において、OPD2は平均スコアを34.8から54.6へと引き上げました。これは劇的な上昇であり、次点の優れた手法を3ポイント以上上回っています。
• Qwen3-4Bモデルにおいて、OPD2は70.3の平均スコアに達しましたが、以前のベストであったExOPDは66.4でした。
• さらに驚くべきことに、OPD2で訓練された4Bモデルは、古い手法で訓練された8Bモデルよりも高いパフォーマンスを示しました。これは、モデルがいかに大きいかと同じくらい、どのように訓練するかが重要であることを示唆しています。

彼らはまた、モデルがすでに非常に賢く、推論ステップを示している「思考（thinking）」モードでもテストを行いました。モデルがすでに優秀であるため、ここでの改善は困難です。しかし、それでもOPD2はさらなる性能向上を絞り出しました。例えば、HMMT25数学ベンチマークにおいて、Qwen3-8BモデルはOPD2によってスコアを44.3から52.3へと向上させましたが、他の手法はスコアが悪化するか、ほとんど変化しませんでした。

この手法は、異なるモデルファミリーであるGemma4でも機能しました。他の手法が苦戦したり、モデルの性能を低下させたりした一方で、OPD2は数学のスコアを60.6から67.8へと向上させました。これは、「デルタ信号」を使用するというアイデアが、特定のモデルに限った偶然の現象ではなく、AIがより良く考えることを助ける一般的な原理であることを示しています。

なぜこれが重要なのか

この論文は、AIに推論を教える鍵は、単により多くのデータを流し込んだり、教師をより大きくしたりすることではないと示唆しています。重要なのは、何を教えているのかを正確に特定することです。モデルが推論を学ぶ際に生じる具体的な変化（デルタ）を分離することで、その能力をより効率的に転移させることができます。

著者らは、この手法が計算効率的であるとも述べています。コンピュータが背景で「ベース」モデルを実行して差分を計算する必要があるため、標準的な手法よりも訓練時間が約24〜28%長くなります。しかし、これらの訓練セッションは通常短期間（多くの場合、データへの1回のパス未満）であるため、このわずかな追加コストは、得られる莫大なパフォーマンス向上に対して十分に価値があります。

要するに、OPD2は、弟子に完璧なスープの秘訣を教える際、「塩を加えなさい」と言うのではなく、「普段よりも『これだけ多く』塩を加えなさい。なぜなら、それが美味しいスープと素晴らしいスープの差だからだ」と言うことに気づいた熟練のシェフのようなものです。差異に焦点を当てることで、学生はより速く、より良く秘密を学ぶことができます。論文は、このアプローチが、AIをよりスマートに、より速く、そして将来の複雑な問題を解決できる能力を持たせるための重要な一歩であると結論付けています。