コンピュータが人間のように話し、物語を書き、パズルを解くことができる世界を想像してみてください。これは人工知能（AI）、特に大規模言語モデル（LLM）の領域です。これらのモデルを、図書館にあるほぼすべての本を暗記した、非常に博識な学生だと考えてみてください。彼らは文章の中で次にくる単語を推測することには長けていますが、難しい数学の問題に直面すると、時折自分の足に躓いてしまいます。もし彼らが小さなミスを犯すと、そのエラーの上に積み重ねていってしまい、ブロックの塔が新しい層が重なるたびにぐらつき、最終的に崩れてしまうような状態になります。科学者たちは、これらのAI学生に、宿題を提出する前に自分の間違いを見つけ出し、修正する方法を教えようとしてきました。これは「自己修正（self-correction）」と呼ばれます。それは、学生に赤ペンを与えて自分のテストを採点させるようなものですが、コツは、ただ盲目的に変更するのではなく、実際にエラーを見つける方法を教えることです。

これから読む論文は、この「赤ペン」というアイデアにおける特定の問題に取り組んでいます。AIに自己修正を教えようとするこれまでの試みは、AIがパニックになってすべてを変えてしまったり、あるいは間違った箇所を直してしまったりしたために失敗することがよくありました。この研究の著者であるシンガポールとベトナムの大学のチームは、トレーニング戦略を変更することにしました。AIに対して単に「この回答全体が間違っている」と言うのではなく、問題を一歩ずつ、極めて細かく見ていくように教えたのです。彼らはSelf-Fix Step-DPO (SFS-DPO) と呼ばれる新しい手法を生み出しました。これは、数学のチューターが単に「君は失敗した」と言うのではなく、計算の特定の行を指差して、「待って、このステップは怪しいよ」と言い、その行だけを正確にどう直すべきかを示してから先に進むようなものです。研究者たちは、各個別のステップにおける推論能力を強化し、その上でそれらのステップ内のエラーを具体的にターゲットにして修理する方法を教えることで、AIが複雑な数学の問題を解く能力が大幅に向上することを発見しました。彼らは、超スマートなAIが「なぜ」そのステップが間違っていたのかを説明する「教師支援型（teacher-assisted）」バージョンもテストしましたが、これが学生AIの学習をさらに加速させました。結果は、このステップ・バイ・ステップのアプローチが、単に推測を良くするだけでなく、道中で自分の間違いを見つけ出し、修正する方法を学ぶことで、AIモデルをより信頼性が高く正確なものにすることを示唆しています。

2段階のトレーニングキャンプ

研究者がAIに「自分自身の最高の編集者」になる方法をどのように教えたかを理解するために、若い弟子のための2段階のトレーニングキャンプを想像してみてください。

ステージ1：基礎の構築
まず、AIは屋根の漏れを直す方法を学ぶ前に、頑丈な家を建てる方法を学ぶ必要があります。過去には、エラーが発生した直後に修正することを教えようとするトレーニング手法もありましたが、研究者たちは、それがまるで壁がまだ砂でできているうちに屋根を補修しようとするようなものだと考えました。そのため、彼らの第一段階は**ステップレベルの選好最適化（Step-Level Preference Optimization）**に焦点を当てています。

これは、AIがある数学の問題の特定の地点から、2つの進むべき道が提示される「選択型アドベンチャー（Choose Your Own Adventure）」ゲームのようなものです。一方の道は正しい次のステップであり、もう一方は間違ったステップです。AIは正しい道を選ぶことで報酬を得ます。これはまだ間違いを直す作業を含んでいません。単に、何が良い次のステップであるかを認識することを学ぶプロセスです。研究者たちはこれを「初期化ステージ（Initialization Stage）」と呼んでいます。これは、チェスのプレイヤーにミスから回復する方法を教える前に、まず良い手とは何かを認識させることに似ています。これを行うことで、AIはあらゆるステップにおいて「正しい推論」がどのような感覚であるかという、強力な内部コンパスを構築します。

ステージ2：自己修正ドリル
AIが強固な基礎を持った後、第二段階に入ります：ステップごとの自己修正（Step-wise Self-Correction）。今度は、AIはすでに間違いを犯してしまった問題を与えられます。目標は、AIに以下のことを教えることです：

1. エラーを見つける： 「待てよ、今のステップは辻褄が合わないぞ」
2. 修正する： 「その間違ったステップを正しいものに置き換えよう」
3. 続ける： 修正された経路で解決を進める。

研究者たちは、AIがエラーを残したままのバージョンよりも、「自己修正された」バージョンの解決策を好むように訓練しました。これは、学生に赤ペンを与えて、「もし間違いを見つけたら、丸で囲み、訂正を書き、そして問題を最後まで解きなさい」と言うようなものです。

「優等生」バリアント

チームはまた、SFS-DPO-R と呼ばれる特別なバージョンの手法も作成しました。「R」は「Reasoning（推論）」を意味します。このバージョンでは、AIにエラーの直し方を推測させるだけではありません。代わりに、超スマートな「教師」AIを使用して、学生AIが修正を試みる前に、なぜそのステップが間違っていたのかについての短い説明を書かせました。

数学の問題を間違えた学生を想像してください。

• 標準的な方法： 教師は「これは間違いだ。直しなさい」と言います。学生は直し方を推測します。
• SFS-DPO-R メソッド： 教師は「これは、君が間違った数字で割ったために間違いだよ。君が見落としたルールはこれだ。さあ、直しなさい」と言います。

研究者たちは、この追加の説明が「超強力な信号」として機能し、学生AIがエラーの性質をより良く理解するのを助けることを発見しました。これには「教師（より強力なAIモデル）」が説明を生成する必要がありましたが、それがより優れた結果をもたらしました。

彼らが発見したこと（および発見しなかったこと）

研究者たちは、7つの異なるAIモデル（70億パラメータの小さなものから140億パラメータの大きなものまで）を用いて、彼らの新しい手法をテストしました。彼らは、GSM8KやMATHのような標準的なテスト、さらには中国の大学入試（GK2023）や大学レベルの科学問題のような、より難易度の高い、型破りなテストでこれらのモデルに挑戦しました。

結果：
論文は、彼らの新しい手法がAIのパフォーマンスを一貫して向上させたことを示しています。

• スコアの向上： 全体を通して、SFS-DPOおよびSFS-DPO-Rで訓練されたAIモデルは、古い手法で訓練されたモデルよりも多くの問題を正しく解きました。例えば、Qwen2-7B-Instructモデルにおいて、新しい手法はMATHデータセットでの精度を3.4%向上させました。
• 汎用性： AIは、練習した特定の形式の問題だけでなく、見たことがない新しいタイプの問題に対しても性能が向上しました。これは、AIが単に答えを暗記したのではなく、間違いを直すための一般的なスキルを学んだことを示唆していますしています。
• 「教師」によるブースト： 教師支援型バージョン（SFS-DPO-R）は、教師なしのバージョンよりも一般的にわずかに優れた性能を示しました。これは、エラーがなぜ起きたのかを理解することが強力なツールであることを示しています。

彼らが否定したこと：
論文は、この分野におけるいくつかの一般的な考えに対して明確に反論しています：

• 修正が多い ＝ 賢いではない： 研究者たちは、単にAIに自己修正を「より頻繁に」行わせても、AIが賢くなるわけではないことを発見しました。実際、古い手法の中には、AIが頻繁に自己修正を行いすぎて、正しい答えを間違ったものに変えてしまうものもありました。彼らの手法は、AIが「確信を持って壊れている時だけ」修正するように教えています。
• 基礎を飛ばすこと： ステップ・バイ・ステップの推論を強化せずに（ステージ1をスキップして）自己修正を教えようとすると、結果が悪くなることを示しました。文章の書き方を知らない生徒に、エッセイの校閲を教えることはできません。
• 一律の最適化： 最後に（最終的な結果に対して）「より良い答え」を目指して最適化するだけでは不十分であることを示しました。その間にある「ステップ」の質を最適化しなければなりません。

結論

この論文は、AIを賢くするための秘訣は、単により多くのデータを流し込んだり、モデルを大きくしたりすることではないことを示唆しています。それは、特定の習慣を教えることです。すなわち、**「立ち止まり、自分の作業をチェックし、間違った特定のステップを修正する」**ということです。

プロセスを「ステップ・バイ・ステップで推論することを学ぶ」ことと、「それらのステップを修正することを学ぶ」ことに分解することで、研究者たちはAIモデルをより信頼できるものにするためのフレームワークを作り上げました。複数のデータセットとモデルにわたる結果は、AIに、間違いを繰り返すのではなく、注意深い編集者としての役割を果たすよう教えることが、より堅牢で信頼できる推論を実現するための鍵であることを示しています。この論文は、これがすべてのAIの問題を解決すると主張しているわけではありませんが、ステップ・バイ・ステップで、自分自身の丁寧な編集者になるよう教えることが、より強固で信頼できる推論を解き放つための有力な手段であるという強い証拠を提供しています。