Rubrics as Privileged Information for Open-Ended Generation

ロボットに完璧な物語を書かせたり、役立つ医療アドバイスを与えたりする方法を教えようとしているところを想像してみてください。人工知能の世界では、これは「オープンエンド生成（open-ended generation）」と呼ばれます。数学の問題（2+2=4のように正解が一つしかないもの）とは異なり、これらのタスクには、何百万通りもの「良い」答えが存在します。物語は、面白くも、悲しくも、あるいはスリル満点にもなり得ますが、それでも優れた物語であり続けます。科学者にとっての大きな課題は、ロボットが迷うことなく、これら何百万もの「良い道」を見つけられるようにするにはどうすればよいか、ということです。

伝統的に、研究者は主に2つのテクニックを使用してきました。1つ目は「強化学習」で、これはロボットがレベルの最後にうまく達成できた場合にのみポイントをもらえるビデオゲームのようなものです。2つ目は「蒸留（Distillation）」で、賢い先生が学生に「何をすべきか」を正確に示し、学生がそれを模倣しようとする手法です。しかし、ここに落とし穴があります。オープンエンドなタスクにおいて、単一の例をコピーさせることは厳格すぎる場合があります。もし先生がドラゴンについての物語を書いたとした乐場合、学生は「ドラゴンについて書かなければならない」と思い込んでしまい、魔法使いについての物語も同様に素晴らしかったという事実を見逃してしまうかもしれません。この論文は、単一の例や単一のスコアを与えるのではなく、ロボットに「ルーブリック（評価基準）」、つまり何が良い回答であるかを示すチェックリストを与えることで、ロボットを教える新しい方法を探求しています。

この論文の核心的なアイデア：チェックリスト vs 単一の答え

Appleの研究者たちは、RuPI（Rubrics as Privileged Information：特権的情報としてのルーブリック）と呼ぶ手法を提案しています。彼らは、詳細なチェックリスト（ルーブリック）を、先生のための特別な「ガイド」として使いつつ、学生には見せないことで、AIモデルがオープンエンドなタスクにおいてより優れた能力を発揮できるかどうかを検証したいと考えました。

料理教室に例えて考えてみましょう。

• 従来の方法（リファレンス補完）： 先生が生徒に完璧なラザニアの写真を提示し、「これを正確にコピーしなさい」と言います。生徒はその写真を模倣しようとします。しかし、もし生徒のキッチンに異なる食材しかなかったらどうでしょう？ 生徒は写真を現実に無理やり当てはめようとして行き詰まったり、別の種類のパスタでも美味しくなるという事実を見逃したりするかもしれません。
• 強化学習の方法（報酬としてのルーブリック）： 生徒が料理を作り、審判がそれを食べて、「10点満点中8点」のような単一の数字を与えます。生徒は、次は9点を取れるようにともう一度挑戦します。しかし、審判は何がダメだったのかを教えず、ただ「完璧ではなかった」ということだけを伝えます。
• 新しい方法（RuPI）： 先生は秘密のチェックリスト（ルーブリック）を持っており、そこには「ニンニクが入っていること」「塩辛すぎないこと」「クリーミーなソースが必要であること」と書かれています。先生はこのチェックリストを使って自身の料理をガイドし、頭の中で「完璧な」バージョンを作り上げます。しかし、学生はチェックリストを見ることなく、材料と先生が作った最終的な料理だけを見ます。学生は、単一の写真ではなく、チェックリストによって導かれた「高品質な料理のスタイル」に一致するように学習します。

研究の結果

研究者たちは、このアイデアを2つの全く異なる種類の質問（医療アドバイス［HealthBenchデータセットを使用］と科学の質問［RubricHubを使用］）でテストしました。そして、この手法が機能するかどうかを確認するために、3つの異なるAIモデル（QwenおよびLlamaファミリー）を使用しました。

驚くべき結果が出ました：チェックリスト（ルーブリック）は、単一の完璧な答え（リファレンス）よりもはるかに優れた教師でした。

先生がチェックリストによって導かれたとき、学生はより速く学習し、タスクにおいてより優れた能力を発揮しました。実際、このチェックリストを用いた手法は、「単一の写真」を用いる手法を大幅に上回りました。医療テストにおいて、チェックリストによる手法は、強化学習と比較して最大0.10ポイント、単一回答法と比較して0.034から0.079ポイント向上しました。

なぜこのようなことが起きたのでしょうか？ 著者らは、単一の「完璧な」答えは、膨大な数の「良い答え」が存在する広大な海の中の、ほんの小さな一点に過ぎないと説明しています。もし学生にその一点だけをコピーするように強制すると、その学生の創造性や新しい状況への対応力が制限されてしまいます。しかし、チェックリストは「良い答えの海全体」を描写します。それは学生に対して、「ここに立ちなさい」と言うのではなく、「この境界線の中にいなさい」と教えてくれるのです。これにより、学生はより強力で柔軟な学習信号を得ることができます。

「オンポリシー」という秘伝のソース

もう一つの重要な発見がありました。この手法は、学生が自分自身の試行（「オンポリシー」のロールアウト）から学習している場合にのみ、効果を発揮したということです。もし学生が、先生があらかじめ用意した答えから学習しようとした場合（オフポリシー）、その魔法は消えてしまいました。

ダンスのインストラクターを想像してみてください。もし生徒が自分の動きを練習し、インストラクターがチェックリストに基づいて修正を行うなら、生徒は上達します。しかし、もし生徒が自分の足を動かす練習を一度もすることなく、ただ完璧に踊るインストラクターのビデオを見ているだけなら、学習はうまくいきません。本論文は、チェックリストが強力な教師となるのは、それが学生自身のミスをリアルタイムで修正するために使用されたときであると結論付けています。

他の機能を壊してしまうことはないか？

研究者たちは、ロボットに優れた医療アドバイスを教えることが、数学の解き方や単純な指示に従う能力を忘れさせてしまうのではないかと懸念しました。彼らは、一般的な知識テスト（MMLUなど）や数学の問題（GSM8K）を用いてモデルをテストしました。結果は心強いものでした。モデルは、一般的な知能を失うことなく、特定のタスクにおいて向上しました。ただし、特定のタイプの数学的修正（「forward KL」と呼ばれるもの）を使用すると、モデルの指示に従う能力がわずかに低下することがあるため、モデルの安全性と有用性を保つために、別の修正方法（「reverse KL」）を使用することを推奨しています。

結論

この論文は、唯一の正解が存在しないタスクにおいては、AIに単一の「完璧な」例をコピーさせたり、単一のスコアを追いかけさせたりするのをやめるべきであることを示唆しています。代わりに、AIに学習を導くための明確なルール（ルーブリック）を与えるべきです。このルールを「特権的な」ガイドとして先生に活用することで、学生は広大な「良い答えの空間」をより効果的にナビゲートできるようになります。これは、「例による教育」から「原理による教育」への転換であり、その結果は、AIをより賢く、より柔軟にし、現実世界の複雑でオープンエンドな問題に対処する能力を高めることを示しています。