あなたは、ミステリーを解決しようとしている探偵だと想像してください。ただし、現場は犯罪現場ではなく、大規模言語モデル（LLM）と呼ばれる超スマートなロボットの脳です。これらのロボットは驚異的で、物語を書いたり、数学の問題を解いたり、コードを書いたりすることもできます。しかし、彼らが本当に賢いのか、それともただ推測しているだけなのかを知るために、人間は数千もの異なる質問で彼らをテストしなければなりません。これは「評価（エバリュエーション）」と呼ばれます。

問題は、このテストが非常に高価で時間がかかることです。ロボットに質問するたびに、答えを得るための費用と時間がかかります。従来、科学者たちは「ブルートフォース（総当たり）」という方法を用いてきました。つまり、次の質問へ進む前に、全く同じ質問を必ず10回繰り返し、10回、また次の質問へと、すべての項目に対して決まった数の回答を得るまで繰り返すのです。これは、友人に「ピザは好き？」と100回聞くようなものです。最初の3回で100%の自信を持って「はい」と答えた後でも、絶対に好きであることを確認するために100回聞くのです。これは膨大なリソースを無駄にします。

これから読む論文は、この探偵業務を行うための、よりスマートな新しい方法を紹介しています。それは「ベイズ推論」という数学的なトリック（これは単に「新しい手がかりを得るたびに推測を更新する」という、もっともらしい言い方です）を使用し、いつ質問を止めるべきかを正確に判断する方法です。固定された回数ではなく、「もう答えは十分に分かったか？」と問いかけます。もし答えが既に出ているなら、すぐに停止します。もし答えがまだ曖昧なら、テストを続けます。これにより、予算を使い果たすことなく、より多くのモデルやより難しい問題をテストすることが可能になります。

---

ロボットの脳のための「止まれ」の標識

optstop をご紹介しましょう。これは、AIテストにおける、非常にスマートで忍耐強い交通警察官のような存在です。

現在、科学者がAIモデルをテストする場合、通常は厳格なルールブックに従っています。「すべての質問を正確に10回ずつテストすること」。AIが最初の10問を即座に正解したとしても、あるいは苦戦して間違えたとしても、関係ありません。ルールブックは「続けなさい、必ず10回試行しなければならない」と言います。これは、シェフがスープを味見する際、たとえ一度混ぜただけで完璧だったとしても、あるいは鍋が空っぽだったとしても、正確に10回混ぜると決めているようなものです。これは非効率的です。

この論文の著者である Toby D. Pilditch は、シンプルな問いを投げかけました。「なぜ、答えが分かった時点で止まらないのだろうか？」

彼らは、テストを「熱いか冷たいか（Hot or Cold）」のゲームのように扱う、optstop という新しいシステムを構築しました。AIが回答を進めるにつれ、システムは「不確実性」を監視します。

• もしAIが数学の問題に答え、10回連続で正解した場合、システムはこう言います。「よし、AIが数学を理解していることは99%確信できた。この特定の問題のテストは終了して、次に進もう。」
• もしAIがトリッキーな安全性の質問に答え、5回間違えて1回だけ正解した場合、システムはこう言います。「待て、そのたった一度の『正解』は重要だ！ まだ確信が持てない。この問題のテストを続けよう。」

これは単に数分を節約することではありません。論文では、この「確信が持てたら止まる」方法を用いることで、実験において必要なテストの数を 57%から97% カットできることを示しています。これは、すでにゴールラインに到達していることに気づいたおかげで、100マイルのレースを30マイルで走り終えるようなものです。

仕組み：三層のケーキ

optstop がなぜこれほど優れているのかを理解するために、テストのプロセスを三層のケーキとして想像してみてください。

1. 底層（アイテム）： これらは個々の質問です。簡単なもの（AIが毎回正解するもの）もあれば、難しいもの（AIが苦戦するもの）もあります。
2. 中層（タスク）： これらは質問のグループで、「数学」や「文章作成」などがあります。
3. 最上層（モデル）： これはAI自身です。

古い手法は、すべての質問を同じように扱っていました。optstop は、ケーキ全体を見渡します。もしAIが「簡単な数学」に長けているなら、すべての簡単な数学の問題を10回ずつテストする必要はないということを理解しています。簡単な問題では早期に終了し、AIが混乱している難しい問題にエネルギーを注ぐことができるのです。

このシステムは、二つのことを同時に追跡するために、特別な数学（階層的ベイズ推論）を使用しています。

• 精度（Precision）： 私たちはどの程度確信を持っているか？ 「信頼区間」（もっともらしい言い方で、考えられる回答の範囲）が十分に狭まったら、停止します。
• 安定性（Stability）： 回答は落ち着いてきているか？ AIの回答が大きく変化しなくなったら、停止します。

「保守的」なセーフティネット

一つ、厄介な点があります。もしAIが何かに対して、本当に、本当に下手だったらどうなるでしょうか？ 例えば、100問中1問しか正解できないAIを想像してください。もしテストを早すぎる段階で止めてしまうと、実際には「稀に正解できる」としても、0%の正解率だと判断してしまうかもしれません。

これを修正するために、optstop には「保守性（conservatism）」の設定があります。AIの成績が悪い場合、システムは特に慎重になります。システムはこう言います。「おい、珍しい成功を見逃しているかもしれないぞ！ 数値が悪く見えても、テストを続けよう。」これは、親が子供の宿題をチェックするようなものです。子供がすべて正解していれば、チェックをやめてもいいでしょう。しかし、もし子供がすべて間違えていたら、単に運が悪かっただけなのか、あるいは小さな詳細を見落としただけなのかを確認するために、より注意深くチェックするのです。

結果：圧倒的な効率化の勝利

著者は、大規模な実験を用いてこのアイデアをテストしました。200種類の異なる質問を用意し、10ラウンドのテスト（10エポック）を実行しました。そして、従来の「すべてを10回行う」方法と、新しい optstop メソッドを比較しました。

結果は以下の通りです。

• 莫大な節約： テストにおいて、optstop は計画されていたテストの 57%から97% をスキップしました。場合によっては、得られた結果と同じ結果を得るために、計画されたテストのごく一部を実行するだけで済みました。
• 同等の精度： 早期に終了したにもかかわらず、AIに与えられた最終スコアは、すべてのテストを実行した場合のスコアとほぼ同一でした。その差は極めて小さく（0から1のスケールで0.01未満）、無視できるレベルでした。
• スコアによる違い、節約の違い： システムは連続的なスコア（0から100の成績のようなもの）において最も時間を節約し、単純な「正解/不正解」のスコアにおいては最も節約が少なかったものの、いずれの場合においても時間を節約できました。

なぜこれが重要なのか

これは単なる数学のトリックではありません。AIの安全性におけるゲームチェンジャーです。現在、AIのテストは非常に高価であるため、研究室は限られたモデルや限られた種類の問題しかテストできません。もしテスト時間を半分以下にできれば、より多くのモデル、より危険なシナリオ、そしてより複雑なタスクをテストできるようになります。

この論文は、すでに答えが出ている質問に対してエネルギーを浪費する必要はないということを証明しています。データに「いつ止まるべきか」を判断させることで、AIのテストをより速く、より安く、そして本当に重要なことに集中させることができます。これは、釘が折れるまで盲目的にハンマーを叩き続けるのと、釘が打ち込まれたことを正確に知っているハンマーを使うことの違いなのです。

要するに、optstop は、いつ始めるかを知ることと同じくらい、いつ止まるかを知ることも重要であることを教えてくれます。そして、AIの未来にとって、それは私たちがどうしても学ぶ必要がある教訓なのです。