急速に進化する人工知能の世界において、大規模言語モデルは、テキストの生成、問題解決、およびコード作成において驚くほど流暢になっています。それらは自信に満ち、論理的に聞こえることがありますが、人間には見つけにくい微細な間違いを頻繁に犯します。これを修正するために、研究者たちは「検証器（ベリファイア）」を開発してきました。これは、メインのモデルの作業をチェックし、ユーザーに届く前にエラーを捕捉するように設計された二次的なシステムです。これらのチェッカーにはさまざまな形態があります。モデルの出力を事実のデータベースと比較するものもあれば、コードを実行してクラッシュするかどうかを確認するもの、あるいは単にモデル自身にその推論をレビューさせるものもあります。こうしたチェックの層を加えることで、単に流暢なだけでなく、信頼できるシステムを構築できるという希望が主流となってきました。しかし、一つの決定的な問いが未解決のまま残されています。それは、「検証器とは一体何を保証できるのか？」という問いです。システムがある結果を「検証済み」と言ったとき、それは答えが確実に正しいという意味なのでしょうか、それとも単に、特定の限定されたルールに従って「正しく見える」という意味なのでしょうか。

Yajie Yinによる新しい研究は、この混乱に対処するため、これらの検証システムの強さを測定する新しい方法を提案しています。著者は、現在の分野では「レベル」という言葉が5つの異なる意味で同時に使われており、誤解の霧を生み出していると主張しています。ある研究者は「レベル」を問題をどれほど細かく分解するかを説明するために使い、ある者はリスクの度合いを、またある者はコンピュータ・システムのどの部分を監査しているかを説明するために使っています。この論文は、「検証自律レベル（Verification Autonomy Levels）」という単一の明確なスケールを導入しており、これは一つの特定の問いに焦点を当てています。それは、「真実はどこから来るのか、そしてチェッカーは何を見つけることを約束するのか？」という問いです。このスケールは、モデルが単に自分の作業は正しいと宣言する最も弱い形態から、客観的で不変の事実や数学的ルールに基づき、解の完全性を証明できる最も強い形態まで多岐にわたります。

この研究の核心となる発見は、ほぼすべての現在の検証手法に適用される根本的な限界です。この研究は、多くの普及しているチェッカーが、提案された答えが正しいことは確認できるものの、他に正しい答えが見逃されていないことを証明することはできないことを示しています。承認された訪問者のリストをチェックする警備員を想像してみてください。もし警備員がリストに名前を見つけたら、その人を入れます。しかし、もしリストに載っていない危険な人物が現れた場合、その人が欠落していることを知る術は、その人が「そこにいるべき全員」の完全な事前承認リストを持っていない限りありません。論文ではこれを「完全性の盲点（completeness blind spot）」と呼んでいます。ほとんどの現在のシステムは、このリストを持つ警備員のように機能しています。彼らは候補となる解が正しいことは検証できますが、あらゆる可能な解を見つけ出したことを保証することはできません。この限界は、モデルのトレーニングを改善したりデータを増やしたりすることで修正できるバグではなく、これらのシステムの仕組みにおける構造的な特徴なのです。

この状況をマッピングするために、著者はL0からL5までの6段階のスケールを開発しました。最下層のL0は、モデルが単に「これはチェックした、そしてこれは正しい」と言うシステムを表します。外部の証明はなく、真実の保証もありません。上昇していくと、L1とL2は、問題から導き出されたルールや、既知の客観的な事実との比較に基づくチェックを含みます。これらは特定の答えが正しいことを確認するには有用ですが、依然として「盲点」を抱えています。つまり、モデルがより優れた、あるいは異なる答えを見逃していないことを証明することはできません。スケールはL3とL4で大きく跳ね上がります。ここでは、検証は決定可能なシステム、例えば形式的な数学的証明や厳格な論理規則に基づいています。これらの場合、システムは答えを確認できるだけでなく、特定の明確に定義された範囲内において、他の答えが存在しないことも証明できます。最高レベルであるL5は、あらゆる可能な問いに対して完全性を証明できるシステムを表しますが、これは数学的に不可能であることが示されています。

論文では、このフレームワークを数学の問題解決、セキュリティ脅威のためのコンピュータ挙動の監視、医学的診断、およびコンピュータコードの記述という、非常に異なる4つの分野でテストしています。数学の実験において、研究者たちは自身の作業をチェックできるシステムを構築しました。その結果、システムはいくつかのエラーを捕捉することはできましたが、生のモデルと比較して回答の全体的な精度を向上させることはできないことが分かりました。実際、検証プロセスによって、新たなエラーが導入されることで事態が悪化することさえありました。しかし、システムはある別のタスクにおいては優れていました。それは、単純なチェックでは無視されるような「見落とされた解」などの特定のエラーを見つけた際に、確信を持って報告できるという点です。医学的診断の研究では、研究者はモデルの推論をチェックするために標準的な臨床ルールを使用しました。その結果、単純なルールベースのチェックを用いることで、人間によるレビューが見逃していた「モデルが証拠を欠いているにもかかわらず自信満々に間違っているケース」を捕捉できることが分かりました。

研究はまた、モデルがコンピュータプログラムを書くコード生成についても調査しました。ここでの研究結果は、モデルが標準的な問題を解くことにおいてすでに非常に優れているため、検証レイヤーを追加しても精度は向上しないというものでした。「精度の窓（accuracy window）」は空の状態でした。モデルはすでにその特定のタスクにおいてトップレベルに達していたのです。この文脈における検証システムの価値は、コードをより良くすることではなく、コードが安全でない、あるいは不完全である可能性を示す明確なシグナルを提供することにありました。著者は、これは検証の失敗ではなく、検証がどこに価値を加えるかを示す精密な測定であると強調しています。検証は、モデルがすでにマスターしている問題の生の精度を高めようとする時ではなく、エラーを報告したり完全性を証明したりできる時にこそ価値を発揮するのです。

論文の極めて重要な部分は、「正当性（correctness）」と「完全性（completeness）」の区別です。正当性とは、提案された答えが正しいことを意味します。完全性とは、システムが「すべての」正しい答えを見つけ出し、他に存在しないことを知っていることを意味します。研究によれば、現在のシステムの多くは正当性のみを提供しています。彼らは「この答えは機能する」と言うことはできますが、「これが唯一の答えである」と言うことはできません。完全性を達成するためには、システムは問題を、マシンが網羅的に解ける厳格な論理形式へと言い換えることができなければなりません。これは数学やコードの特定の種類については可能ですが、ニュースのファクトチェックや複雑な疾患の診断といった、世界が単一のルールでは完全に捉えきれないほど混沌としているオープンエンドなタスクにおいては不可能です。論文は、このようなオープンワールドのシナリオにおいて、システムが完全であり得ると見せかけるのはやめるべきだと主張しています。代わりに、私たちのツールの限界について正直になるべきなのです。

著者はまた、「信頼の再帰（trust recursion）」の問題、すなわち、チェッカーを検証するためのチェッカー、さらにそのチェッカーを検証するための別のチェッカーが必要となる問題についても言及しています。論文は、この信頼の連鎖は、最終的に別の人工知能に依存しない地点で停止しなければならないことを示しています。それは、人間が定義したルール、物理的な測定、または数学的証明に帰着しなければなりません。もし連鎖が別のAIモデルで止まってしまうなら、その検証は循環的であり、信頼できません。研究は、AIがアイデアを生成するという創造的な作業を担当し、別の厳格なシステムがそれらのアイデアを固定された基準に照らしてチェックするという、役割分担を設計することが最善のアプローチであることを示唆しています。この分業により、システムは自分が安全圏の外で操作しているのか、そしていつ立ち止まって人間の助けを求めるべきなのかを知ることができるようになります。

結局のところ、この論文は人工知能の安全性という分野に対する現実的な再確認（リアリティ・チェック）として機能しています。それは、研究者や開発者が、自分たちのシステムができることとできないことを正確に表現できるようにするための、新しい語彙を提案しています。システムが単にテストに合格したからといって、それが「検証済み」であると仮定する危険な習慣に対して警告しています。代わりに、より微細な視点を求めています。すなわち、システムは特定の答えが正しいことを確認することには長けているかもしれませんが、それはシステムが「真実のすべて」を見つけたことを意味するわけではない、ということです。検証システムが獲得できる最高ランクは、完璧さの約束ではなく、その限界に対する誠実な宣言なのです。これらのレベルを理解することで、私たちは単に賢いだけでなく、いつ正しく、いつ間違っており、そしていつ単に知識がないのかについて、より透明性の高いAIシステムを構築することができるのです。