完全な答えを求める探求

あなたはロボットに、役に立つアシスタントになるよう教えているところだと想像してください。単に嘘をつかないようにするだけでなく、心から「有用」であってほしいと考えています。人工知能の世界において、これは**精度（precision）と再現率（recall）**の違いです。精度を、間違いを書いたときだけ厳しく「×」をつける厳しい教師だと考えてみてください。「空は緑です」と言えば、先生は間違いだと判定します。しかし、「空は青いです」と言えば、たとえそれが「雲もあって白い」ことや「夕暮れ時には色が変わる」ことに触れ忘れていたとしても、先生は金メダルを与えます。これが精度です。つまり、あなたが「言ったこと」が正しいかどうかを確認することです。

次に、再現率を、「空について知っていることをすべて教えてくれましたか？」と問いかける別の種類の教師だと考えてみてください。もしあなたが「空は青い」としか言わなかった場合、この教師は「それは正しいですが、雲や夕焼けについては触れていません。完全な全体像を提示できていません」と言うかもしれません。長い間、AI研究者は最初の教師（精度）には長けてきました。つまり、ロボットが偽の事実を捏造（ハルシネーション）しないようにすることには成功してきました。しかし、彼らは二番目の教師（再現率）に苦戦してきました。回答が単なる事実のリストではなく、ステップ、関係性、そしてオープンエンドな詳細を含む複雑な物語である場合、ロボットの回答が「完全」であるかどうかを測定する優れた方法を持っていなかったのです。この論文はその空白に踏み込み、「AIを、単に正しいかどうかではなく、どれほど徹底しているかで採点するにはどうすればよいか？」という問いを投げかけます。

GAMUT： 「何か見落としていませんか？」テスト

Meta AIの研究者たちは、GAMUT（Grounded Assessment of Multimodal Factuality）と呼ばれる新しいベンチマークを構築しました。GAMUTを、AIが単なる「事実の復唱者」ではなく、「深い研究者」になれるかどうかをテストするために設計された、非常に難易度の高いトリビアゲームだと考えてください。

設定はこうです。あなたがスマートグラスをかけていると想像してください。ベーカリーにある奇妙で層になったペストリーや、奇妙な車のエンジン、あるいは特定の種類の植物を見ているとします。あなたはグラスに「これは何ですか？ そしてどのように作られますか？」と尋ねます。AIは画像を見て、インターネットへ出向き、複数の情報源から情報を掘り起こし、長く詳細な回答を書かなければなりません。

これまでのテストの問題点は、回答を単純なチェックリストとして扱っていたことです。例えば、「米について言及しましたか？」「トマトについて言及しましたか？」と聞き、「はい」「はい」「合格！」とするような形式です。しかし、現実の世界は平坦なリストではありません。時にはステップの「順序」を知る必要があります（米を洗う前に炒ることはできません）。時には、多くの有効な材料が存在する場合があり、その中で役に立つ程度の数を挙げるだけでよく、存在するすべてを挙げる必要はないこともあります。時には、二つの事実を結びつけて「なぜ」そうなるのかを説明する必要があります。単純な「はい／いいえ」のチェックリストでは、こうしたニュアンスを捉えることができません。

二段階のマジック
これを解決するために、著者らは**二段階メタ・ルーブリック（Two-Level Meta-Rubric）**と呼ぶ巧妙な二段階採点システムを考案しました。

1. レベル1：マスタープラン（メタ・ルーブリック）。 まず、人間の専門家が（賢いAIの助けを借りて）、完璧な回答とはどのようなものかを示す詳細な「マスタープラン」を作成します。このプランは単なるリストではなく、構造化された地図です。それは、「この質問に対して、あなたは[対象物]を特定しなければならない（重要）。[核となる材料]を挙げなければならない（重要）。[オプションのスパイス]のうち少なくとも2つに触れるべきである（柔軟）。そして、[調理手順]を正確な順序で記述しなければならない（プロセス）」といった具合です。このレベルは、優れた回答が持つ複雑で入り組んだ現実を捉えています。
2. レベル2：チェックリスト（バイナリ・ルーブリック）。 ここにトリックがあります。コンピュータはその後、この複雑なマスタープランを、ロボットの判定役が容易に採点できる、単純な「パス／フェイル（合格／不合格）」の長い平坦なリストへと機械的に変換します。「オプションのスパイスを十分にカバーする必要がある」という指示は、「これら6つの特定のスパイスのうち、少なくとも2つに言及したか？」という具体的なチェックに変わります。「手順を順序通りに行う」は、「『炒る』の前に『煮込む』と言ったか？」というチェックに変わります。

このようにして、人間は豊かでニュアンスのあるテストを設計でき、一方で採点は、ロボットが「回答がどのように感じられるか」を推測するよりもるかに信頼性が高く一貫性のある、単純なボックスチェックによって行われるのです。

ゲーム：1,813の質問と実際の画像

チームは、1,813の質問を含むGAMUTという大規模なデータセットを構築しました。これらは作り物の質問ではありません。スマートグラスを着用している人々によって撮影された実際の写真に基づいています。写真は、特定の種類の靴、地元のランドマーク、奇妙な野菜、あるいは車の部品など、日常的なものを示しています。質問は「日常的なディープ・リサーチ」となるよう設計されています。つまり、好奇心旺盛な人が何かを見ている時に実際に尋ねるような内容でありながら、完全に答えるためにはインターネットを深く掘り下げる必要があるような内容です。

彼らは14種類のAIモデル（テックジャイアントによる高価な大規模モデルと、オープンソースのモデルの両方）をこのベンチマークでテストしました。その結果は驚くべきものでした。

判明したこと：

• 難しい。 最も賢いモデルであるGemini 3.1 Proでさえ、スコアは**58.7%**しか得られませんでした。これは高校の卒業試験でも辛うじて合格できる程度の点数です！ これは、世界最高のAIであっても、完全な回答に不可欠な情報の大部分を見落としていることを意味します。
• 欠落か、誤りか。 最大の問題は、AIが嘘をついている（事実と矛盾している）ことではありませんでした。最大の問題は**「欠落（omission）」**でした。モデルは重要な詳細をスキップしていたのです。彼らは、先生が本を求めているのに短いエッセイを書いた学生のようなものでした。主要な事実は正しかった（精度）のですが、完全な物語を提示できていませんでした（完全性）。
• 「視覚」の税金。 研究者たちは、画像なし（テキストのみ）でモデルをテストしました。その際、全員のスコアは約10〜20ポイント上昇しました。これは、難しさの一部が「物体を正しく見る」ことにあることを示しています。しかし、視覚の部分を取り除いた後でも、依然として知識のギャップがありました。モデルのランキングは変わりませんでした。これは、テストが単に「どれだけよく見えるか」ではなく、AIが「何をどれだけ知っているか」を実際に測定していることを証明しています。
• 堅牢性。 彼らは3種類の異なる「判定用」AIを用いて結果をテストしました。判定を行うのが誰であってもランキングは変わらなかったため、このテストは公平で信頼できるものであると言えます。

なぜこれが重要なのか

この論文は単に「AIは進化している」と言っているのではありません。「AIが本当に『役に立つ』かどうかを測定する新しい方法」を提示しているのです。単純な「この事実は正しいか？」というチェックを超えて、「トピック全体をカバーしているか？」というチェックへと移行することで、GAMUTは、私たちの最先端モデルでさえ、木を見て森を見ずの状態であることを明らかにしています。彼らはある事実が正しいことは言えますが、しばしば物語の全体を伝えることを忘れてしまいます。

著者らは、AIが私たちの日常生活において（料理、修理、あるいは世界について学ぶのを助けるような）真に有用なアシスタントとなるためには、**「事実の完全性（factual completeness）」**を習得する必要があると示唆しています。GAMUTは、その進歩を測るための定規を与えてくれます。そして現在、その定規によれば、私たちはまだ長い道のりの途中にいます。最高のモデルでも、完全性の面ではまだ6割程度に到達しているに過ぎず、次世代のAIが真に徹底した存在になるための余地が多分に残されているのです。