あなたは、小さなビジネスを運営するために、超スマートなロボット・アシスタントを雇うことを想像してみてください。あなたは単にロボットが質問に正しく答えることだけを望んでいるのではありません。あなたは、ロボットが実際に「仕事」をしてくれることを望んでいます。ロボットがあなたの乱雑なメモを使い、あなたのツールを使い、厳格なルールに従い、そして明日から実際に使えるような完成したレポートをあなたに手渡すことを望んでいるのです。これが「AIエージェント」の世界です。これらは単にチャットをするだけでなく、行動を起こすコンピュータ・プログラムです。長い間、科学者たちはこれらのロボットを、トリビアの問題を解かせたり、数学の問題を解けるかどうかを確認したりすることでテストしてきました。しかし、現実の世界では、正しい答えを出すだけでは不十分です。もしロボットがファイルを保存し忘れたり、触れてはいけないツールを使ったり、データのソースを捏造したりすれば、その仕事は全体として失敗なのです。私たちは、ロボットが賢いかどうかだけでなく、それが信頼でき、安全で、実際に成果物を届けられるかどうかをテストする方法を必要としています。

これこそが、論文「SQBench」が取り組んでいる課題です。Summer Sun氏率いる著者らは、AIエージェントが現実世界のタスクをどの程度うまくこなせるかを検証するための新しいテスト場、SQBenchを構築しました。彼らは、単に答えが正しいかどうかをチェックするのではなく、最終的な「成果物（デリバラブル）」が使用可能であり、かつ安全であるかどうかをチェックします。彼らは、「このファイルを見つける」といった単純なタスクから、「これらの財務記録を分析する」といった複雑なビジネス・シナリオに至るまで、220種類の異なるジョブを作成しました。そして、27種類の異なるAIモデルをテストし、どのモデルがルールを破ることなく仕事を完遂できるのかを検証しました。大きな驚きは、最高性能のAIモデルであっても、これらの現実世界の仕事においては依然としてかなり不器用であるということです。トップのモデルでさえ、タスクの約60%を「完了」させましたが、複雑なビジネス・タスクのうち、リスクのある間違いなしに完璧に完了できたのは、わずか約18%でした。この論文は、「賢い」ことと「信頼できる」ことは同じではなく、AIを測定する際には、どれだけの質問に答えられるかではなく、いかに安全で使いやすい結果を届けられるかで判断する必要があることを示しています。

新しい成績表： 「正しい答え」から「安全なデリバリー」へ

AIの従来のテスト方法を、学校の小テストのようなものだと考えてみてください。もし数学の問題が正解なら、A評価をもらえます。しかし、現実の世界では、もし数学の答えは合っているのに、それを捨てられてしまうナプキンの裏に書いていたり、試験で許可されていない計算機を使っていたとしたらどうでしょうか。答えは合っているかもしれませんが、あなたは課題に失敗したことになります。

論文の著者たちは、新しい種類の成績表が必要だと主張しています。彼らはこれをSQBench（「SQ」はそれを作ったコミュニティである「Shaqiu」に由来し、「Bench」はベンチマークに由来します）と呼んでいます。彼らは、AIエージェントが責任ある従業員のように振る舞えるかどうかを確認するために、このテストを設計しました。このテストは、難易度が上がっていくビデオゲームのように、3つのレベルで構成されています。

• レベル1 (L1)：基礎。 これらは単純で、アトミック（最小単位）なタスクです。ロボットは特定の指示に従えるか？ ファイルを見つけられるか？ クラッシュしないコードを書けるか？ これは、ロボットが自分の靴紐を結べるかどうかをテストするようなものです。
• レベル2 (L2)：コンボ技。 ここでは、ロボットはいくつかのスキルを連鎖させる必要があります。スプレッドシートを読み、検索ツールを使い、それから要約を書くといった具合です。これは、ロボットにサンドイッチを作るよう頼むようなものです。パンを用意し、肉を用意し、それらを組み合わせて、包み紙で包むのです。
• レベル3 (L3)：ボス戦。 これが現実世界の仕事です。ロボットは、医療データや財務報告書を扱うような、厳格なビジネス・ルールの中で作業しなければなりません。そこでのミスは危険を招く可能性があります。ロボットは法律を守り、秘密を守り、人間が実際に信頼できるレポートを作成しなければなりません。

「厳格な合格」ルール： なぜ「十分である」では不十分なのか

ここがこの論文の最も重要な部分です。著者たちは、単にタスクを完了させるだけでは不十分であることに気づきました。AIはレポートを完成させるかもしれませんが、もしその中で主張を裏付けるために偽のウェブサイトのリンクを作成したり、触れてはいけないファイルを誤って削除したりすれば、そのレポートは役に立ちません。

これを解決するために、彼らは10Dリスク・マトリックスを作成しました。これは、仕事が終わった後にロボットの作業をチェックする「安全検査官」のようなものです。検査官は、以下のような10種類の具体的なトラブルを探します。

• D1: 事実やソースの捏造（ハルシネーション）。
• D2: フォーマット・ルールの無視（例：間違ったフォントで書いている）。
• D3: 安全性やプライバシー・ルールの違反。
• D4: 時間の浪費やリソースの過剰使用。
• D8: 見栄を張るための嘘やミスの隠蔽。

スコアリング・システムは以下の通りです。

1. 完了 (Completion): ロボットは仕事を終えたか？ (Yes/No)。
2. リスク・ペナルティ (Risk Penalty): ロボットは作業中にルールを破ったか？ もし事実を捏造したら、ペナルティを受けます。もし安全ルールを破ったら、甚大なペナルティを受けます。
3. 厳格な合格 (Strict Pass): 「厳格な合格」を得るには、Completion = 1（仕事を完了した）かつ Risk Penalty = 0（ルールを一つも破っていない）である必要があります。

これは非常に高いハードルです。それは、「宿題を提出するだけでなく、正しいフォントで、カンニングをせず、捏造された事実も含まれていない状態で提出しなければならない」と言っているようなものです。

テストが実際に明らかにしたこと

著者らは、27種類の異なるAIモデルを、この220のタスクという試練にかけました。彼らはモデルが運良く成功するために何度もやり直させることはせず、各モデルに対して各タスクにつき一度きりのチャンスを与えました。結果は以下の通りです。

• 最高のパフォーマンス: Kimi K3 という名前のモデルが最も優れた成績を収め、Weighted Pass@1 で 60.5% を達成しました。これは、このモデルがタスクの約60%において、完了し、かつ安全チェックをパスしたことを意味します。
• 大きなギャップ: 最強のモデルでさえ、半分近くのケースで失敗しています。しかし、真の物語は詳細の中にあります。
• 「L3」の問題: タスクがレベル3（複雑なビジネス・シナリオ）に達すると、スコアは劇的に低下しました。全モデルにおけるレベル3の平均「厳格な合格」率は、わずか 18.5% でした。すべてのモデルが、単純なタスクよりも、これらの複雑な現実世界のタスクにおいて成績が悪化しました。
• 「あと一歩」の失敗: モデルが仕事を完了させた（Completion = 1）2,348件のタスクのうち、113件（4.8%） が、依然としてリスクを誘発したために「厳格な合格」に失敗したことが判明しました。例えば、モデルは完璧なレポートを書いたかもしれませんが、もし偽の引用リンクを含んでいれば、不合格となります。これは、単に仕事をやり遂げるだけでは不十分であり、仕事の「質」と「安全性」も同様に重要であることを証明しています。

なぜこれが重要なのか

この論文は、私たちは現在、AIが「考える」こと（質問に答えること）をテストすることには非常に長けていますが、「働く」こと（安全で使いやすい結果を届けること）をテストすることには不得意であることを示しています。現在の世代のAIモデルは、アイデアを出すのは得意だが、ファイルの保存を忘れたり、誤ってメールを wrong person（宛先違いの人）に送ってしまうような、優秀なインターンと同じ状態です。

著者らは、このテスト（SQBench v1.0）はあくまで一つのスナップショットであると慎重に述べています。彼らは220の特定のタスクをテストしており、もし異なる業界やタスクをテストすれば、結果が変わる可能性があります。また、人間の専門家がすべての回答をチェックしたわけではないため、不確実性があることも認めています。しかし、パターンは明確です。「ドメインの制約下でのデリバリー」は共通の弱点です。 金融、ヘルスケア、製造業のいずれであっても、AIエージェントは現在、現実世界の仕事の厳格なルールや安全要件をナビゲートすることに苦戦しています。

論文は、私たちは「完了」を祝うのをやめ、「安全なデリバリー」を祝うようになる必要があると結論づけています。AIを、どれだけの質問に答えられるかではなく、どれだけの回数、混乱を引き起こすことなく仕事を完遂できるかで測定する必要があります。それができるようになるまで、AIエージェントは「賢い」かもしれませんが、まだ現実世界に準備ができているとは言えません。