NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles
NeuroState-Bench は、側面クエリプローブを用いてコミットメントの整合性を測定する LLM エージェントプロファイルの評価を行う人間較正ベンチマークであり、タスクの成功と整合性はしばしば乖離し、整合性のランキングは従来の成功指標よりも妨害摂動に対してより安定であることを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが複雑な多日間の旅行を計画する個人秘書を雇うと想像してください。あなたは彼らに次のようなルールを渡します。「海が見えるホテルを予約すること」「夕食に200ドル以上使わないこと」「ピーナッツアレルギーがあることを忘れないこと」。
従来の方法（結果のみ評価）：
過去には、私たちは最終結果のみを確認していました。秘書が、海が見えるホテル、安価な夕食、ピーナッツなしという完璧な旅行計画を持って戻ってきた場合、彼らに「A」を与えました。彼らがどのようにその結果に至ったかは問題としませんでした。もしかすると、彼らは途中でピーナッツアレルギーを忘れ、パニックに陥り、最後の瞬間にそれを修正したかもしれません。あるいは、偶然の幸運で間違ったホテルを予約してしまったものの、それを交換したのかもしれません。最終的な書類が良ければ、仕事は完了したとみなされました。
新たな問題：
この論文『NeuroState-Bench』の著者たちは、この「最終評価」システムが危険であると主張しています。現実世界では、秘書がプロセス全体を通じてルールを「一貫して記憶していた」かどうかを知る必要があります。昼食を注文する際にピーナッツアレルギーを考慮していたでしょうか？高級レストランに誘惑された際にも予算を遵守していたでしょうか？もし彼らが途中でルールを忘れ、最終的にのみ修正したのであれば、二度目のチャンスがない別の旅行で間違いを犯す可能性があります。
新たな解決策：「サイドクエスチョン」テスト
この論文は、AI エージェント（賢いコンピュータプログラム）をテストする新しい方法としてNeuroState-Benchを導入しています。単に最終回答を待つのではなく、このベンチマークは AI に途中経過で「サイドクエスチョン」を投げかけます。
これは、テスト中に教室を巡回する教師のようなものです。
- 課題：「ローマの歴史について論文を書きなさい」
- サイドクエスチョン：「終わる前に、あなたが言及した最初の皇帝の名前は何か？」
学生が素晴らしい論文を書いたとしても、尋ねられたときに皇帝の名前を思い出せなければ、彼らは単に結末を推測したか、どこかからコピーしただけかもしれません。彼らは自分が書いている事実に対して真に「コミットメントを保持」したわけではありません。
ベンチマークの仕組み：
- 設定： 研究者たちは、ルールを記憶する、気を散らす要因を無視する、間違いを修正するなどの 8 種類の精神的な課題を含む 144 の異なる「シナリオ」（旅行計画の例のようなもの）を作成しました。
- プローブ： 各シナリオに対して、AI が元のルールに従い続けているかを確認するために設計された 306 の特定の「サイドクエスチョン（プローブ）」を追加しました。
- 人間による確認： 人間がこれらのテストをレビューし、質問が公平で難易度が正確であることを確認しました。その結果、人間と AI は「難しい」ものと「易しい」ものの認識において非常に高い一致を示しました。
- スコア： 彼らはHCCIS-COREと呼ばれる新しいスコアを計算しました。このスコアは「コミットメントの整合性」を測定します。つまり、「状況が混乱しても、AI は守ると約束したルールに忠実であり続けたか？」と問うのです。
驚くべき結果：
彼らは 32 の異なる AI モデル（小さなものから非常に大きく強力なものまで）をテストしたところ、衝撃的な事実を発見しました。
- 「最優秀」な生徒は「最も正直」な生徒ではない： 最終的な回答で最も正解した AI は、ルールと最も一貫性があった AI ではありませんでした。
- ランキングの逆転： 最終回答で AI モデルをランク付けすると、一位はあるモデルでした。しかし、「コミットメントの整合性」（ルールにどの程度忠実だったか）でランク付けすると、同じモデルは順位を下げ、別のモデルが一位となりました。実際、32 モデルのうち 31 モデルが、「最終回答」の採点から「コミットメント」の採点に切り替えたことで、順位が変化しました。
- 気が散る要因： 研究者たちが「気が散る要因（混乱させる追加情報）」を追加すると、正しい最終回答を得るのが得意だったモデルは崩壊しました。しかし、「コミットメントの整合性」が高いモデルは安定していました。それらはノイズを無視し、計画に固執する能力に優れていました。
この意味するところ（論文によると）：
この論文は結論として、最終的に正しい答えを得ることは、AI が信頼できるという十分な証拠ではないと述べています。AI は、途中でルールを見失いながら、偶然に正しい答えを得る可能性があります。
著者たちはこのベンチマークを、AI の誠実さと一貫性に対する「ストレステスト」として構築しました。彼らはより賢い新しい AI を構築したと主張しているのではなく、AI が実際に言っていることをやっているかどうかを測定するためのより良い定規を構築したのです。
彼らが主張しなかったこと：
- 彼らはこれが医療ツールであり、人間の脳の障害を診断する方法であると主張していません（名前に「Neuro」が含まれていますが、これは人間の生物学ではなく、AI の「精神的状態」に関するものです）。
- 彼らは新しい採点方法が完璧であり、常に未来を予測できると主張していません。
- 彼らは明示的に、「ニューラル（脳のような）」アドオンが実際にはスコアを大幅に向上させなかったため、より単純で人間によって較正されたバージョンに留めることにしたと述べています。
要約すると：
NeuroState-Bench は AI 向けの新しい成績表です。最終的な成績だけを見るのをやめ、生徒が最初から最後まで本当に注意を払っていたかどうかを確認するために宿題のメモをチェックし始めます。実は、最高の最終成績を持った AI は、最も注意を払っていた AI ではないことがわかりました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。