技術要約：機械における人間のような知能のベンチマーキングについて

問題提起

本論文は、人工知能（AI）システムの評価における決定的な欠落を指摘している。現在のベンチマークは、モデルが人間のような認知能力を備えているかどうかを評価するには不十分であることが多い。近年のAIモデルは様々なタスクで高い性能を示しているが、著者らは、既存の評価パラダイムは人間と機械の認知における質的な類似性を捉えきれていないと主張している。

核心となる問題は、標準的なベンチマークが以下に依存している点である：

1. 人間によって検証されたラベルの欠如： 多くのデータセットは、キュレーターによる単一の「正解（グラウンドトゥルース）」ラベルや多数決に基づいたラベルを使用しており、実際の人間による回答の分布を無視している。
2. 変動性の不適切な表現： ベンチマークは、人間の回答の多様性や不確実性を切り捨てることが多く、認知タスクを（道徳的推論やユーモアの検出のように）本質的に主観的なものである場合でも、単一の客観的な答えがあるものとして扱ってしまう。
3. 生態学的妥当性の欠如： タスクが過度に単純化されており、現実世界のシナリオに見られる複雑さ、曖昧さ、および文脈的なニュアンスに欠けている。

著者らは、人間レベルの知能（定量的には人間と同等、あるいは人間を超える精度を達成すること）と、人間のような知能（エラープロファイル、不確実性の分布、段階的な信念を含む、認知パターンにおける質的な類似性を示すこと）を区別している。彼らは、現在のツールがこれらの概念を混同しており、AIの能力を誤って特徴づけている可能性があると主張している。

方法論

著者らは、彼らの主張を実証するために、一般的な常識および心の理論（ToM）の推論を必要とするとされる既存の9つのAIベンチマークを用いて、人間による評価研究を実施した。

• 選択されたベンチマーク： 社会的IQA、道徳的許容性、倫理的問題、社会的サポート、皮肉の特定、ダークユーモア、およびファンタジー推論をカバーするBIG-Bench（Srivastava et al., 2022）から7つのタスク。および、心の理論の推論のためのBigToMとToMBench。
• データ収集：
  • 参加者： Prolificを通じて募集された117名の参加者。
  • 刺激（スティムライ）： 9つのベンチマークからランダムにサンプリングされた30個の刺激（合計2,685件のアノテーション済み試行）。
  • 手順： 標準的な多肢選択形式ではなく、参加者は各回答の選択肢に対して0–100のスライダーを使用して評価を行った（例：「強く反対」から「強く同意」まで）。
  • 不確実性の測定： 各評価に続いて、参加者は別の0–100スケールで自身の**確信度（コンフィデンス）**を報告した。この二つの尺度を用いた設計により、段階的な判断（信念の度合い）と、エピステミックな不確実性（その判断に対する確信度）を分離している。
• 分析： 著者らは、人間の回答分布および確信度レベルを、元のベンチマークの正解ラベルおよびチャンスレベルと比較した。

主な知見

人間の再アノテーションにより、標準的なベンチマークのラベルと実際の人間行動との間に顕著な相違があることが明らかになった。

1. 正解（グラウンドトゥルース）との低い一致度： 9つのベンチマーク全体で、人間の正確さ（ベンチマークの単一ラベルとの一致）は平均**69.7%**であった。
   • 一部のタスクではチャンスレベルを下回った（例：Social supportは45%であり、チャンスレベルの50%を下回った）。
   • 道徳的許容性（一致度72%）、皮肉の特定（一致度73%）、Social IQA（一致度68%）において、重大な不一致が見られた。
   • 単純な倫理的問題のみが高い一致度（88%）を示した。
2. 段階的な信念 vs 二値ラベル： 人間の回答は、二値的であることは稀であった。参加者は頻繁に中間的な評価（例：「支持できない」とラベル付けされた刺激に対し、0–100スケールで平均69.4の評価を与える）を提供しており、これは段階的な信念が存在することを示しているが、二値ラベルではこれを捉えきれない。
3. 構造化された不確実性： 参加者は様々な程度の確信度を報告した。Social supportや道徳的許容性のようなタスクでは、低い確信度の報告が一般的であったが、他のケース（例：皮肉の特定）では、参加者は分岐した見解に対して高い確信度を示した。これは、変動性が単なるノイズや混乱ではなく、構造化された意見の相違であることを示唆している。
4. 現在の設計の限界： 本研究は、単一の正解ラベルに依存することが、比較の基準を誤らせ、人間の認知の分布的な性質を捉えることに失敗することを証明している。

主な貢献と推奨事項

本論文は、将来のAIベンチマーキングを改善するために、認知科学のベストプラクティスから導き出された5つの具体的な推奨事項を提案している。

1. 実際の人間に基づいて測定する： 「人間のような」AIの正解ラベルは、単なるキュレートされた回答ではなく、人間から収集された回答データでなければならない。これは、単一の客観的な答えが存在しない主観的なタスクにおいて不可欠である。
2. 集団の分布に対して評価する： モデルは、多数決によるハードラベルではなく、人間による判断の全分布（ソフトラベル）に対して評価されるべきである。モデルが集団レベルの変動性やサブポピュレーションを捉えられるよう、指標には確率分布の比較（例：KLダイバージェンス、ワッサースタイン距離）を含めるべきである。
3. 段階性と不確実性を評価する： ベンチマークは、個々のアノテーターからの段階的な判断と確信度を引き出し、測定しなければならない。これにより、現実世界の意思決定のニュアンスと、人間による推論に内在する不確実性を捉えることができる。これは、二値の選択肢が隠蔽してしまうものである。
4. メタ理論に根ざしたタスク設計を行う： ベンチマーク設計は、心理学的テスト（例：サリー・アン・テスト）をそのまま転用するのではなく、認知的な構成概念のメタ理論（構成要素と観察可能なシグネチャーの定義）から開始すべきである。既存のテストは、学習データによって汚染されていたり、AIに対する構成概念妥当性が欠けていたりする場合がある。
5. 認知的に豊かなタスクを設計する： 複数の認知プロセスを統合し、系統的なアブレーション（文脈の除去）を活用し、構造化された曖昧さを含めることで、自然な行動を引き出すタスクを作成すべきである。これにより、単純なQ&A形式を超え、AIが現実世界の複雑さと不確実性にどのように対処するかを評価できるようになる。

意義と範囲

著者らは、認知科学者の双方に対し、評価慣行を厳格な認知モデリングに適合させるよう、本研究を呼びかけとして位置づけている。

• 科学的価値： エラーパターン、バイアス、および不確実性にわたる、機械と人間の知能の厳密な比較は、両者の性質を理解するために極めて重要である。
• 実用的価値： 道徳的推論、社会的適切性、ユーモアなどの、規範的な正解が存在しない主観的なタスクにおいては、人間のような分布的評価が必要である。逆に、数学やタンパク質折り畳みのような規範的な基準があるタスクについては、人間のようなエラーパターンを模倣することは逆効果となる可能性があり、本論文の推奨事項はそれらの領域を意図したものではない。
• 限界： 著者らは、高品質な人間によるデータを収集することはリソースを大量に消費すること、および人間由来のメタ理論をAIシステムに転用できるかどうかは未解決の問題であることを認めている。彼らは、AIがすべての人間的な認知の限界（有害なバイアスなど）を複製すべきだと主張しているのではなく、人間的な変動性の構造を理解することが、安全で協調的、かつ解釈可能なAIパートナーを構築するために不可欠であると主張している。

本論文は、「人間のような」AIの真の理解を得るためには、単純な正確性指標を超えて、変動性、不確実性、および生態学的妥当性を重視するフレームワークへと移行する必要があると結論付けており、そのために認知科学における数十年の研究を強く活用することを求めている。