MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

この論文は、深層ニューラルネットワーク（DNN）と人間の視覚の整合性を評価するために、人間の視覚知覚に関する 30 の心理学的発見を仮説検証的に検証するよう設計された画像データセットとスクリプト、および DNN 評価ツールを含む「MindSet: Vision」というツールボックスを紹介し、その有効性を示すものです。

要約

この論文は、**「AI（人工知能）の目と、人間の目は本当に似ているのか？」**という疑問に、心理学の「実験室」を使って答えを出そうとする挑戦の報告書です。

タイトルにある**「MindSet: Vision」は、AI をテストするための「新しい検査キット（ツールボックス）」**の名前です。

以下に、難しい専門用語を使わず、身近な例え話を使って解説します。

---

1. 従来のテストは「観察」だけだった（これまでの状況）

これまで、AI が人間のように物を見ているかどうかを調べるには、**「自然な写真」**を見せ、AI が正解を言えるか、あるいは人間の脳と似た反応をするかをチェックしていました。

• 例え話：
  料理の味見をする際、これまで行われてきたのは「高級レストランで出された完成された料理を食べて、美味しいか否かを評価する」ことでした。
  しかし、これでは「なぜ美味しいのか（塩味が効いているのか、素材の味が活きているのか）」までは分かりません。AI が「偶然」正解しただけで、人間の脳と同じ仕組みで動いているとは限らないのです。

2. 新しいキット「MindSet」の登場（この論文の提案）

この論文の著者たちは、**「料理の味を徹底的に分析するための実験セット」**を作りました。それが「MindSet: Vision」です。

このキットには、**30 種類の「心理学的な実験」**が含まれています。これらはすべて、人間の目がどう機能するかを証明するために、昔から行われてきた有名な実験です。

• 特徴：
  • 意図的に「罠」を仕掛ける： 画像を加工して、AI が「勘違い」しやすい状況を作ります。
  • 30 種類のテスト： 単純な線の長さの比較から、錯覚、物体の形の見方まで、幅広いテストがあります。
  • 誰でも使える： 研究者は、このキットを使って「AI をこの実験にかけたらどうなるか？」を自由に試せます。

3. 具体的なテスト例（どんな実験があるの？）

このキットには、人間の目が「魔法のように」見える現象や、AI が苦手とする現象が含まれています。

A. 錯覚のテスト（AI は「騙される」のか？）

人間は、同じ長さの線でも、矢印の向きによって「長く見える」「短く見える」という錯覚（ミュラー・ライヤー錯覚など）を起こします。

• 人間： 「あ、この線、長く見える！」と錯覚します。
• AI の結果： 多くの AI は、この錯覚に**「騙されませんでした」**。線は線として正確に測ってしまい、人間の「勘違い」を再現できませんでした。
• 意味： AI は人間の「直感」や「文脈による見方」を持っていない可能性があります。

B. 隠れた物体のテスト（アモダール完成）

物体の一部が別の物体に隠れていても、人間は「隠れている部分まで丸ごと見えている」と脳が補完します（例：箱の後ろに隠れたリンゴも、リンゴとして認識する）。

• 人間： 「隠れている部分まで見えている」と認識します。
• AI の結果： 隠れている部分は「見えていない」として処理され、人間のようには認識できませんでした。

C. 形と質感のテスト（線画 vs 写真）

人間は、色や質感がない「線画（スケッチ）」を見ただけで、それが何の物体か瞬時に分かります。

• 人間： 「これは猫だ！」とすぐ分かります。
• AI の結果： 写真で訓練された AI は、線画を見ると**「何だか分からない」**と混乱し、正解率がガクッと落ちました。AI は「質感（テクスチャ）」に頼りすぎていて、「形」そのものを見えていないことが分かりました。

4. 実験の結果：AI は「完璧」ではない

著者たちは、最新の高性能な AI 15 種類をこのキットでテストしました。

• 結果： 多くの AI は、脳科学の基準（Brain-Score）では高得点を取っていましたが、この「心理学的な実験」では軒並み失敗しました。
• 重要な発見：
  • AI は「正解を出すこと」は得意ですが、「人間と同じように『見ている』」わけではありません。
  • AI は「確率的なパターン」で答えており、人間のような「直感的な理解」や「文脈の読み取り」が欠けていることが浮き彫りになりました。

5. なぜこれが重要なのか？（結論）

これまでの研究は、「AI がどれくらい正解できるか」を競う「スポーツ大会」のようなものでした。しかし、この論文は**「AI が人間と『同じ脳』を持っているか」を問う「医学検査」**のようなものです。

• メタファー：
  これまで私たちは、「AI という車が、人間と同じように運転できるか」を、**「目的地にたどり着けるか」だけで評価していました。
  しかし、この新しいキットは、「AI の車は、人間と同じように『信号を見て止まる』のか？『歩行者の表情を見て避ける』のか？」**という、運転の「中身」を詳しくチェックするものです。

結論として：
現在の AI は、人間の視覚の「真似」をしているように見えますが、実は**「別の仕組み（質感や統計的なパターン）」で動いています。
この「MindSet: Vision」というキットを使うことで、AI がどこで人間と違うのかを明確に特定でき、「より人間に近い、本当に賢い AI」**を作るための道しるべになるのです。

---

一言でまとめると：
「AI が人間のように『見ている』と主張する前に、まずは人間の『錯覚』や『直感』を再現できるか、この新しい実験キットで厳しくチェックしましょう。そして、今の AI はまだ『人間っぽさ』には遠いことが分かりました。これを改善して、本当の『人工知能』を作りましょう」という提案です。

技術概要

MindSet: Vision 論文の技術的サマリー

この論文は、深層ニューラルネットワーク（DNN）が人間の視覚をどの程度模倣しているかを評価するための新しいツールボックス「MindSet: Vision」を提案し、既存のベンチマークの限界を克服し、30 の重要な心理学的実験に基づいて DNN を厳密にテストする枠組みを提供するものです。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題提起 (Problem)

現在の DNN は人間の視覚や物体認識のモデルとして最も優れた工学的解決策と見なされていますが、その評価には以下の重大な課題が存在します。

• 観測的ベンチマークの限界: 既存のベンチマーク（Brain-Score など）の多くは、自然な画像に対する行動データや脳反応を「観測的」に予測するものです。これらは特定の仮説を検証するために刺激を体系的に操作した実験データではなく、単一のタスク（例：孤立した物体の分類）に特化しています。
• 交絡変数の問題: 画像に複数の診断的手がかり（テクスチャ、形状、背景など）が含まれている場合、DNN が人間とは質的に異なる方法（例：形状ではなくテクスチャで分類）で物体を識別していても、高い予測精度を達成できてしまう可能性があります。
• 心理学的知見の軽視: 人間の視覚の仕組みを解明するために設計された数多くの心理学的実験（視覚的錯覚、ゲシュタルト法則、関係性推論など）が、DNN の評価において無視されがちです。また、既存の研究では「厳密なテスト（Severe Testing）」が行われず、表面的な類似性に基づいて結論が導き出されることが多いです。

2. 手法とツールボックス (Methodology & Toolbox)

著者らは、DNN を人間の視覚の心理学的知見に対して厳密にテストするためのツールボックス「MindSet: Vision」を開発しました。

A. データセット (Datasets)

• 30 の実験: 低次・中次視覚（ウェーバーの法則、ゲシュタルト法則、群れ現象）、視覚的錯覚（ミュラー・リヤー、エビングハウス、ジャストローなど）、形状・物体認識（線画、シルエット、埋め込み図形、関係性推論）を含む 30 の実験に対応する画像データセットを提供しています。
• 体系的な操作: 各データセットは、特定の仮説を検証するために刺激を体系的に操作して生成されています（例：錯覚条件と「スクランブル」された非錯覚条件の対比）。
• 柔軟な生成: 事前生成されたデータセット（1 条件あたり約 5,000 枚）に加え、画像サイズ、背景色、ストローク色、サンプル数などをパラメータとして自由に設定してデータセットを再生成できるスクリプトを提供しています。

B. 評価手法 (Testing Methods)

DNN をこれらのデータセットでテストするための 3 つの主要な手法を提供しています。

1. 類似性判断分析 (Similarity Judgment Analysis):
   • 画像ペアに対する DNN の内部活性化パターン（コサイン類似度やユークリッド距離）を比較します。
   • 人間の知覚的類似性と DNN の表現の類似性を照合し、どの層でどの程度の一致が見られるかを評価します。
2. デコーダー法 (Decoder Method):
   • 凍結された DNN の特定の層に小さなデコーダー（通常は単層の線形層）を接続し、特定の属性（例：円径、線分長）を予測するタスクで訓練します。
   • 訓練データ（非錯覚条件）で学習させたデコーダーを、テストデータ（錯覚条件）で評価し、DNN が人間と同様の錯覚効果を示すか（例：周囲の円が小さい場合、中心円を大きく見積もる）を検証します。
3. 分布外分類 (Out-of-Distribution Classification):
   • ImageNet などで事前学習されたモデルに、トレーニング分布から外れた画像（例：線画、シルエット、テクスチャ加工された画像）を入力し、分類精度を測定します。

3. 主要な貢献 (Key Contributions)

1. 包括的な心理学的テストツールボックス: 人間の視覚研究で確立された 30 の実験を網羅し、DNN の評価を「観測的ベンチマーク」から「仮説駆動型の厳密なテスト」へと転換させるためのリソースを提供しました。
2. 再現性と拡張性の確保: 画像生成スクリプトと設定ファイル（TOML 形式）を提供することで、研究者が自らの研究目的に合わせてデータセットを容易に再生成・カスタマイズできるようにしました。
3. 多様な評価手法の統合: 類似性分析、デコーダー法、分類タスクという 3 つのアプローチを統合し、DNN の内部表現と行動出力の両面から評価を可能にしました。
4. 大規模なモデル評価: 15 種類の最先端 DNN（ResNet, ConvNeXt, ViT, DeIT, FocalNet など）を 9 つの実験でテストし、その結果を公開しました。

4. 結果 (Results)

15 の DNN を 9 つの実験でテストした結果、以下のような知見が得られました。

• 部分的な成功:
  • 一部のモデルは、**非偶発的性質（NAPs）**への感度や、**非モダール完成（Amodal Completion）**の兆候を示しました。
  • ジャストロー錯覚において、一部のネットワークは人間と同様に下部の弧を上部よりも大きく見積もる傾向を示しましたが、その誤差の大きさは人間とは異なっていました。
• 顕著な失敗:
  • ミュラー・リヤー錯覚: ほとんどのネットワークは錯覚効果を示すことができませんでした。
  • エビングハウス錯覚: 結果は混合しており、一貫した人間様の効果は確認されませんでした。
  • 関係性推論: 物体部分間の「関係性の変化」に対して、人間は敏感ですが、DNN は座標変化と関係性変化を区別できず、同様に扱っていました。
  • 分布外分類: 線画やシルエット、テクスチャ加工された画像など、人間が容易に認識できる画像に対して、DNN の分類精度は人間（90% 以上）に比べて著しく低く、形状の抽出が苦手であることが示されました。
• 層による変動: 結果はネットワークの層によって大きく異なり、特定の層で「人間様」の結果が見られたとしても、それが体系的な知覚現象を反映しているとは限りませんでした。

5. 意義と結論 (Significance & Conclusion)

• DNN と人間の視覚の乖離の明確化: 現在の DNN は、Brain-Score などのベンチマークで高いスコアを獲得していても、人間の視覚の基本的な心理学的現象（錯覚、関係性推論、形状の一般化など）を捉えられていないことが明らかになりました。
• モデル改善への指針: DNN の失敗を特定することは、生物学的視覚をより良くモデル化するために DNN をどのように改善すべきか（例：形状バイアスの強化、関係性推論の導入）を示す重要な手がかりとなります。
• 研究パラダイムの転換: 本研究は、DNN の評価において、単なる「データへの適合度」ではなく、心理学的実験に基づく「厳密なテスト」の重要性を強調しています。
• 将来の展望: このツールボックスは、視覚だけでなく、記憶、言語、音声知覚など、他の認知プロセスにおける人間様 AI の開発にも応用可能な基盤を提供します。

総じて、MindSet: Vision は、DNN が人間の視覚を真に理解しているかどうかを検証するための重要なツールであり、現在のモデルの限界を浮き彫りにすることで、より生物学的に妥当な AI の開発を促進するものです。