論文要約：方向性の混同はレート・歪み幾何学を通じて人間と機械の視覚における異なる帰納的バイアスを明らかにする

論文タイトル: Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision
著者: Leyla Roksan Caglar, Pedro A.M. Mediano, Baihan Lin
所属: マウント・サイナイ病院アイカーン医学部、ロンドン大学インペリアルカレッジ

---

1. 研究の背景と問題提起

現代の人工知能（AI）モデル、特に深層学習に基づくビジョンモデルは、人間と同等の分類精度を達成できるようになりました。しかし、両者は「どの頻度で誤るか」という点ではなく、「誰を誰と間違えるか（どの方向に誤るか）」という誤りの構造において本質的な違いを示しています。

従来の評価指標（精度やトップ k 誤りなど）は、誤りを構造化されたものとして扱わず、単なる集計値として扱う傾向があります。しかし、認知科学では、人間の知覚や分類には非対称性（例：ヒトは「ヒト」を「鳥」に似ていると判断しやすいが、逆はそうではない）が普遍的に存在することが知られています。この方向性の混同（Directional Confusion）には、システムが持つ帰納的バイアス（不確実な入力からカテゴリを割り当てる際に暗黙的に課す事前分布）の指紋が刻まれています。

本研究の核心的な問いは以下の通りです：

• 課題、摂動、精度レベルが一致している場合でも、人間と人工ニューラルネットワーク（ANN）は、方向性混同の構造において系統的に異なるのでしょうか？
• この方向性の構造の違いは、精度を超えて一般化の幾何学（Rate-Distortion Geometry）にどのような影響を与えるのでしょうか？

2. 手法とモデル化フレームワーク

データセットと実験設定

• 対象: 自然画像の K=16 カテゴリ分類タスク（ImageNet 派生）。
• 摂動: 12 種類の摂動タイプ（色/グレースケール、コントラスト、フィルタリング、位相ノイズ、回転、Eidolon バリエーション、一様ノイズなど）を用いた分布外（OOD）条件。
• 対象システム:
  • 人間：約 83,000 回の心理物理学実験データ。
  • 機械：GoogLeNet, ResNet-152, VGG-19（事前学習済み）、および歪み学習済み（Distortion-trained）、特化型（Specialised）、全ノイズ型（All-noise）の ResNet-50 などのモデル。

混淆行列とレート・歪み（RD）フレームワーク

1. 有効チャネルとしての混淆行列: 各システムの刺激 - 応答関係を $K \times K$ の混淆行列 $C$ として定義し、これをノイズのある通信チャネルとみなします。
2. レート・歪み（RD）曲線の推定: 情報理論に基づき、特定の分類誤り（歪み）を達成するために必要な相互情報量（レート）のトレードオフを RD 曲線として推定します。
   • 歪み行列 $\rho$ を事後最大確率（MAP）推定により推測。
   • Blahut-Arimoto アルゴリズムを用いて、逆温度パラメータ $\lambda$ を変化させながら RD 最適チャネルを計算し、RD フロンティアをトレースします。
3. 幾何学的シグネチャの抽出: RD フロンティアを要約する 3 つの指標を定義します。
   • 傾き ($\beta$): 誤り減少のための限界情報コスト。
   • 曲率 ($\kappa$): トレードオフの非均一性。
   • 効率 (AUC): RD 曲線下の面積（全動作点にわたる情報 - 誤り効率の総和）。

非対称性の定量化

混淆行列の非対称性を以下の 2 つの次元で分解して分析します：

• 広さ (Breadth): 非対称性を示すクラスペアの割合 ($f_{pairs}$)。
• 強さ (Strength): 非対称ペアにおける平均的な方向性偏差の大きさ ($\bar{\Delta}$)。
• また、正規化されたフロベニウス非対称性指数 ($A_{off}^F$) を使用して、RD 幾何学との関連性を検証します。

3. 主要な結果

3.1 人間と ANN の非対称性構造の分離

精度が一致しているにもかかわらず、人間と ANN は方向性混同の組織化において明確な**二重分離（Double Dissociation）**を示しました。

• 人間: 広範囲にわたる**「広さはあるが弱い（Broad but Weak）」**非対称性。多くのクラスペアで小さな方向性バイアスが分散しています。
• ANN: 少数のクラスに集中した**「狭いが強い（Sparse but Strong）」**方向性崩壊（Sink-like collapses）。特定のクラス（例：ラブラドール）への一方向の誤り集中が見られます。
• ロバスト性学習の影響: ロバスト性指向のトレーニングは、グローバルな非対称性の大きさを人間の範囲まで減少させますが、「広さ - 強さ」のプロファイル（人間のような分散された構造）を回復させることはできませんでした。

3.2 非対称性組織と RD 幾何学の関連

方向性混同の組織化は、精度を制御した後も RD フロンティアの形状と相関していました。

• 効率 (AUC): 非対称性の組織化（広さ vs 強さ）は、AUC に独立して影響を与えます。
• 傾きと曲率: これらの指標は、非対称性の「大きさ」自体には敏感ですが、その「組織化」による影響はモデルファミリーやトレーニング regimes によって異なります。
• 精度制御: 単純な相関の多くは精度依存によるものでしたが、ブロック内で精度を制御した分析では、特定の regime（特に特化型モデル）において、方向性構造と RD 幾何学の間に残差の関連性が残ることが確認されました。

3.3 機械的シミュレーションによる検証

人工的に生成した非対称性構造を用いたシミュレーションにより、以下のメカニズムが確認されました。

• 広さ - 弱さ vs ソンク型: 非対称性の強度を増加させた際、「広さ - 弱さ」構造は RD フロンティアを拡張し効率を向上させますが、**「ソンク型（集中型）」**構造は RD フロンティアを縮退させ、効率を低下させます。
• 精度との独立性: この効果は、精度を調整しても消えず、方向性混同の「組織化」そのものが一般化能力の幾何学的特性を決定づけていることを示しています。
• 解釈: グローバルな非対称性の大きさだけでは、背後にある帰納的バイアスの質的違い（分散型 vs 集中型）を見逃す可能性があります。

4. 貢献と意義

科学的貢献

1. 方向性混同の定式化: 精度以外の指標として、誤りの「方向性」とその「組織化（広さ vs 強さ）」を定量化する新しい枠組みを提案しました。
2. RD 幾何学との統合: 情報理論的なレート・歪みフレームワークを用いて、行動レベルの誤り構造と、内部表現の幾何学的特性（一般化能力）を直接結びつけました。
3. 帰納的バイアスの可視化: 人間と AI が同じ精度を出しても、その背後にある「失敗の仕方（バイアス）」が根本的に異なることを実証し、それが RD フロンティアの形状に現れることを示しました。

実用的・将来的意義

• 評価指標の限界の克服: 単なる精度や集計された非対称性スコアでは、人間と AI の整合性を正しく評価できないことを示しました。
• ロバスト性トレーニングの指針: 単に誤りを減らすだけでなく、誤りの構造を「人間のような広範囲で弱い分散型」へと再分配するようモデルをトレーニングする新たなアプローチ（正則化項の導入など）の可能性を提示しました。
• 一般化: このアプローチは CNN に限らず、Vision Transformer などの現代アーキテクチャにも適用可能であり、分布シフト下での生物学的・人工的帰納的バイアスの一般性を検証する枠組みとなります。

結論

本論文は、「方向性混同」の構造が、精度では見えない帰納的バイアスの重要なシグネチャであることを明らかにしました。人間は誤りを広範囲に分散させるのに対し、AI は特定の方向に集中させる傾向があり、この違いはレート・歪み幾何学において明確に区別されます。将来的には、この「広さ - 強さ」の分解をトレーニング目標として用いることで、より人間に類似したロバスト性を持つ AI 開発が可能になるでしょう。