技術的サマリー：GRAPHIC – 深層学習における混同行列へのネットワーク科学アプローチ

問題定義

説明可能な人工知能（XAI）は、医療診断や自動運転などの高リスク分野における深層学習の信頼性への懸念に対処する上で不可欠となっています。しかし、既存の事後説明可能性手法には重大な限界があります。

• 局所的手法（例：Grad-CAM、LIME）は個々のサンプルに焦点を当てるため、ラベル付けノイズやサンプリングバイアスに脆弱であり、モデルの挙動の全体像を提供できません。
• 概念ベースの手法（例：TCAV）は人間が定義した概念に依存しており、ネットワークが実際に学習した抽象的な表現と一致しない可能性があります。
• 大域的構造的手法はしばしば特徴空間の編成に焦点を当てますが、時間経過に伴うクラスレベルの混同ダイナミクスを体系的に可視化する手段を欠いています。
• 既存の混同行列可視化（例：ConfusionFlow）は、多くの場合最終層と収束したモデルに限定されており、学習ダイナミクスの進化や中間層の挙動を見逃しています。

神経ネットワーク（NN）の隠れ層に対して混同行列（CM）を構築・分析し、トレーニング中にクラス分離性と混同がどのように進化するかを理解するという、特定のギャップが存在します。

手法：GRAPHIC

著者らは、クラスレベルの混同をネットワーク科学の問題として扱う、アーキテクチャに依存しないフレームワークであるGRAPHIC（Confusion による予測と隠れ層の解釈可能性のグラフベース表現と分析）を提案します。

1. 隠れ層のための混同行列の生成

隠れ層は直接クラス予測を生成しないため、GRAPHIC は中間層の特徴ベクトル上でトレーニングされた線形分類器（LC）を採用します。

• トレーニング戦略：LC は、真のラベル（$y$）と分析対象の NN の予測（$\tilde{y}$）の両方を統合するカスタム交差エントロピー損失関数を用いてトレーニングされます。
  $$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$$
  • $\lambda = 1$（真のラベル）：その層における特徴の内在的な線形分離性を測定します。
  • $\lambda = 0$（予測ラベル）：モデルの現在の「理解」とトレーニングダイナミクスを測定します。LC は真のラベルに依存することなく NN の予測を再現するようにトレーニングされ、クラス学習に関する洞察を提供します。
• CM 構築：トレーニング済みの LC を、見えない特徴ベクトル（トレーニングセットのホールドアウト部分または検証セットから）に適用し、正規化された混同行列 $C$ を生成します。

2. グラフ表現

混同行列は、有向グラフの隣接行列として解釈されます。

• ノード：データセット内のクラスを表します。
• エッジ：クラス $i$ のサンプルがクラス $j$ として予測される確率を表します。
• 重み付け：隣接行列は $C_{ad} = C - C \odot I_N$ として定義され、混同に焦点を当てるために誤った予測（非対角要素）を分離します。

3. ネットワーク科学分析

著者らは、これらのグラフに標準的なネットワーク科学ツールを適用します。

• コミュニティ検出：**モジュラリティ（$Q$）**の最大化（有向 Louvain アルゴリズムを介して）を使用して、「混同コミュニティ（CC）」を特定します。CC は互いに頻繁に混同されるクラス群です。これは、事前定義されたラベルなしで出現する意味的構造を明らかにします。
• アソシエーション：学習された混同構造が事前定義されたグループ化（例、「自然」対「人工」またはデータセットのスーパークラス）とどの程度整合しているかを測定するために、アソシエーション係数を計算します。
• 時間的進化：トレーニングエポックとネットワーク層全体でこれらのグラフを分析し、学習ダイナミクスの進化を追跡します。

主要な貢献

1. 新しい分析アプローチ：GRAPHIC は、真のラベルと予測ラベルの両方でトレーニングされた LC を用いて中間層の混同行列を生成・分析する、最初のアーキテクチャに依存しない手法です。これらの行列を有向グラフとして解釈し、ネットワーク科学ツールを活用します。
2. データセットとラベル付けの診断：この手法は、クラス数の多さによって隠蔽されるデータセットの隠れた問題、ラベル付けの曖昧さ、バイアスを特定します。これらの知見は人間による研究を通じて検証されます。
3. 線形分離性の傾向の観察：この研究は、中間層の線形分離性に関する経験的証拠を提供し、特に CNN で見られる単調な増加とは対照的に、ビジュアルトランスフォーマーの初期デコーダでは分離性の低下が観察されることを明らかにしました。

実験結果

実験は、CIFAR-100およびTiny ImageNetを使用して、ResNet-50（CNN）とEffVit（ビジョントランスフォーマー）で行われました。

1. 混同コミュニティの進化

• トレーニング初期：少数の支配的なクラスが「混同ハブ」として機能します（例、ResNet-50 における「コンピュータキーボード」、「海」、「ポッサム」）。特定のハブはモデルの初期化だけでなく、トレーニングデータの順序に強く依存します。
• 収束：トレーニングが進むにつれて、意味的に有意義なコミュニティ（例、動物、木、人間）が出現します。群間混同は減少し、モジュラリティは増加します。
• 層の違い：ResNet-50 では、深い層ほど明確なグループ化と高いモジュラリティを示します。EffVit では、初期デコーダは最初に線形分離性を獲得しますが、トレーニングが進むにつれてそれを失い、CNN とは異なる学習ダイナミクスを示唆しています。

2. データセットの問題とバイアス

GRAPHIC は、特定のデータセットのアーティファクトを可視化することに成功しました。

• 葉の色バイアス：カエデの木と樫の木が頻繁に混同されました。分析により、モデルは構造的な特徴ではなく、季節的な葉の色（カエデは赤/黄色、樫は緑）に依存していることが判明しました。テスト画像の葉の色を変更することで予測が修正されました。
• 文脈的バイアス：「平魚」と「人間」の間には、強く非対称な混同が見つかりました。これは、釣り人が平魚を持っているデータセット画像に起因し、モデルが文脈（魚を持っていること）をクラス「人間」と関連付けていることが判明しました。
• ラベル付けの曖昧さ：「少年」、「少女」、「赤ちゃん」といったクラスは、密接な混同コミュニティを形成しました。人間による研究（31 名の参加者）により、画像の品質や年齢/性別の定義境界のため、これらのクラスは人間であっても本質的に曖昧であることが確認されました。
• Tiny ImageNet の問題：「コンバーチブル」と「スポーツカー」、「タビー」と「エジプト猫」の間の混同が特定され、データセット内のラベルの重複や定義の不一致が明らかになりました。

3. 線形分離性

• ResNet-50：線形分離性（真のラベルに対する LC の精度で測定）は、深さとトレーニングエポックとともに単調に増加し、以前の文献と一致しました。
• EffVit：後続のデコーダでは分離性が増加しましたが、初期デコーダは初期の増加後に線形分離性の低下を示しました。これは、ビジュアルトランスフォーマーが CNN とは異なり局所性とグローバルな文脈を学習する可能性があり、より複雑な表現を形成するために初期段階で線形分離性を「忘却」している可能性を示唆しています。

意義と主張

本論文は、データ駆動型の構造的アプローチを通じて「真の混同」を明らかにすることで、ニューラルネットワークがどのように学習するかという新たな視点を提供すると主張しています。

• 実行可能な洞察：クラスレベルの混同を可視化することで、GRAPHIC は標準的な精度指標が見逃すデータセットのバイアスやラベル付けの誤りを特定するのに役立ちます。
• アーキテクチャの理解：中間層における線形分離性の安定性に関して、CNN とトランスフォーマーの学習ダイナミクスの根本的な違いを明らかにします。
• 信頼性と信頼性：この手法は、医療画像などの高リスクアプリケーションにおいて不可欠である、データセット設計を導きモデルの信頼性を向上させる解釈可能な可視化を提供します。
• 限界：著者らは、複数の層とエポックで LC をトレーニングすることによる計算オーバーヘッドを認めていますが、早期終了や LC の再利用などの戦略でこれを緩和することを提案しています。また、観察された混同の意味的意味の解釈には依然として手動分析が必要であるとも指摘しています。

要約すると、GRAPHIC は局所的な説明可能性と大域的な構造分析の間のギャップを埋め、ネットワーク科学を用いてトレーニングプロセスとデータセットの完全性に対する体系的でクラスレベルの視点を提供します。