Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

技術要約：特徴量利用を定量化するための重み空間相関分析

問題提起
医療画像におけるディープラーニングモデルは、「ショートカット学習（近道学習）」に対して脆弱である。これは、モデルが真の臨床的信号ではなく、混同変数となるメタデータ（例：スキャナーモデル、撮像プロトコル）に依存してしまう現象である。先行研究では、このような混同情報が画像埋め込み（embedding）内に「エンコード」されていることが示されているが（Gichoya et al., 2022; Glocker et al., 2023）、決定的なギャップが残されている。すなわち、埋め込み空間に特徴が存在すること自体は、モデルが最終的な予測のためにその特徴を能動的に「利用」していることを証明するものではない。埋め込み分布の分析や反事実的テストセットの生成といった既存の手法は、分類ヘッドがこれらの混同変数を活用しているかどうかに直接的には対処していない。本論文は、「モデルの決定境界は、臨床的に無関係な因子と能動的に整列しているのか？」という根本的な問いに取り組むものである。

手法：重み空間相関（WSC）分析
著者らは、主要な臨床タスクの分類ヘッドと補助的なメタデータタスクの分類ヘッドとの間の整列度を測定することにより、特徴量の利用を定量化する解釈可能な手法として、重み空間相関（WSC）分析を提案している。この手法は以下の3つのステップで進行する：

1. 線形表現： 本手法は、線形分類ヘッドの重み（$W$）を、潜在的な埋め込み空間に作用する「アテンション・ベクトル」として扱う。$C$個のクラスを持つタスクにおいて、重み行列 $W \in \mathbb{R}^{C \times d}$ は各クラスの決定方向を定義する。
2. データ多様体への投影： 比較を意味のある次元で行うために、分類器の重みを主成分分析（PCA）を用いて固有のデータ多様体に投影する。著者らは、上位$k$個の主成分を抽出し（最小50個を確保し、分散の99%を捕捉）、投影行列 $P$ を形成する。重みは $W' = W P^\top$ として変換される。このステップにより、直交する非情報的な次元が除去される。
3. 整列度の定量化： 主要タスク（$W'_A$）と補助的なメタデータタスク（$W'_m$）の投影された重みベクトルの間のコサイン類似度を計算する。臨床タスクの決定境界とメタデータタスク（例：スキャナーの種類）の決定境界の間に高い相関があることは、ショートカット学習の定量的プロキシとなり、モデルが両方の予測のために同じ潜在的特徴に依存していることを示す。

主な貢献

• 新規指標： メタデータの「エンコード」と、推論におけるその能動的な「利用」を区別するためのWSC分析の導入。
• 誘発バイアスによる検証： 著者らは、胎児の断面クラスとスキャナーモデルの間に強い相関を人工的に導入した「誘発バイアス・データセット」を作成することで、本手法を検証した。WSC分析は、結果として生じた重みベクトル間の高い整列を検出することに成功した一方、「バランス・データセット」（相関なし）では整列が低く、本手法がショートカット学習に対して感度を持つことを確認した。
• 臨床モデルへの適用： 本手法を、切迫早産（sPTB）予測のための最先端モデルであるSA-SonoNetに適用した。

実験結果
本研究では、2つのプライベートな臨床超音波データセット（胎児の解剖学的分類データセット、およびsPTB予測のための子宮頸部データセット）を利用した。

• エンコード可能性 vs 利用可能性： 胎児データセットにおいて、ベースラインモデルは、メタデータ（スキャナー、病院ID）が画像埋め込み内に高度に「エンコード」されていること（プロービングにおける高いAUROC）を確認した。しかし、WSC分析の結果、主要な断面分類タスクの重みベクトルは、スキャナー分類タスクに対して概ね直交（低い相関）していることが明らかになった。これは、メタデータをエンコードするように明示的に訓練されたマルチタスクモデルにおいても成立しており、主要タスクがスキャナーのショートカットに依存していないことを示唆している。
• 誘発されたショートカットの検出： 特定の断面と特定のスキャナーを相関させるようにデータセットにバイアスをかけた場合、平面とスキャナーの重みの間のWSC値は有意に上昇した。これにより、WSCがモデルにショートカット戦略を採用させる状況を検出できることが確認された。
• SA-SonoNetの分析： sPTB予測モデルに適用した分析では、以下のことが示された：
  • 臨床的関連性： sPTB分類器の重みは、頸管長や画素間隔といった臨床的に関連する因子と中程度の相関を示した。
  • 混同変数からのデカップリング： 重みは、臨床的に無関係な取得因子、特にスキャナーの種類とはデカップリング（分離）されていた。
  • 注意点： 出生体重はsPTBと高いWSCを示したが、著者らは、プロービングヘッドが出生体重を効果的に予測できなかったことから、これは機能的に無意味であると述べている。これは、情報が強固にエンコードされていないことを示している。

意義と主張
本論文は、WSC分析が医療画像におけるモデルの信頼性を検証するための必要なツールを提供すると主張している。分類器が真の臨床的信号とは無関係な特徴を利用しているかどうかを検査することで、研究者は単なる性能指標を超えて、内部の決定ロジックを理解することができる。著者らは、混同因子は医療画像の埋め込み内に存在する可能性があるものの、SA-SonoNetのようなモデルは、その決定境界が臨床的に意味のある信号と整列し、スキャナーモデルのような偽の相関からデカップリングされるように設計または訓練できると結論付けている。これは、モデルがデータセットのアーティファクトを悪用しているのではなく、意図した病理を学習していることを確認するための手法を提供するものである。

限界
著者らは、本手法が埋め込み空間とクラス予測の間の線形関係を仮定していることを認めている。これは標準的なディープラーニングの慣習には合致しているが、複雑な非線形相互作用を捉えられない可能性がある。また、本手法は現在、個々のメタデータ属性を分析しているが、現実世界のショートカットは複数の混同因子の非線形な組み合わせを含む可能性がある。これについては今後の研究課題としている。さらに、低WSCは、画質や特徴量の変化など、他の要因によるドメインシフトに対する堅牢性を保証するものではないが、そのような失敗の原因がショートカット学習によるものである可能性を排除するものである。