技術要約: MIFR – 皮膚疾患分類のためのモダリティ不変かつ公平な表現フレームワーク

1. 問題提起

深層学習による皮膚疾患の診断は、実世界の臨床現場への導入において、2つの決定的な障壁に直面している：

1. モダリティの異質性: 皮膚病変は、主に臨床写真とダーモスコピー画像という、異質なイメージングモダリティを通じて捉えられる。既存のモデルは単一のモダリティに依存することが多く、正確な診断には不十分な場合がある。
2. 人口統計学的格差: 公開されている皮膚科データセットは明るい肌の色（フィッツパトリック・スキンタイプ I–III）に偏っており、その結果、モデルは暗い肌の色（FST IV–VI）に対して著しく性能が低下する。これはヘルスケアにおける格差を永続させるものである。

従来のアプローチは、通常、これらの問題を個別に解決しようとする。公平性を考慮した手法（例：FairDisCo, PatchAlign）は一般に単一のモダリティで動作し、一方でマルチモーダル基盤モデル（例：PanDerm）は明示的な公平性の制約を欠いていることが多い。さらに、多くの公平性手法は、推論時に機微な属性ラベル（肌のトーン）を必要とするが、これは臨床現場においては非現実的である。

2. 手法: MIFR フレームワーク

著者らは、臨床画像とダーモスコピー画像を共同で処理し、推論時に機微な属性を必要とせずに公平性を強制するように設計されたデュアルエンコーダ・アーキテクチャである MIFR (Modality-Invariant and Fair Representation) を提案している。

2.1 アーキテクチャ

• デュアルエンコーダ: モデルは、臨床画像用のエンコーダ ($f^c_\theta$) とダーモスコピー画像用のエンコーダ ($f^d_\phi$) という、2つの独立した Vision Transformer (ViT-Small) エンコーダを採用している。
• プロジェクションヘッド: 各エンコーダの出力は、入力を共有の高次元埋め込み空間 ($\mathbb{R}^{512}$) にマッピングするために、モダリティ固有のプロジェクションヘッド（バッチ正規化とGELU活性化関数を備えた多層パーセプトロン）を通過する。
• 推論の柔軟性: 推論時には、補助的なブランチは破棄される。モデルは臨床画像、ダーモスコピー画像、またはその両方で動作可能であり、個別の特化したモデルを必要としない。

2.2 多目的損失関数

学習プロセスは、以下の5つのコンポーネントからなる統一された損失関数 ($L_{Total}$) を最適化する：

1. ターゲット分類 ($L_{cls}$): 正確な疾患予測 ($y_i$) を確実にするために、クラス不均衡に対処する重み付きクロスエントロピー損失。
2. 肌のトーン属性ブランチ (SA): 推論時に $s_i$ を必要とせずに、特徴量から肌のトーンのバイアス ($s_i$) を除去するための敵対的メカニズム。
   • 混乱損失 ($L_{conf}$): メインエンコーダを、肌のトーンの分類器を不確実にする（エントロピーを最大化する）ように訓練し、効果的に肌のトーンの手がかりを隠す。
   • スキン損失 ($L_{skin}$): 補助的な肌のトーン分類器を、真のラベルを予測するように訓練し、エンコーダが自明な解に崩壊するのを防ぐ。
3. コントラスティブ・ブランチ ($L_{contr}$): モダリティごとに適用される教師ありコントラスティブ損失。同じ疾患クラスの埋め込みを引き寄せ、異なるクラスを押し離すことで、クラス内のコンパクトネスを確立する。
4. モダリティ不変ブランチ ($L_{MI}$): VICRegに基づくもので、同一の病変における臨床埋め込みとダーモスコピー埋め込みの整合性を強制する。これには以下が含まれる：
   • 不変性 ($L_{inv}$): ペアとなる埋め込み間のコサイン距離を最小化する。
   • 分散 ($L_{var}$): 各埋め込み次元に十分な分散を確保することで、次元の崩壊を防ぐ。
   • 共分散 ($L_{cov}$): 埋め込み次元の冗長性を減らすために、次元間の相関を排除する。

3. 実験設定

• データセット:
  • 内部学習用: ペアとなった HIBA (FST付き 1,195枚) および Derm7pt (推定FST付き 1,738枚) データセット。メラノーマ (MEL)、母斑 (NV)、基底細胞癌 (BCC) に絞り込み。
  • 外部ベンチマーク: PAD-UFES-20 (臨床画像) および ISIC 2019 (ダーモスコピー画像)。
• ベースライン: FairDisCo および PatchAlign との比較。
• 指標: 正解率 (Acc)、F1スコア、AUC、予測品質格差 (PQD)、および正解率格差 ($\Delta$Acc)。

4. 主な結果

4.1 内部性能 (HIBA + Derm7pt)

• 公平性: 完全な MIFR モデルは 87.23% の PQD を達成し、FairDisCo (66.67%) や PatchAlign (82.98%) を大幅に上回った。
• 精度: MIFR は 93.33% の正解率と 92.17% の F1スコアを達成した。ベースライン (93.81%) よりはわずかに低いものの、性能は非常に競争力がある。
• アブレーション: コントラスティブ学習とモダリティ不変性の組み合わせ (BASE+Contr+MI) が最も低い正解率格差 (0.0265) を示しており、モダリティ不変性が暗黙的に公平性を促進していることを示唆している。

4.2 外部汎化性能

• PAD-UFES-20 (臨床): MIFR は、正解率 (85.10% vs FairDisCo の 78.35%) および AUC (91.89% vs 83.44%) において、ベースラインを大幅に上回った。
• ISIC 2019 (ダーモスコピー): MIFR は 76.64% の正解率を達成し、FairDisCo と同等であり、PatchAlign を上回った。しかし、AUC (80.50%) はベースモデル (86.62%) よりも低かった。著者らは、これをモダリティ不変性を強制することで、クロスモダリティの汎化性能のためにモダリティ固有の識別能が犠牲になるトレードオフによるものと考えている。

4.3 可視化

t-SNE 可視化により、以下が確認された：

1. 同一疾患の臨床およびダーモスコピーの埋め込みが、幾何学的に整列していること（モダリティ不変性）。
2. 肌のトーンが疾患クラスター内でほぼ完璧に混合されており、肌のトーンのバイアスが除去されていること（公平性）。

5. 意義と主張

本論文は、MIFR が以下の点において、公平かつ堅牢な皮膚疾患診断に向けた重要な一歩であると主張している：

• 目的の統合: モダリティ不変性と公平性を、別々の課題としてではなく、結合された最適化問題として扱うことに成功した。
• 実用的な展開: 多くの既存の公平性重視の手法を制限している要件である、推論時の機微な属性ラベルの必要性を排除した。
• クロスデータセットの堅牢性: 外部ベンチマーク (PAD-UFES-20) における優れた汎化性能を示すことで、データ分布が変化する実世界のシナリオにおける適用性を検証した。

6. 限界と今後の方向性

著者らは以下の制約を認めている：

• データ依存性: 本フレームワークは、ペアとなったトレーニングデータ（同一病変の臨床画像とダーモスコピー画像）に依存しており、これらはしばしば希少である。
• 計算コスト: デュアルエンコーダ・アーキテクチャは、シングルエンコーダ・モデルと比較して計算オーバーヘッドが増加する。
• データセットのバイアス: 本研究では、アフリカの皮膚病変データが不足している国際的なリポジトリを利用した。著者らは、公開データセットが依然として明るい肌の色に偏っていることを指摘しており、FST IV–VI に対する従来手法の性能低下に対処するためには、MIFR をアフリカの臨床データセット（例：eSkinHealth）に適応させることが必要な将来の方向性であると述べている。
• ハイパーパラメータ・チューニング: 5つの損失の重みの相互作用には、網羅的な探索ではなく、検証セットを用いた手動チューニングが必要であった。