No gain from attention or graph modules in matched ResNet-50, ResNet-18, EfficientNet-B0 and MobileNetV2 baselines for nine-class chest radiographs

技術要約：マッチングされたResNet-50、ResNet-18、EfficientNet-B0、およびMobileNetV2のベースラインにおけるアテンションまたはグラフモジュールの効果なし

問題提起

ImageNetで事前学習されたResNet系のバックボーンを中心とする深層畳み込みネットワークは、胸部エックス線写真分類において支配的である。医療画像分野の文献では、特徴表現を鋭敏化し精度を向上させるために、軽量なアテンション（例：SE、CBAM、BAM）やグラフモジュール（例：GCN、GAT）をこれらのバックボーンに付加する手法が広く行われている。しかし、報告されている利得は、使用されるモジュールに依存しており、一貫性に欠け、厳密な対応のある統計検定が行われていないことが多い。さらに、ベースラインがすでに強力な場合（例：ファインチューニング後）、測定可能な改善の余地は極めて狭いため、純粋なアーキテクチャによる利得と、確率的な最適化やハードウェアの非決定性に起因する実行ごとの変動を区別することが困難になる。

本研究は、5つのモジュール（SE、CBAM、BAM、GCN、GAT）が、飽和していない9クラスの胸部エックス線写真タスクにおいて、同一の凍結バックボーンを持つResNet-50ベースラインに対して測定可能な改善をもたらすという、具体的かつ反証可能な仮説を検証するものである。

手法

本研究では、挿入されるモジュールのみを変数とする、厳格に制御されたベンチマーク設計を採用している。

• データセット: NIH ChestX-ray14コレクションを利用し、9クラス（肺虚脱、心拡大、胸水、浸潤、腫瘤、結節、肺炎、気胸、および異常なし）のサブセットに絞り込んだ。訓練セットは9,532枚（各クラス最大1,200枚とし、小規模なクラスは全数使用）、検証セットは2,383枚とした。不均衡を緩和するためにクラス重みを適用した。
• モデルおよびアーキテクチャ:
  • ベースライン: ImageNetの重みを用いたResNet-50。最初の2ステージは凍結し、最後の2ステージ、挿入されたモジュール、および分類ヘッドを訓練した。
  • バリアント: 5つのモジュールを、バックボーンと分類ヘッドの間の遷移点（バックボーンの後方）に一度挿入した。
  • 配置に関するアブレーション解析: SEおよびCBAMについては、2つの追加配置をテストした。(1) イン・ブランチ（In-branch）: 元の論文のデザインを再現し、すべての訓練可能なブロック内の残差関数内（恒等加算の前）に挿入。(2) パー・ブロック・アウトプット・ゲーティング（Per-block output gating）: すべての訓練可能なブロックの完全な出力に対して適用（恒等加算の後）。
  • バックボーンの堅牢性: 実験は、比例的な凍結を伴うResNet-18、EfficientNet-B0、およびMobileNetV2についても繰り返された。
• 実験プロトコル:
  • シード: 変動とモジュールの効果を分離するため、各モデルを10個のランダムシードで訓練した。
  • 訓練: 同一のハイパーパラメータ（Adam、学習率 1e-4、バッチサイズ 16、入力 224×224）を使用した。モジュール固有の学習率調整は行わなかった。
  • 評価: 主要指標は、マクロ平均AUC（one-vs-rest）とした。
• 統計解析:
  • 対応のある検定: ベースラインに対する、シードごとのマクロAUC差分に対するウィルコクソンの符号付順位検定を行い、Benjamini–Hochbergの偽発見率（FDR）制御を適用した。
  • 等価性検定: 事前に指定された等価性マージン±0.01 AUCを用いた、二つの片側検定（TOST）を実施した。
  • 信頼区間: アンサンブル予測には2,000回の反復ブートストラップ、対応のある差分には5,000回の再サンプリング・ブートストラップ信頼区間を用いた。

主要な結果

1. 測定可能な利得なし: 5つのモジュール（SE、CBAM、BAM、GCN、GAT）のいずれも、同一のResNet-50ベースラインを上回ることはなかった。5つすべてが、事前に指定された±0.01 AUCの等価性マージン内に収まった。

   • 負の結果: CBAMおよびGATは、FDR補正後、ベースラインよりも統計的に有意に劣っていた（CBAM: Δ = -0.0028, p=0.0195; GAT: Δ = -0.0053, p=0.0020）。ただし、その効果量は等価性マージン内に留まっていた。
   • 中立的な結果: SE、BAM、およびGCNは、ベースラインとの有意な差を示さなかった。

2. 挿入位置の影響:

   • イン・ブランチ配置: SEおよびCBAMを、すべての訓練可能なブロックの残差ブランチ内（標準的な形式）に挿入した場合、ベースラインと同等の性能となった（+0.0013 および +0.0016）。利得も損失も認められなかった。
   • パー・ブロック・アウトプット・ゲーティング: ブロックの完全な出力に対してモジュールを適用（恒等パスをゲーティング）すると、大幅な性能低下を招いた。SEはベースラインに対し-0.0274、CBAMは-0.0703低下した（10/10のシードで負の値、p=0.0020）。このペナルティはResNet-50に特有であり、他のバックボーンには一般化されなかった。

3. 堅牢性チェック:

   • 訓練セットのサイズ: 訓練セットを2.4倍（22,898枚）に増やしても、どのモジュールにおいても利得は得られなかった。
   • バックボーンのバリエーション: ResNet-18、EfficientNet-B0、およびMobileNetV2で実験を繰り返した結果、利得がないことが確認された（21件中19件が同等、2件が悪化、0件が改善）。
   • データリーク: 画像レベルの分割から患者レベルの分割（患者の重複を排除）に変更したところ、ベースラインの性能はわずかに低下したが（約0.01 AUC）、モジュールが利得をもたらさないという結論は変わらなかった。

主な貢献

• 厳格なベンチマーク: 本研究は、アテンションおよびグラフモジュールを同一のベースラインと比較する、マルチシードかつ対応のある統計的比較を提供し、先行文献における形式的な検証の欠如に対処している。
• 等価性の実証: 等価性検定（TOST）を用いることで、利得の不在が単に「帰無仮説を棄却できなかった」ことではなく、モジュールが0.01 AUCの範囲を超えて性能を向上させないという、統計的に支持された結論であることを示している。
• 配置の感受性: 挿入位置が極めて重要であることを明らかにしている。標準的な「イン・ブランチ」配置は中立的であるが、ブロックの完全な出力をゲーティングすることは、ResNet-50において積極的に有害となる。これは、標準的な実装においてしばしば見落とされるニュアンスである。
• 方法論的標準: 医療画像における小さなアーキテクチャ変更を評価するための標準として、マルチシードによる対応のある比較と等価性マージンの使用を提唱している。

意義と主張

本論文は、特定の条件下（事前学習済みResNet-50または同様のバックボーンを、9クラスの胸部エックス線写真タスクに対してファインチューニングするレジーム）において、軽量なアテンションやグラフモジュールが性能を向上させるとは想定すべきではないと結論付けている。証明の責任は、マルチシードによる対応のある比較を通じて、その強化が利得を示すことができるかどうかにかかっている。

著者らは、本結果が「アテンション機構がすべての文脈（例：セグメンテーションや異なるデータセット）において役に立たないことを証明するものではない」と明言している。むしろ、この特定の制御された設定においては、ベースラインが十分に強力であるため、モジュールは測定可能な利益を提供せず、一部の設定（パー・ブロック・ゲーティング）では積極的に性能を低下させるということを示している。本研究は、文献で報告されている利得が、多くの場合、実行ごとの変動や厳格な統計的制御の欠如によるアーティファクトである可能性があることを強調している。