Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

技術要約：異なるアウトカム定義間における甲状腺超音波ディープラーニングのクロスコーホート評価

問題提起
甲状腺超音波の解釈における人工知能（AI）モデルの性能は、コーホートの特性および使用される特定の評価エンドポイントに強く依存する。この分野における重大な課題は、異なる診断エンドポイントの互換性である。すなわち、術後病理（確定的な診断結果）と、放射線科医によるリスクカテゴリー（ACR TI-RADSなどの管理指向の疑いスコア）との違いである。これらのエンドポイントは、診断経路における異なる段階を表しており、互換性はない。さらに、あるデータセットで学習されたディープラーニングモデルは、集団、機器、取得プロトコル、およびラベル定義の変化により、独立したコーホートへの汎化に失敗することが多い。本研究は、画像レベルのデータリークを制御しつつ、悪性度アウトカムに対する評価と、TI-RADS由来のリスクカテゴリーとの一致性を明確に分離しながら、甲状腺分類器のベンチマークを行う必要性に取り組むものである。

手法
本研究では、固定された解析環境（Python 3.10, PyTorch 2.5.1）を用いた、重複制御された画像レベルのベンチマーク・パイプラインを採用した。

• データセット:

  • 開発アーカイブ: 387枚のBモード超音波画像と、385のソース症例から派生した1,332個の穿刺吸引細胞診（FNA）ブロックを含む、公開されたMendeley Dataリリース。ラベルは術後診断に基づくバイナリ（乳頭癌[PTC] vs 良性）である。患者レベルの識別子が利用できなかったため、検証済みの患者レベルの分割は不可能であった。
  • 外部コーホート: 再学習や閾値調整を行わずに、以下のデータに対して凍結されたモデルを評価した：
    1. TN3K: データセットに提供された良性/悪性のラベルを持つ1,228枚の画像のサブセット。
    2. DDTI: 放射線科医のTI-RADSカテゴリー（低疑いTI-RADS 2–3 vs 高疑いTI-RADS 4–5のグループ化）から派生したバイナリ・エンドポイントに対して評価された637枚の画像。

• データ前処理およびリーク制御:

  • 重複制御: 画像をMD5ハッシュ（完全な重複）および知覚ハッシュ（酷似した画像）を用いてグループ化した。これらのグループは、画像レベルのデータリークを防ぐため、単一のパーティション（訓練、検証、テスト）内に保持された。
  • 前処理: 画像を224×224ピクセルにリサイズした。探索的実験として、周辺部のインターフェース・アーチファクトを抑制するための自動テクスチャベースの関心領域（ROI）クロッピングをテストした。

• モデルアーキテクチャおよび学習:

  • 5つのバックボーン・アーキテクチャ（ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50, DenseNet-121）を用いて学習を行った。
  • モデルはImageNetの重みで初期化され、AdamW最適化を用いたクラス重み付きバイナリ・クロスエントロピー損失を用いて微調整された。
  • アンサンブルは、ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50のシグモイド確率を平均化することによって構築された。
  • キャリブレーションは、温度スケーリング、ブリアー・スコア、および期待キャリブレーション誤差（ECE）を用いて評価された。

• 評価戦略:

  • パフォーマンスは、AUROC、AUPRC、精度、感度、特異度、およびF1スコアを用いて測定された。
  • 信頼区間は、非パラメトリック・ブートストラップ・リサンプリング（2,000回の反復）を介して生成された。
  • 細胞診と超音波のモダリティは、非ペアの独立した画像分布として分析された。患者内での比較精度は推定していない。

主な貢献

1. エンドポイントの起源の分離: 本研究は、悪性度を予測する能力（病理ラベルに対する）と、放射線学的リスク層別化（TI-RADS）との一致性を明示的に区別している。
2. 重複制御されたベンチマーク: 公開されている医療画像アーカイブにおいて一般的な問題である、患者レベルの識別子がない状況下での画像レベルのデータリークを防ぐため、完全なハッシュおよび知覚ハッシュを実装した。
3. クロスコーホートでの凍結評価: 凍両モデルを、再学習なしで2つの異なる外部コーホート（TN3KおよびDDTI）に対して評価し、獲得プロセスやエンドポイントの定義に基づいて性能がどのように変化するかを明らかにした。
4. 記述的なモダリティ対比: 開発アーカイブ内での細胞診と超音波の非ペアの比較を行い、そのような比較が画像分布を記述するものであり、臨床的な優位性を確立するものではないことを明確にした。

結果

• 内部性能（開発アーカイブ）:

  • 細胞診: ConvNeXt-Smallモデルは0.988のAUROC（95% CI 0.976–0.998）を達成し、アンサンブルは0.986に達した。
  • 超音波: EfficientNet-B3モデルは0.745のAUROC（95% CI 0.612–0.865）を達成し、アンサンブルは0.733に達した。
  • ROIクロッピング: 自動ROIクロッピングにより、超音波アンサンブルのAUROCは0.745から0.817に向上した。
  • キャリブレーション: 温度スケーリングにより、ランクベースの指標を変えることなく、確率の信頼性が向上した（ECEは0.032から0.014に減少）。

• 外部コーホート評価（凍結モデル）:

  • TN3K（悪性度ラベル）: 超音波アンサンブルは0.825のAUROCを達成し、ResNet-50は0.888に達した。これらの結果は、データセットの分散された良性/悪性ラベルに対する良好な識別能を示している。
  • DDTI（TI-RADSエンドポイント）: TI-RADS由来のエンドポイントに対し、アンサンブルは0.477のAUROC、ResNet-50は0.437のAUROCを達成した。これは、TI-RADSのカテゴリー化との一致がほとんど、あるいは全くないことを示している。
  • 解釈: 著者らは、TN3KとDDTIの結果のコントラストは、ラベルの定義のみに起因するものではないと述べている。なぜなら、コーホート、機器、獲得方法、および疾患スペクトラムが同時に変化しているためである。

• モダリティ比較: 非ペアのブートストラップ分析により、細胞診マイナス超音波のAUROC差は0.247（95% CI 0.120–0.384）であった。著者らは、画像セットが患者間で一致していないため、これが細胞診の臨床的優位性を証明するものではないことを強調している。

意義と主張
本論文は、凍結された甲状腺超音波モデルが、獲得方法およびアウトカム定義が異なるコーホート間で異なる挙動を示すことを主張している。TN3K（悪性度ラベル）における高い性能と、DDTI（TI-RADSラベル）におけるチャンスレベルに近い性能との極端な対比は、これらのエンドポイントが互換性を持たないことを浮き彫りにしている。

本研究は、将来の研究に向けて以下の3つの主要な示唆を支持している：

1. 明示的な報告: ラベルの起源（例：術後診断 vs TI-RADS）は、明示的に報告されなければならない。
2. 慎重な解釈: クロスコーホートの性能差は、単一の因果要因ではなく、分布シフトとエンドポイント定義の複合的な結果として解釈されるべきである。
3. 患者レベルの検証: 将来の研究には、移植可能性を確保するために、臨床的に適切な参照標準に対する患者レベルの外部検証が必要である。

著者らは、自らの知見が、汎化問題に対する決定的な解決策を主張するものではなく、検証済みの患者レベルの分割および一貫した参照標準の記述の必要性を支持するものであると控えめに結論付けている。本研究は、DDTIにおける悪性度診断を検証したものではない。なぜなら、TI-RADSのエンドポイントは悪性の参照標準ではないからである。