Deep Learning Based Automated Assessment of Ulcerative Colitis Endoscopic Severity Using Local Global Transformer and Graph Convolutional Networks

技術要約：L-GTACNetによる潰瘍性大腸炎重症度自動評価

問題提起
潰瘍性大腸炎（UC）の正確な重症度評価は、治療選択や予後予測において極めて重要であるが、通常はメイオ内視鏡スコア（MES：0（正常）から3（重症）までの範囲）に依存している。しかし、内視鏡による手動評価は主観的であり、観察者間のばらつきが生じやすく、隣接する重症度グレード間の微妙な形態学的差異によって判断が複雑化する。既存のディープラーニング手法には特有の限界がある。畳み込みニューラルネットワーク（CNN）は、長距離の空間的依存関係やグローバルなコンテキストパターンを捉えることに失敗することが多く、一方でスタンドアロンのTransformerモデルは、初期の紅斑や表層の糜爛といった微細な局所的詳細を見落とす可能性がある。さらに、既存の手法は画像強調、特徴抽出、および関係性の推論を、分離されたコンポーネントとして扱うことが多く、識別的な粘膜領域間の空間的関係をモデル化しつつ、臨床的な解釈性を確保する統一されたフレームワークを欠いている。

手法
著者らは、以下の統合されたパイプラインを通じてこれらのギャップに対処するために設計されたハイブリッド・ディープラーニング・フレームワークであるL-GTACNet（Local–Global Transformer Attention-based Graph Convolutional Network）を提案している。

1. データ前処理および強調:

   • 照明補正: Retinexベースのアルゴリズムを適用して、組織の反射率を非一様な照明から分離し、病理学的な色彩パターンを変化させることなく輝度勾配を補正する。
   • コントラスト強調: 領域内のノイズを増幅させることなく、関心領域の局所的なコントラストを向上させるために、コントラスト制限適応ヒストグラム平坦化（CLAHE）を使用する。
   • 標準化: 画像は正規化および適応的なデータ拡張（幾何学的および軽微なフォトメトリック変換）を経て、堅牢性を確保する。
   • データセット: 本研究では、専門の消化器内科医によってMESラベル（0–3）が付与された、564件の患者記録と11,276枚の内視鏡画像からなる公開データセットを利用する。極めて重要な点として、データ漏洩を防ぎ汎化性能を確保するために、データ分割は患者レベルで行われる。

2. アーキテクチャ設計:

   • Local–Global Transformer: コアとなるビジュアルエンコーダは、画像をトークンのシーケンスに変換する。これはデュアルストリーム・アプローチを採用している。
     • ローカル・ブランチ（Local Branch）: アテンション機構を用いて、微細な識別領域（例：特定の病変、血管の変化）を特定し、重み付けを行う。
     • グローバル・ブランチ（Global Branch）: 自己アテンションを利用して、長距離の依存関係をモデル化し、全体的な炎症コンテキスト（例：びまん性の紅斑）を捉える。
   • Attention-Guided Graph Convolutional Network (GCN): 最も識別的なローカルトークンはグラフノードへと変換される。エッジは、空間的な近接性と意味的な類似性の両方に基づいて構築される。グラフ畳み込みモジュールは、これらのノード間で情報を伝播させ、空間的に分散した粘膜領域間の関係的依存関係をモデル化する。
   • 特徴量融合（Feature Fusion）: 学習されたゲーティング機構により、ローカル、グローバル、およびグラフベースの表現を動的に融合する。これにより、モデルは画像内容（例：小さな潰瘍に対してはローカルな特徴に、びまん性の炎症に対してはグローバルな特徴に重点を置くなど）に基づいて決定戦略を適応させることができる。
   • 分類: 融合された表現は、4つのMESクラス（0–3）を予測する分類器ヘッドへと渡される。

3. 学習および評価:

   • モデルは、不均衡データに対処するためのクラス重み付けを用いたカテゴリカル・クロスエントロピー損失を用いて学習される。
   • 性能は、精度（Accuracy）、適合率（Precision）、再現率（Recall）、F1スコア、特異度（Specificity）、AUROC、およびコヘンズのカッパ係数（Cohen's Kappa）を用いて評価される。
   • 説明可能性は、アテンションマップを通じて評価され、モデルが臨床的に関連のある粘膜の異常に焦点を当てていることを検証する。

主な貢献

• ハイブリッド・アーキテクチャ: Local–Global Transformerとグラフ畳み込みネットワークの統合により、微細な局所的病変の詳細とグローバルなコンテキストパターンを同時に捉えることができ、さらに炎症領域間の空間的関係を明示的にモデル化できる。
• 統一されたパイプライン: 画像強調（Retinex/CLAHE）、階層的な特徴抽出、および関係性の推論を単一のエンドツーエンドのシステムに組み合わせることで、従来の研究に見られる断片化の問題に対処している。
• 臨床的解釈性: モデルは、疾患の重症度予測に寄与する特定の粘膜領域（例：潰瘍、出血）を強調することで、疾患に関連した説明を提供し、専門家の診断基準と一致させる。
• 堅牢な患者レベルの検証: 本研究は、特定の患者フレームへの過学習ではなく、真の汎化能力を反映した性能指標を確保するために、厳格な患者レベルのデータ分割を採用している。

結果
提案されたL-GTACNetをテストセットで評価した結果、ベースラインのCNN、標準的なTransformer（ViT, Swin）、およびハイブリッド・アーキテクチャと比較して優れた性能を示した。

• 総合性能: 精度 94.80%、適合率 94.67%、再現率 94.51%、F1スコア 94.58%、および AUROC 0.986 を達成した。
• クラス別性能: モデルはすべてのMESクラスにおいて高い性能を維持しており、最も高い F1スコアは MES-0 で 97.66%（適合率 97.31%、再現率 98.02%、特異度 98.74% を伴う）であり、活動性の高い疾患段階（MES-1 から MES-3）についても一貫した結果を示した。
• 境界判別: モデルは隣接する重症度グレードを効果的に区別したが、最も顕著なエラーは MES-1 と MES-2 の間で発生しており、これは中間的な炎症に伴う固有の視覚的な曖昧さを反映している。
• アブレーション研究: 各コンポーネント（画像強調 → Local-Global Transformer → Local Attention → Graph Convolution）の段階的な追加により、各モジュールが最終的な性能に漸進的に寄与していることが確認された。
• 堅牢性: 照明の低下、コントラストの喪失、ノイズ、およびモーションブラーを含む模擬的な劣化条件下においても、高い精度（>90%）を維持した。
• 計算効率: 1,870万個のパラメータと、1枚あたり 21.4 ms の推論時間を持ち、より重いTransformerモデルと比較して、精度と計算コストの間に良好なトレードオフを提供している。

意義および主張
本論文は、L-GTACNetが、臨床現場における観察者間のばらつきを軽減する可能性のある、堅牢で客観的かつ再現可能な、UC重症度評価のためのツールを提供すると主張している。著者らは、モデルが特定の病理学的特徴（紅斑、血管消失、脆弱性、潰瘍）を特定し、それらの空間的関係をモデル化する能力を持つことが、臨床的な解釈性を高めていると強調している。

しかし、著者らは臨床導入に関して慎重な姿勢を維持している。彼らは、L-GTCNetは消化器内科医に代わるものではなく、医師を支援するために設計されたプロスペクティブ（前向き）なツールであることを明示している。論文は、日常的な臨床採用の前に、異なる施設、内視鏡装置、および患者集団を通じた外部検証、ならびに実世界の環境における有用性を確認するための前向きな臨床研究が必要であると結論付けている。