An Intelligent Multimodal Deep Learning Framework for Early Diagnosis of Diabetic and Hypertensive Retinopathy Using Retinal Fundus Images

技術要約：糖尿病性および高血圧性網膜症の早期診断のためのインテリジェントなマルチモーダル深層学習フレームワーク

問題提起
糖尿病性網膜症（DR）および高血圧性網膜症（HR）は、世界的に不可逆的な視力喪失の主要な原因となっています。早期診断は失明を防ぐために極めて重要ですが、現在の診断実務には重大な限界があります。既存システムの多くは網膜底底画像解析のみに依存しており、血糖値（ヘモグロビンA1c）や血圧といった重要な全身性の臨床バイオマーカーをしばしば無視しています。この「画像のみ」のアプローチは、特に初期段階の症例や画像品質が変動する場合において、診断精度の低下を招く可能性があります。さらに、多くの既存モデルはDRまたはHRのいずれか一方に焦点を当てており、統一されたフレームワーク内で両方の疾患を同時に扱うことには取り組んでいません。また、MATLABのようなアクセシブルなプロトタイピングツールを用いて、電子健康記録（EHR）と画像を用いたマルチモーダル・システムの臨床実装におけるギャップも存在します。

手法
著者らは、網膜底底画像と全身性の臨床データを融合させることで、DRとHRの両方を診断する、MATLAB（R2023a）で実装されたハイブリッド・マルチモーダル深層学習フレームワークを提案しています。

1. データ取得: 本研究では、インドのプネーの病院から提供された、対応する臨床記録を伴う1,200枚の底底画像のデータセットを利用しました。データセットには、正常例300件、DR症例825件（軽度、中等度、重度）、およびHR症例35件が含まれています。臨床属性には、ヘモグロビンA1c（本文中では電子健康記録として参照）、収縮期血圧（収縮期電子健康記録として参照）、および疾患期間が含まれます。
2. 前処理:
   • 画像: 底底画像に対して、ヒストグラム平坦化によるコントラスト強調、メディアンフィルタによるノイズ除去、グレースケール変換、および輝度正規化を行いました。
   • 臨床データ: 数値的な臨床変数は、zスコアスケーリングを用いて正規化されました。
3. セグメンテーションおよび特徴抽出:
   • 画像処理: フレームワークは、血管および視神経乳頭のセグメンテーションにU-Netを、病変輪郭にアクティブ・コントア・モデルを、滲出物の特定にリージョン・グローイングを採用しました。
   • 特徴抽出: セグメント化された領域から、CNNを用いて深層特徴を抽出しました。
4. マルチモーダル融合および分類:
   • 本システムは、中間（結合）融合戦略を利用しています。画像特徴（CNN/Vision Transformerを介して抽出）と臨床特徴（MLPまたはテキストエンコーダを介してエンコード）を、結合またはアテンションメカニズムを用いて融合し、共通の潜在表現を作成します。
   • 融合された特徴は、疾患ラベルを予測するために分類層（Softmax）へと送られます。
   • モデルアーキテクチャは、深層学習（CNN）を臨床データの処理（MLPエンコーダ）およびゲート融合メカニズムと統合しています。
5. 検証: データセットは、トレーニング（70%）、検証（15%）、およびテスト（15%）のセットに分割されました。モデルの安定性を確保し過学習を防ぐため、10分割交差検証を用いて評価されました。

主な貢献

• 二重病理検出: 単一の疾患に焦点を当てる多くの先行研究とは異なり、本フレームワークは糖尿病性および高血圧性の網膜症を同時に診断します。
• マルチモーダル統合: 本研究は、画像のみのモデルの限界を克服するために、網膜画像と全身バイオマーカー（ヘモグロビンA1cおよび血圧）を融合させる有効性を示しています。
• MATLAB実装: フレームワークは完全にMATLABで開発されており、医療用プロトタイピングやリソース制約のある環境に適した、拡張可能で低コストなソリューションを提供します。
• ハイブリッドアーキテクチャ: 深層学習（CNN）と臨床データ処理（MLP）の統合により、局所的な網膜病変と全身的な生理学的コンテキストの両方を捉える堅牢な診断ツールを実現しています。

結果
提案されたマルチモーダルフレームワークは、単一モダリティのベースラインと比較して優れた性能を示しました。

• 精度: ハイブリッドモデルは**98%**の総合精度を達成しました。
• 比較: これは、画像のみのCNNモデル（精度91.82%）および臨床データのみのランダムフォレストモデル（精度85.90%）を上回りました。
• 指標: モデルは感度96.04%、特異度98.10%、F1スコア0.976、およびAUC 0.98を達成しました。
• エラー削減: 臨床データの統合により、ベースラインのCNNアプローチと比較して偽陰性が約40%減少し、特に初期段階のDRおよびHRの検出において改善が見られました。
• 統計的有意性: 対応のあるt検定により、臨床特徴の導入が精度の有意な向上をもたらすことが確認されました（p < 0.001）。また、ANOVAテストも、モダリティタイプの有意な主効果を示しました（F(2, 27) = 23.6, p < 0.0005）。
• 汎用性: モデルは、異なるデモグラフィックグループ（年齢35〜75歳）および疾患ステージにわたって95%以上の精度を維持しました。

意義および主張
本論文は、このマルチモーダルフレームワークが、診断感度、特に視覚的な兆候が微細な初期段階の症例において大幅に向上させることで、従来の画像のみの手法からの「量子跳躍（クォンタム・リープ）」を象徴していると主張しています。全身的なコンテキスト（ヘモグロビンA1cおよび血圧）を取り入れることで、システムは偽陰性を減少させ、リスク層別化を改善します。

著者らは、本フレームワークが以下の用途において特に価値があると断言しています。

• スクリーニングおよび遠隔診療: 専門医へのアクセスが限られている地域において、大規模な眼科スクリーニングのための拡張可能で低コストなソリューションを提供します。
• 臨床意思決定支援: より迅速かつ正確な意思決定を支援する、完全なリスク評価を提供します。
• 二重診断: 単一の画像取得経路を通じて、DRとHRの両方のスクリーニングを可能にします。

本研究は、今後の課題として、マルチセンター・データを用いたモデルの検証、ポイント・オブ・ケア診断のためのモバイルデバイスへの実装、および疾患の進行と治療への反応を追跡するための縦断的研究に焦点を当てるべきであると結論付けています。