Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging

以下は、提示された論文「Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging（統合 RGB 画像および熱画像を用いた糖尿病性足潰瘍のステージ分類のためのマルチモーダル深層学習）」の技術的な要約です。

1. 問題背景 (Problem)

糖尿病性足潰瘍（DFU）は、糖尿病の重大な合併症であり、再発率が高く、切断や入院のリスクを大幅に増加させます。現在の臨床ガイドラインでは、定期的な足部検査や自宅での自己モニタリングが推奨されていますが、以下の課題が存在します。

• 家庭内モニタリングの標準化の欠如: スマートフォンによる画像共有（Foot Selfie など）は普及しつつありますが、撮影距離、角度、照明条件がユーザーに依存するため、経時的な比較や正確な診断が困難です。
• 単一モダリティの限界: 従来の画像ベースの深層学習は主に可視光（RGB）画像に依存しており、炎症や感染に伴う「熱異常」を捉えきれていない場合があります。逆に、遠赤外線（熱）画像のみでは、潰瘍の初期段階（視覚的な潰瘍形成前）や解像度の低さにより、正確な分類が難しいという課題があります。
• 既存システムの不足: 遠隔温度モニタリング（RTM）やスマートミラーの研究は存在しますが、DFU のステージ分類に特化し、RGB と熱画像を統合した家庭用システムは存在していませんでした。

2. 手法 (Methodology)

本研究は、RGB 画像と熱画像を統合したマルチモーダル深層学習アプローチを提案し、その有効性を検証しました。

2.1 データ収集システム

• ハードウェア: Raspberry Pi 4B を基盤としたポータブル画像取得システムを独自開発しました。
  • RGB カメラ: Raspberry Pi Camera Module V2（800 万画素、3240x2464 ピクセル）。
  • 熱カメラ: FLIR Lepton 3.5 モジュール（160x120 ピクセル）。
  • 構成: 3D プリンターで製作された筐体内に、両カメラを並列配置し、ほぼ重なる視野（FoV）を確保。7 インチのタッチスクリーンで GUI を操作し、RGB 画像、カラーマップ化された熱画像、生熱データ（TIFF 形式）を同時に保存します。
• データセット: 病院で倫理承認を得て収集された 1205 サンプル（患者ごとの RGB、熱、生熱データを同時取得）。
  • ラベル付け: 臨床専門家により、Wagner 分類に基づき 6 つのクラス（Grade 0〜5）にラベル付けされました。
  • 前処理: 熱画像については、生データ（ケルビン）を摂氏に変換し、体温範囲（30℃〜45℃）に基づいた適応的フィルタリングと正規化を施して足部領域をセグメント化しました。

2.2 データセット構築

3 つの異なるトレーニングセットを作成して比較検討を行いました。

1. RGB のみ: 可視光画像のみ。
2. 熱画像のみ: 熱画像のみ。
3. RGB+ 熱（マルチモーダル）: RGB 画像（3 チャンネル）に熱画像を 4 番目のチャンネルとして統合し、4 チャンネル入力としたもの。

2.3 深層学習モデル

• アーキテクチャ: ImageNet で事前学習された 5 つの CNN モデル（ResNet-50, VGG16, DenseNet-121, InceptionV3, EfficientNetV2）を転移学習（Transfer Learning）で微調整しました。
• 学習戦略:
  • データ拡張（回転、フリップ、色調変化など）による過学習の防止。
  • クラス不均衡への対応として、クラス重み付き損失関数の採用。
  • 評価指標として、精度、適合率、再現率、F1 スコア、MCC（Matthews Correlation Coefficient）を使用。
  • 5 分割交差検証と独立したテストセットによる評価。

3. 主要な貢献 (Key Contributions)

• 専用ハードウェアの開発: 家庭用として実用的な、Raspberry Pi 搭載の RGB/熱画像同時取得プロトタイプを開発し、標準化されたデータ収集環境を提供しました。
• マルチモーダル統合の検証: DFU ステージ分類において、RGB と熱画像を単独で用いる場合と比較し、両者を統合（4 チャンネル入力）することで性能が向上することを実証しました。
• 臨床的解釈可能性の向上: Grad-CAM による可視化を通じて、マルチモーダルモデルが病変領域に焦点を当て、単一モダリティ（特に熱のみ）で見られる曖昧さを解消していることを示しました。

4. 結果 (Results)

• 性能比較: 全体的に、RGB+ 熱（マルチモーダル）データセットで学習したモデルが、RGB のみ、熱画像のみのいずれの単一モダリティよりも高い性能を示しました。
  • 最高性能モデル: VGG16 がすべてのデータタイプで最も堅牢な性能を発揮しました。
  • 具体的な数値（RGB+ 熱 + VGG16）:
    • 全体精度：93.25%
    • F1 スコア：92.53%
    • MCC: 91.03%
  • 対照的に、熱画像のみの場合、VGG16 の精度は 90.96% でしたが、他のモデル（特に ResNet-50）では精度が大幅に低下しました。
• クラスごとの性能:
  • 進行したステージ（Grade 2, 4 など）では、熱画像の温度異常が明確なため、分類精度が高まりました。
  • 初期ステージ（Grade 0, 1）では、熱画像単独では温度差が小さく分類が困難でしたが、RGB の視覚情報と組み合わせることで誤分類が減少し、隣接クラスへの誤判定に留まるなど、臨床的な進行と整合した判断がなされました。
• Grad-CAM 分析:
  • 熱画像のみ：初期ステージで注目領域が拡散し、特定が困難でした。
  • RGB のみ：病変域を超えて足全体に注意が向く傾向がありました。
  • マルチモーダル: 両者の長所を補完し、病変領域にコンパクトかつ明確に焦点を当てた注意マップ（Heatmap）を生成しました。

5. 意義と結論 (Significance and Conclusion)

• 臨床的意義: 本研究で提案されたマルチモーダル深層学習フレームワークは、遠隔医療、家庭内モニタリングシステム、および臨床意思決定支援ツール（CDSS）への統合に大きな可能性を秘めています。特に、Wagner 分類の自動化と早期警告メカニズムの強化に寄与します。
• 技術的意義: 低コストなセンサー（FLIR Lepton）を用いたシステムでも、RGB との統合により高精度な診断が可能であることを示し、医療格差の是正やコスト削減に貢献する可能性があります。
• 今後の課題: データセットの規模拡大（多施設共同）、高解像度熱カメラの導入、および RGB と熱画像のピクセルレベルでの厳密な位置合わせ（画像登録）技術の適用が今後の課題として挙げられています。

結論として、本研究は、糖尿病性足潰瘍の重症度分類において、RGB 画像と熱画像を統合したマルチモーダルアプローチが、単一モダリティ手法を凌駕する精度と安定性を持つことを実証しました。