Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging

技術要約：多眼底画像を用いた脳卒中検出のための編み込み型ビジョン・トランスフォーマー（Braided Vision Transformer）

問題提起
脳卒中および一過性脳虚血発作（TIA）は、依然として世界的な死亡および罹患の主要な原因となっている。コンピュータ断層撮影（CT）や磁気共鳴画像法（MRI）は脳卒中評価のゴールドスタンダードであるが、高コスト、長い撮像時間、および（CTの場合の）放射線被曝といった臨床上の制約がある。網膜眼底画像は、網膜微小血管の変化が脳血管系の健康状態を反映することから、非侵襲的で携帯可能かつ費用対効果の高い代替手段を提供する。しかし、網膜画像を用いた脳卒中評価に関する既存のディープラーニング手法には、主に2つの制限事項がある。(1) ほとんどの研究が片眼の単一ビュー画像のみを利用しており、両眼間の血管の変化を捉えられていないこと、(2) 既存のマルチビュー手法は畳み込みニューラルネットワーク（CNN）に依存しており、この特定のタスクにおけるビジョン・トランスフォーマー（ViT）の可能性が未開拓であることである。さらに、TIAの検出は、虚血性脳卒中に比べてこれまで軽視されてきた。

手法
著者らは、両眼のマルチビュー網膜眼底画像を解析するために設計された新しいアーキテクチャである**Braided Vision Transformer（BViT）**を提案する。

• 入力データ: モデルは、患者ごとに4枚の画像セット（左眼および右眼の、黄斑中心部（$v_2$）および視神経乳頭中心部（$v_1$）のビュー）を処理する。
• アーキテクチャ:
  • エンベディング: 各4枚の入力画像はパッチに分割され、平坦化された後、位置エンベディングが付加される。
  • Braided Transformer Modules: チャネルが独立して処理される、あるいは相互トランスフォーマーがペアのモダリティ間のみを接続する標準的なViTとは異なり、BViTは「編み込み型（braided）」の構造を採用している。これは、2段階の連続したトランスフォーマー・ブロックで構成される。
    1. 第1ステージ: 4つの画像エンベディング（$\dot{a}, \dot{b}, \dot{c}, \dot{d}$）は、あるエンベディングのクエリが別のエンベディングのキーおよび値に注意を向ける相互アテンション・メカニズムを介して処理され、初期のクロスチャネル相互作用を確立する。
    2. 第2ステージ: 第1ステージの出力は、第2の編み込みブロックによってさらに処理され、すべての入力チャネル間に複雑な交差的結合性を創出する。この設計は、異なるビュー（intra-eye）および両眼間（inter-eye、左眼対右眼）の関係を同時にモデリングすることにより、臨床現場の実践を模倣している。
  • 分類: 最終的な特徴ベクトルは平坦化・結合され、ReLUおよびSoftmax活性化関数を備えた全結合層へと渡され、二値分類（脳卒中/TIA 対 健康）または多クラス分類（脳卒中、TIA、健康）が行われる。
• データセットと学習: モデルは、220名の参加者（TIA 26名、脳卒中 73名、健康コントロール 121名）からなる802枚の網膜画像を含むStroke-Dataデータセットを用いて学習された。データの希少性を考慮し、12,000個のトレーニングサンプルに到達するために、広範なデータ拡張（回転、反転、シア、ズーム）が適用された。モデルは、Adamオプティマイザとカテゴリカルクロスエントロピー損失を用いた、層化5分割交差検証スキームを利用した。

主な貢献

1. 網膜による脳卒中評価における初のViT: 著者の知る限り、網膜眼底画像を用いた脳卒中およびTIA検出にビジョン・トランスフォーマーを適用した最初の研究である。
2. 新規の編み込み型アーキテクチャ: 標準的なViTや相互トランスフォーマー・モジュールとは異なり、両眼にわたるマルチビューの関係を同時に捉えるために特定の編み込み構造を利用するBViTモデルを導入した。
3. マルチビュー学習パラダイム: 本研究は、脳血管イベントに関連する不均一な網膜バイオマーカーを捉える上で、マルチビュー学習（両眼と2つの焦点ビューの利用）が単一ビューのアプローチよりも優れていることを実証している。

実験結果
実験は、Stroke-Dataデータセットを用いて、BViTをベースラインモデル（Vanilla ViT、Mutual ViT、およびCNNベースのMVS-Netバリアント）と比較して行われた。

• 二値分類（脳卒中/TIA 対 健康）: BViTは最高性能を達成し、AUC 0.752を記録して、Vanilla ViT (0.729)、Mutual ViT (0.717)、および最高のCNNベースラインであるMVS-Net-v1 (0.707)を上回った。BViTは感度0.647、特異度0.727も達成した。
• 多クラス分類: 脳卒中、TIA、健康コントロールを区別する際、BViTは健康コントロール（AUC 0.716）およびTIA患者（AUC 0.618）において最高のAUCを達成した。脳卒中クラスについては、AUC 0.715を達成したが、これはMutual ViT (0.719)にわずかに及ばなかった。
• 単一ビュー vs マルチビュー: アブレーション研究において、マルチビューBViTを単一ビューのViTベースラインと比較した。単一ビューモデルのAUCは0.49と低迷したのに対し、マルチビューのアプローチはAUC 0.71に達し、ビューおよび両眼にわたる情報の集約の必要性を浮き彫りにした。
• モデルの効率性: トランスフォーマーベースのモデルであるにもかかわらず、BViT（約800万パラメータ）は、MVS-Net-v2（約3,500万パラメータ）のような大規模なCNNアーキテクチャに対して競争力のある性能を示した。

意義と主張
本論文は、BViTモデルが、迅速かつ非侵襲的な脳卒中リスク評価のための網膜眼底画像の利用可能性を成功裏に実証したと主張している。著者らは、編み込み型アーキテクチャが、複数のビューと両眼からの相補的な血管および構造的情報を活用することで、臨床的な評価プロセスを効果的に模倣していることを強調している。結果には有望な兆しが見られるものの、著者らは、治療決定には依然として神経画像（CT/MRI）が不可欠であることを指摘し、控えめなトーンを維持している。本研究は、虚血性脳卒中予測における将来のトランスフォーマーベースのフレームワークの基礎を築くものであるが、初期診断段階におけるTIAと脳卒中の識別という臨床的な困難さ（多クラス判定におけるTIAの感度の低さに現れている）についても認めている。