技術的概要：LARGO（欠損モダリティ処理のための低ランクハイパーネットワーク）

問題定義

マルチモーダル画像解析、特に医療画像（例：脳腫瘍セグメンテーション、脳卒中病変検出）において、機器の制約、スキャン時間の制限、または患者のコンディションにより、利用可能なすべてのモダリティを取得することがしばしば不可能である。その結果、推論時に不完全なモダリティセットが生じる。標準的な深層学習モデルは、明示的なアーキテクチャ設計なしには、このような欠損入力に対処することが困難である。

既存のアプローチは、特化性とスケーラビリティの間の根本的なトレードオフに直面している：

• 単一モデル手法（例：ゼロ補完、共有エンコーダ）は、1 つのネットワークにすべての $2^N - 1$ 種類のモダリティ組み合わせを処理させることを強制し、特定の構成における性能を妥協させる傾向がある。
• 専用モデル（各組み合わせごとに個別のモデルを訓練する）は特化性を最大化するが、ストレージと計算コストが指数関数的に増大する。
• 生成および蒸留手法は、臨床的に危険な特徴を幻覚（ハルシネーション）させるリスクがあるか、複雑な多段階訓練を必要とする。

現在のほとんどの解決策は特徴空間で動作し、欠損入力を処理するための堅牢な表現を設計している。本論文は、異なるモダリティ部分集合に対する個別モデルの訓練に内在する冗長性を解決するため、重み空間で動作することを提案する。

手法：LARGO

著者は、$2^N - 1$ 個の欠損モダリティ専用モデルのファミリーを単一のネットワークに圧縮するハイパーネットワークフレームワークであるLARGO（Low-rAnk hypeRnetwork for missinG mOdalities）を提案する。

コアアーキテクチャ

1. ハイパーネットワーク定式化：$M = 2^N - 1$ 個の個別の重みセットを学習する代わりに、LARGO はすべての専用モデル $\{F_{\theta(m)}\}_{m=1}^M$ を暗黙的に含む単一のハイパーネットワーク $H_\phi$ を構築する。
2. テンソル分解（CPD）：この手法は、同じモダリティへのアクセスを共有するモデルが類似したパターンを学習し、パラメータの冗長性を示唆するという観察に基づいている。LARGO は、すべての $M$ 個の専用モデルの畳み込み重みを新しい「モデル次元」に沿ってスタックし、標準多項式（CP）テンソル分解を適用する。
   • 重みテンソル $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ は、因子行列 $A, B, C, D$ に分解される。
   • 因子行列 $A$ はモダリティ組み合わせをインデックス付けし、$B, C, D$ はそれぞれ入力チャネル、出力チャネル、カーネル次元を表す。
3. 低ランク再パラメータ化：
   • 内部レイヤー：畳み込みレイヤーは CP 分解を用いて再パラメータ化される。ランク $R$ は、単一の専用モデルと同等のパラメータ予算を維持するように選択され（$1/M$ の圧縮率を達成）、選ばれる。
   • ステムおよびヘッドレイヤー：入力/出力の柔軟性を維持するため、これらのレイヤーは圧縮されないが、パラメータへの寄与は内部レイヤーと比較して無視できるほど小さい。
4. 推論：推論時、特定のモダリティ組み合わせ $m$ に対して、ハイパーネットワークは因子行列を縮約すること（具体的には因子行列 $A$ の $m$ 行目を選択すること）により、専用畳み込み重み $W^{(m)}$ を再構成する。これにより、他のモダリティ部分集合の未使用パラメータの計算を回避する。

訓練手順

• 損失関数：モデルは標準的なセグメンテーション損失（$L_{Dice} + L_{CE}$）を用いて訓練される。
• 戦略：訓練では、ランダムなモダリティドロップアウトとフルモダリティガイダンスが併用される。各イテレーションで、特定の欠損モダリティシナリオに対する損失を最小化するためにサブセット $m$ がサンプリングされる一方、フルモダリティ入力を用いた項により、ネットワークが訓練全体を通じて完全なデータによって導かれることを保証する。
• 初期化：因子行列 $B, C, D$ はカミング正規分布で初期化され、行列 $A$ は 1 で初期化される。重みは事前学習された重みから導出されるのではなく、スクラッチから訓練される。

主な貢献

1. 新規ハイパーネットワーク定式化：LARGO は、CP 分解を用いて $2^N - 1$ 個の欠損モダリティ専用モデルのファミリー全体のカーネル重みを、単一のパラメータ効率的な表現に共同で再パラメータ化する最初の手法である。
2. 重み空間での動作：特徴空間手法とは異なり、LARGO は直接重み空間で動作し、補助損失、教師ネットワーク、または多段階訓練なしに、モデルの指数関数的ファミリーを単一の圧縮重み多様体に圧縮する。
3. 最先端のパフォーマンス：この手法は、単一の専用モデルと同等のパラメータ数を維持しながら、医療画像ベンチマークで優れた結果を達成する。

実験結果

データセットとシナリオ

• BraTS 2018：4 モダリティ（FLAIR, T1, T1c, T2）、15 の欠損モダリティシナリオ。タスク：脳腫瘍セグメンテーション（WT, TC, ET）。
• ISLES 2022：3 モダリティ（DWI, ADC, FLAIR）、7 の欠損モダリティシナリオ。タスク：脳卒中病変セグメンテーション。
• avMNIST：2 モダリティ（画像、音声）、3 シナリオ。タスク：分類（非医療・異種モダリティの概念実証）。

定量的パフォーマンス

• BraTS 2018：LARGO は、全腫瘍（WT）で 15/15 のシナリオ、腫瘍コア（TC）で 11/15、増強腫瘍（ET）で 14/15 で第 1 位を獲得した。
  • ベースライン（mmFormer, M³AE, ShaSpec, SimMLM）に対する平均 Dice 改善：WT で +0.68%、TC で +2.53%、ET で顕著な改善。
  • LARGO の平均 Dice は、WT で 87.05%、TC で 79.35%、ET で 62.83% だった。
• ISLES 2022：LARGO は全 7 シナリオで第 1 位を獲得した。
  • 平均 Dice：62.67%（次点の M³AE の 60.14% を上回る）。
  • 困難な単一モダリティケースで顕著な改善（例：ADC のみ：42.49% vs 40.03%）。
• avMNIST：LARGO は最高平均精度（97.00%）を達成し、最も近い競合他社を +0.44% 上回り、異種非医療モダリティへの適用可能性を実証した。

効率性と複雑性

• パラメータ効率：LARGO は、すべての 15 個の専用モデルを暗黙的に表現しながら、単一の専用モデルと同等のパラメータ数（例：BraTS 2018 で 22.6M）を維持する。これは ShaSpec（187.7M パラメータ）よりもはるかに効率的であり、他のベースラインと同等である。
• 計算オーバーヘッド：動的な重み再構成により、単一の nnU-Net バックボーンと比較して GFLOPs が 24.6% 増加し、ピーク VRAM が 25.1% 増加する。著者らは、欠損モダリティモデルは通常追加の操作を導入するため、これは許容範囲であると指摘している。
• スケーラビリティ：この手法は $N \lesssim 10$ のモダリティに対して実用的である。なぜなら、指数関数的に増加する圧縮されていないステム/ヘッドレイヤーは、総パラメータのわずかな割合に留まるからである。

意義と主張

本論文は、LARGO が専用モデルの特化性と単一モデルアプローチのスケーラビリティの間のギャップを埋めると主張している。テンソル分解を介してモダリティ固有のモデル間の畳み込みカーネルの構造的類似性を活用することで、LARGO は指数関数的なストレージと計算スケーリングの必要性を排除する。

著者らは LARGO を原理的なハイパーネットワークフレームワークとして位置づけており、以下の点を実現する：

1. 生成補完の「幻覚」リスクを回避する。
2. 共有エンコーダアーキテクチャのパフォーマンス妥協を回避する。
3. 複雑な訓練パイプライン（例：知識蒸留）なしに最先端の結果を達成する。

avMNIST における概念実証は、この手法の可能性が医療画像を超え、欠損データを伴う異種モダリティを含む任意のタスクに及ぶことを示唆している。著者らは、今後の研究として、より表現力豊かな非線形ハイパーネットワーク定式化と、トランスフォーマーベースのアーキテクチャへの拡張を探求すると結論づけている。