技術要約：マルチモーダル学習における欠損モダリティのための教師なし学習 (UL4M4)

1. 問題提起

マルチモーダル学習は、多様なデータソース（例：テキスト、音声、視覚）からの相補的な情報を活用することで、感情分析や分類といったタスクにおける堅牢性と精度を向上させます。しかし、現実世界のアプリケーションでは、センサーの故障、プライバシー制限、または取得の制約により、欠損モダリティが頻繁に発生します。すべてのモダリティが学習時と推論時の両方で存在することを前提とする従来のマルチモーダルモデルは、不完全なデータに直面した際に深刻な性能低下を招きます。

既存の解決策は、一般的に以下の2つのカテゴリに分類されます：

1. 生成的手法： 利用可能なモダリティから欠損したモダリティを再構成しようとするもの（例：敵対的学習や拡散モデルによる）。
2. 非生成的手法： 共有表現を学習したり、融合戦略を適応させたりするもの（例：混合エキスパート、検索拡張学習）。

進展は見られるものの、現在の手法には大きな限界があります。具体的には、サポートできるモダリティの数が固定されている、特定の欠損パターン（例：一つのモダリティのみの欠損）しか扱えない、補完メカニズムがダウンストリームタスクと密結合している（汎用性を制限する）、あるいは、深刻な欠損データ・レジーム（例：50%以上のスロットが欠損している場合）における厳格な評価が欠けているといった点です。

2. 手法：UL4M4 フレームワーク

著者らは、UL4M4 (Unsupervised Learning for Missing Modalities in Multi-Modal Learning) を提案しています。これは、教師あり予測の前に欠損した特徴埋め込みを補完する、柔軟でタスクに依存しないフレームワークです。このフレームワークは、凍結された学習済みエンコーダを用いて2つの明確なステージで動作し、補完モジュールがダウンストリームタスクから軽量かつ分離されていることを保証します。

ステージ1：部分モダリティ距離を用いたマルチモーダル・クラスタリング

第1ステージでは、不完全な観測からクロスモーダル構造を捉えるために、訓練セットに対して教師なしクラスタリングを行います。

• モダリティ固有の正規化： 各モダリティ $m$ について、利用可能な埋め込みから平均 ($\mu_m$) と標準偏差 ($\sigma_m$) を計算します。特徴量は z スコアを用いて正規化されます：$\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$。
• 部分モダリティ距離指標： さまざなるモダリティのセットを持つサンプルを扱うために、新しい距離指標が導入されます。サンプル $i$ とクラスタ中心 $j$ の距離 $d(i, j)$ は、共有されているモダリティの集合 $M_{i,j}$ のみで計算されます：
  $$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$$
  ここで、$d_m$ はモダリティ $m$ の次元数です。この指標は、異なる次元数間でのスケール不変性を確保し、より多くの重複モダリティを持つ中心へのバイアスを防ぎます。
• クラスタリングプロセス： K-means クラスタリングが反復的に実行されます。クラスタ中心は、初期化サンプルのモダリティを継承します。中心に特定のモダリティが欠けている場合、そのモダリティはその中心において未定義のままとなります。

ステージ2：反復的貪欲補完 (Iterative Greedy Completion)

クラスタ中心が確立された後、不完全なサンプルに対しては、反復的な貪欲プロセスを通じて欠損したモダリティが補完されます：

1. 候補生成： サンプル $i$ に対して、サンプルの利用可能なモダリティと、各 $k$ 個のクラスタ中心の対応するモダリティを組み合わせることで、候補となる補完セットを作成します。
2. 反復選択： 各イテレーションにおいて、すべての残存する候補とすべてのクラスタ中心との間の部分モダリティ距離を計算します。
3. 補完： 最小の距離を持つ候補とクラスタ中心のペアが選択されます。選択された候補に含まれる欠損モダリティが、ターゲットサンプルの表現へとコピーされます。
4. 終了条件： このプロセスは、サンプルが $K$ 個の全モダリティの埋め込みを持つまで繰り返されます。訓練データに含まれるすべてのモダリティを全クラスタ中心の和集合がカバーしているため、この手法は終了が保証されます。

ダウンストリームタスクの学習

補完後、すべての訓練サンプルは完全なモダリティセットを持つことになります。融合モジュール（マルチヘッド自己注意機構を使用）がこれらの表現を結合し、その後、タスク固有のヘッド（分類または回帰など）へと繋げます。訓練されるのは融合およびヘッドのパラメータのみであり、エンコーダおよび補完された埋め込みは凍結されたままとなります。推論時には、テストサンプルに含まれる欠損モダリティに対し、訓練セットのみから導出された統計量を用いて、これと同じ2ステージの補完プロセスが行われます。

3. 主な貢献

本論文は、主に5つの貢献を強調しています：

1. 任意のモダリティへの対応： 本フレームワークは、アーキテクチャの再設計を必要とせず、任意の数の入力モダリティを持つデータセットをサポートします。
2. 任意の欠損パターンへの対応： サンプルレベルでのあらゆるモダリティの欠損の組み合わせ（例：50%以上のスロットが欠損している極めて深刻なケースを含む）を扱えます。
3. タスクに依存しない補完： 教師なしの補完ステージは、教師ありタスクから分離されているため、このコンポーネントを他のマルチモーダル問題に再利用または拡張することが可能です。
4. 厳格な評価： 実験は、50%を超える深刻な欠損状況を含む、高度に不完全なレジーム下で行われています。
5. 最先端の性能： 本手法は、マルチモーダル感情分析における困難な欠損構成において、一貫して0.7を超える F1-Micro スコアを達成しています。

4. 実験結果

著者らは、3つの多様なベンチマーク（MM-IMDb：映画ジャンル分類、CMU-MOSI：マルチモーダル感情分析、Sleep-EDF：睡眠段階判定）を用いて UL4M4 を評価しました。

• 性能： UL4M4 は、すべてのデータセットおよび欠損構成において、強力なベースライン（M3Care, ShaSpec, ICL-CA, SimMLM, およびタスク固有の MissModal を含む）を一貫して上回りました。
  • MM-IMDb において、すべての欠損パターンで大幅に高い F-Micro スコア（例：次点のモデルの ~0.58 に対し 0.92）を達成しました。
  • CMU-MOSI において、モダリティスロットの50%以上が欠損している場合でも、一貫して0.7を超える F1-Micro スコアを達成しました。これは、他の手法が苦戦する閾値です。
  • Sleep-EDF（5つのモダリティ）において、欠損率が増加しても緩やかに性能が低下する様子を示し、高欠損レジームにおいてベースラインを凌駕しました。
• 統計的有意性： 差は t 検定およびウィルコクソンの符号付順位検定によって統計的に有意であることが確認されました。
• ハイパーパラメータへの堅牢性： 本手法は、クラスタ数 ($k$) に関して顕著な安定性を示しました。性能は $k=10$ から $100$の範囲で一貫しており、注意深い$k$ のチューニングは不要であることを示唆しています。
• 定性的分析： 補完された埋め込みの t-SNE 可視化は、生成された特徴量がグラウンドトゥルースの分布と密接に重なり、現実的な意味構造を保持していることを示しました。

5. 重要性と主張

本論文は、UL4M4 が実世界の不完全なマルチモーダルデータを扱う上での重要な進歩であることを主張しています。その主な重要性は、その汎用性と堅牢性にあります：

• タスク固有の帰納バイアスや複雑な生成モデルに依存しない、統一された表現戦略を提供します。
• 深刻な欠損条件下において、困難な CMU-MOSI ベンチマークで一貫して 0.7 以上の F1-Micro スコアを達成したと報告されている最初の手法です。
• 補完をダウンストリームタスクから切り離すことで、軽量でプラグアンドプレイ可能なソリューションを提供しており、データの完全性が保証できない異種混合で信頼性の低い現実世界の環境において、あらゆる融合アーキテクチャと統合できる高い実用性を備えています。

著者らは、UL4M4 が欠損モダリティを扱うための新しいリファレンスを設定し、入力データの大部分が欠損している場合でも高い性能を維持できるスケーラブルなソリューションを提供すると結論付けています。