Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

技術要約：視覚認識における欠損モダリティに対する信頼性の高い潜在プロンプトからの学習

問題提起
大規模マルチモーダルモデル（LMM）は、多様かつ大規模なペアリングされたモダリティ間の情報を相乗的に活用することで、優れた性能を達成してきました。しかし、現実世界のデプロイメントにおいては、プライバシー制約、センサーの故障、またはデータ収集の制限により、入力が不完全になることが頻繁にあります。モダリティが揃ったデータに対して最適化された既存のモデルは、モダリティの欠損に直面すると、性能が急激に低下します。近年のプロンプト学習手法は、インスタンスレベルの特徴量に基づいて動的なプロンプトを生成することでこれを緩和しようと試みていますが、これらの戦略は高い欠損率の下では根本的に欠陥があります。欠損するモダリティの割合が増えるにつれ、プロンプトを条件付けるためのインスタンスレベルの特徴量は信頼性が低くなり、偏りや不安定さが生じます。これにより、動的なプロンプトが単一モダリティの観測へと崩壊し、クロスモーダルなアライメントを阻害し、一貫したクラスレベルの構造を維持できなくなります。

手法：信頼性の高い潜在プロンプトからの学習（LLP）
入力条件付きの戦略における不確実性に対処するため、著者らは、プロンプト学習を破損した入力から切り離すパラダイムであるLearning from Reliable Latent Prompts (LLP) を提案します。インスタンスレベルの特徴量に依存する代わりに、LLPはモダリティ固有の事前分布をカプセル化した、入力に依存しない学習可能なプロンプトを潜在的なアンカーとしてモデル化します。

凍結されたCLIPバックボーン上に構築されたこのフレームフレームワークは、以下の3つのコアメカニズムを通じて動作します。

1. モダリティ固有の潜在アンカー： LLPは、入力に依存しない学習可能なプロンプト・トークン（画像用の $P_{I,S}$ およびテキスト用の $P_{T,S}$）を導入します。これらのアンカーは、変換関数（FC + GELU + LN）を介した静的なプロンプトから派生しており、特定の入力サンプルやその欠損状況とは独立して、モダリティレベルの事前分布をエンコードする安定した基盤として機能します。
2. 二重アンカー誘導プロンプト（DAIP）： 不完全な入力に依存せずに堅牢なクロスモーダル相互作用を可能にするため、本フレームワークはデュアルパスのクロスアテンション・メカニズムを採用しています。テキストアンカーが画像アンカーをクエリし（およびその逆）、補完的な情報を交換します。この相互作用により、軽量なMLPと正規化を通じて、洗練された二重アンカー誘導プロンプト（$P_{I,D}$ および $P_{T,D}$）が生成されます。このプロセスにより、モデルは安定した潜在空間から欠落した意味情報を近似することができます。
3. 層ごとのプロンプト生成： 各モダリティの最終的なプロンプトは、潜在アンカーと誘導されたプロンプトを結合することによって構築されます。これらはエンコーダーの各層に注入され、ネットワークの深さにわたる漸進的な精緻化と階層的な表現学習を可能にします。

学習中、バックボーンは凍結されたまま、プロンプトのパラメータとタスク固有の全結合層のみが最適化されます。

主な貢献

• 新しいパラダイム： 本論文は、プロンプト学習を信頼性の低い入力から切り離し、欠損した観測下でも堅牢性を向上させるために安定したモダリティレベルの事前分布を捉える、潜在事前分布駆動型のプロンプティング・フレームワークであるLLPを提案しています。
• 入力非依存のデザイン： モダリティ固有の潜在アンカーとデュアルパス・クロスアテンション・メカニズムの導入により、入力に依存しないプロンプト学習と安定したクロスモーダル相互作用が可能になり、極端な欠損率（例：90%）においても意味的な補完を促進します。
• 最先端の性能： 本手法は、複数のベンチマークおよび欠損モダリティのシナリオにおいて優れた性能を示し、入力条件付きの手法に対する、潜在的な信頼できるプロンプトからの学習の有効性を検証しています。

実験結果
著者らは、3つのベンチマークデータセット（MM-IMDb：映画ジャンル予測、UPMC Food-101：食品分類、Hateful Memes：ヘイトスピーチ検出）を用いてLLPを評価しました。実験は、様々な欠損率（$\eta = 50\%, 70\%, 90\%$）および欠損シナリオ（テキスト欠損、画像欠損、両方欠損）の下で行われました。

• 性能： LLPは、すべてのデータセットおよび欠損設定において、6つの最先端のベースライン（CoOp、MMP、MaPLe、DePT、DCP、SyPを含む）を一貫して上回りました。
• 高い欠損率： 性能の向上は、高い欠損率（例：$\eta = 90\%$）において最も顕著でした。例えば、Hateful Memesデータセットにおいて、LLPはテキスト90%欠損時に70.90%のAUROCを達成し、次に優れた手法（SyPの69.70%）を大きく上回りました。
• アブレーション研究： 実験により、モダリティ固有の潜在アンカー単独でもベースラインに対して大幅な利点があること、および二重アンカー誘導プロンプトの追加がさらなる有意な改善をもたらすことが確認されました。
• 汎用性： 「両方欠損」シナリオで訓練されたモデルは、特定の欠損シナリオ（テキストのみ、または画像のみ）に対して強い汎用性を示し、多様な欠損パターンへの柔軟な適応力を示しました。
• 可視化： 特徴量の可視化により、LLPは、断片化されたモダリティ固有のクラスターを生じさせがちな入力条件付きの手法と比較して、よりコンパクトなクラス内分布と、より明確なクラス間分離を生み出すことが示されました。

意義と主張
本論文は、LLPが、LMMの実用における重要なボトルネックである欠損モダリティ問題に対する、シンプルかつ効果的な解決策を提供すると主張しています。焦点を入力レベルの信頼できない特徴量から、入力に依存しない安定した潜在的な事前分布へと移すことで、本手法はクロスモーダルな知識補完のための堅牢なメカニメントを提供します。著者らは、このパラダイマが、データの完全性が保証できない現実世界のアプリケーションにおいて特に価値が高いことを強調しています。さらに、本アプローチは、学習可能なパラメータの小さなセットのみを最適化するため、高いパラメータ効率を維持しており、デプロイメントに適しています。本研究は、最大90%のモダリティが欠損している場合でも信頼できる意味的推論が可能であることを示し、堅牢なマルチモーダル学習に向けた有望な方向性を確立しています。