技術要約：欠損モダリティにおける感情認識のためのTTSD-FAR

問題提起

大規模ビデオ言語モデル（LVLM）は、顔の表情、音声、言語、および生体信号の結合理解を活用することで、マルチモーダル感情認識（ER）において最先端の性能を達成している。しかし、その実世界への展開は、テスト時におけるモダリティの欠損（例：音声の破損、センサーの故障、またはプライバシー制約）という不可避な問題によって阻害されている。

モダリティの不在は、モデルの内部表現空間に重大な分布シフトを引き起こす。経験的な分析（UMAP可視化および最大平均偏差の計算）によれば、入力の欠損はデータの分布をシフトさせるだけでなく、決定境界を曖昧にし、クラスのクラスタを崩壊させる。これにより、深刻な性能低下（例：テキストが50%欠損した場合、F1スコアが0.6149から0.4785に低下）を招く。

既存の解決策には、以下の決定的な限界がある：

1. 学習時の戦略（例：モダリティ・ドロップアウト、個別のモデル）：これらは数十億パラメータを持つLVLMにとって計算コストが極めて高く、デプロイメント固有の欠損パターンに適応することができない。
2. テスト時適応（TTA）手法（エントロピー最小化やパープレキシティ減少に基づくもの）：これらは判別モデルでは機能するが、自己回帰型LVLMでは機能しない。信頼性に基づいた目的関数は、モダリティのシフト下では信頼できないため、最適化のドリフトやランダムに近い性能へと導いてしまうことが多い。
3. 検索拡張生成（RAG）：観測されたモダリティがセマンティックに意味のある近傍を検索するには弱すぎる場合、性能が低下する。
4. 永続的な適応：モデルが収束した後に、知識の書き換え（破滅的忘却）やノイズの蓄積を招くリスクがあり、特に非定常なテストストリームにおいては顕著である。

手法：TTSD-FAR

本論文では、ベースモデルの再学習なしに、任意の欠損モダリティ・パターンに対してLVLMを適応させるためのパラメータ効率の高いフレームワークであるTTSD-FAR（Test-Time Self-Distillation with Fisher-Anchored Restoration）を提案する。

1. テスト時自己蒸留（TTSD）

コアとなる適応メカニズムは、凍結された教師モデル（完全なモダリティで訓練されたもの）を用いて、適応的な生徒モデル（マスクされた、あるいは部分的な入力で動作するもの）を導くものである。

• アーキテクチャ： 本フレームワークは、共有された事前学習済みバックボーン上に2つの低ランク適応（LoRA）アダプタ、すなわち凍結された教師LoRA（$\Delta\theta_{tea}$）と適応的な生徒LoRA（$\Delta\theta_{stu}$）を採用している。
• 目的関数： 出力のエントロピーを最小化する代わりに、生徒モデルは、同一サンプルに対する中間表現と教師モデルの表現との間の特徴レベルの蒸留損失（$L_{distill}$）を最小化する。
  $$L_{distill} = \sum_{l \in \mathcal{L}} \alpha_l \cdot \| h_{stu}^l(\tilde{x}) - \text{sg}(h_{tea}^l(x)) \|_2^2$$
  ここで、$\tilde{x}$ は部分的な入力、$x$ は完全な入力であり、$\text{sg}$ はストップグラディエント操作を表す。これは、欠損モダリティへの適応を条件付き潜在表現再構成問題として扱い、生徒モデルが観測された入力に基づく教師の表現の条件付き期待値を近似するように促すものである。

2. フィッシャー・アンカーによる復元（FAR）

永続的な適応の不安定性に対処するため、TTSD-FARはフィッシャー情報量ランドスケープによって制御される2状態メカニズム（Active vs. Anchored）を導入する。

• Active State（適応状態）： 生徒LoRAは、$L_{distill}$ に対する勾配降下法を通じて更新される。フィッシャー対角成分（$F_t$）は、勾配の二乗の指数移動平均を介して更新される。これは、経験的フィッシャー情報を表す。
• Consolidation（統合：Active $\to$ Anchored）： システムは、フィッシャー対角成分の正規化された$\ell_1$変化率を測定する統合指標（CI）を監視する。CIが$K$ステップにわたって閾値（$\tau_{fc}$）を下回り続ける場合、生徒モデルは収束したとみなされる。現在のフィッシャー対角成分はアンカー（$F_{anchor}$）として保存され、生徒LoRAは凍結される。
• Drift Detection（ドリフト検出：Anchored $\to$ Active）： アンカー状態にある間、システムは完全なモダリティを持つサンプルに対して**フィッシャー不一致指標（FMI）**を計算する。FMIは、現在の勾配の二乗とアンカーされたフィッシャー値との比率を測定する。もし $FMI > \tau_{fmi}$ であれば、それは、入ってきたデータが以前は重要ではなかったパラメータ次元に関与していることを示しており、真の分布シフトが発生したことを合図する。これにより、適応が再活性化される。

主な貢献

1. TTSDフレームワーク： 欠損モダリティ下での自己回帰型LVLMに特化した、パラメータ効率の高いTTA手法。信頼性の低いエントロピー/パープレキシティ目的関数を、条件付き潜在表現のアライメントに置き換えることで、欠損したモダリティによって失われたセマンティック情報を効果的に回復する。
2. FARメカニズム： 新しい2状態の停止および再活性化メカニズム。フィッシャー情報の対角成分を監視することにより、FARはノイズの蓄積を防ぐための収束を検出し、また分布ドリフトを検出することで破滅的忘却を防ぎ、長期的な適応における安定性を確保する。
3. 実証的検証： テキストおよびビジョンの欠損率が0%から50%に及ぶ、3つの困難なデータセット（MELD, DFEW, BAH）を用いた広範な実験。

結果

実験の結果、TTSD-FARは欠損モダリティ条件下において、最先端のベースライン（TENT, EATA, RAG, パープレキシティに基づく生成）を一貫して上回ることが示された。

• 堅牢性： エントロピーベースの手法がランダムに近い性能まで崩壊し、RAGが支配的なモダリティが除去されるにつれて劣化する一方で、TTSD-FARはフルモダリティのベースラインに近い性能を維持する。
• 安定性： 長期適応シナリオにおいて、復元メカニズムを持たないベースラインはドリフトにより次第に性能が低下する。TTSD-FARは一貫性を保ち、フィッシャー・アンカー復元の有効性を実証している。
• 効率性： 本手法は、極めて少ない数のパラメータ（7B Video-LLaVAモデルのパラメータの約0.629%）のみを更新し、最小限の計算オーバーヘッドで動作する。完全なモダリティのサンプルに対しては2回のフォワードパス、欠損モダリティのサンプルに対しては1回のフォワードパスを必要とする。

意義と主張

本論文は、TTSD-FARを、LVLMのデプロイメントにおける「根本的な課題」である欠損モダリティに対する不可欠な解決策として位置づけている。この問題は、これまで非現実的な再学習や効果のないTTA手法によってのみ対処されてきた。

• 理論的洞察： 著者らは、欠損モダリティが特定の種類の分布シフトを引き起こすと主張している。そこでは、自己回帰モデルはセマンティックに誤った出力を過剰に自信満々に出力できるため、信頼度に基づく監督（エントロピー）は失敗する。TTSD-FARは、監督信号を出力の確信度から、信頼できる教師との特徴レベルのアライメントへとシフトさせることで、これに対処する。
• 実用的影響： 本フレームワークは、センサーデータが不完全な、実世界の非定常な環境において、ソースデータを必要とせず、かつ高価な再学習を行うことなく、LVLMが堅牢に動作することを可能にする。
• 謙虚さ： 著者らは、本手法が複数のモダリティを扱うことができる事前学習済みモデルを必要とすること、および完全なモダリティのサンプルに対する計算コストが（デュアルフォワードパスのため）わずかに高いことを認めているが、主要な課題である欠損モダリティのケースにおいては、これは無視できる程度である。

結論として、自己蒸留をフィッシャーベースのドリフト検出と組み合わせることで、欠損モダリティに直面したLVLMに対して、学習された表現を保持しつつ、真の分布シフトに適応する能力を維持しながら、安定かつ効果的な適応を実現できることが示された。