技術概要：AffectVerse 多モーダル感情計算のための感情世界モデル

1. 問題定義

現在の多モーダル大規模言語モデル（MLLM）は、通常、感情認識を完全な音声・動画・テキスト入力に対する静的なパターンマッチングタスクとして扱っています。このパラダイムは、高揚、回復、またはクロスモーダルな対立といった感情の時間的ダイナミクスを捉えることができず、複雑な感情プロセスを静的なスナップショットに矮小化してしまいます。人間は、観察された手がかりと、感情状態がどのように展開するかについての予測を統合することで感情を推論しますが、既存の MLLM は部分的な観察のもとでこれらの「予測的信念状態」をモデル化するメカニズムを欠いています。本論文は、静的な多モーダル認識と、時間的に展開する人間の感情推論との間のギャップを特定しています。

2. 手法

著者らは、Qwen2.5-Omni を基盤とし、感情世界モジュール（EWM） を統合したモデル AffectVerse を提案します。強化学習で用いられる従来の世界モデルが行動と報酬に基づいて未来の状態を予測するのに対し、AffectVerse は感情推論のために設計された行動フリーの定式化を採用しています。EWM は予測的処理の原理に基づいて動作し、モデルは観測されたプレフィックスから潜在的な未来の音声・動画表現を予測して、LLM の信念状態を更新します。

EWM は 3 つの中核コンポーネントで構成されます：

2.1 クロスモーダル時間的想像

予測的処理と多感覚統合の理論に基づき、このモジュールは過去のトークンから未来の動画および音声表現を予測します。

• メカニズム: 学習可能な未来クエリトークン（$N_s=8$）を用いた多段階ロールアウトプロセス（$S=3$）を利用します。
• クロスモーダルコンテキスト: 各モーダルの想像ブランチは、自身の過去のトークンと他モーダルの過去のトークンの両方に注意を向け、学習可能なタグ埋め込み（$e_{self}, e_{cross}$）によって区別されます。
• 学習シグナル: このモジュールは自己教師あり目的関数で訓練されます。予測された未来トークンは、メインの勾配フローから切り離された実際の未来トークンと比較され、MSE とコサイン類似度損失の組み合わせを用いて評価されます。これにより、モデルは推論時に未来データを必要とせずに遷移規則性を学習することを強制されます。

2.2 MAMA（モダリティ認識型多段階注意）信念集約

Scherer のコンポーネント・プロセス・モデルに触発され、このモジュールは多段階で想像されたトークンをコンパクトな「信念トークン」に集約します。

• プロセス: 想像された動画および音声トークンをタイプ埋め込みによって区別し、メモリバンクに組み立てます。
• 動的容量: 信念クエリトークンの数（$N_q$）は利用可能なモーダリティに応じて適応します（双モーダリティの場合 8、単一モーダリティの場合 4）。
• 境界注入: 時間的分割点におけるコンテキストを保持するため、集約された信念トークンには、過去の最後の観測「境界トークン」（$v_b, a_b$）からの残差注入が付加されます。

2.3 信念注入

生成されたコンパクトな信念トークンは、LLM の隠れ次元に投影され、2 つの特定の位置でトークン系列に挿入されます：

1. 最後の音声・動画トークンの直後（感情コンテキストをテキスト符号化に富ませるため）。
2. 回答領域の直前（応答生成のための「感情的な事前分布」を提供するため）。
   この戦略により、LLM は推論中に観測された証拠と想像された感情的な継続の両方に注意を払うことが保証されます。

2.4 学習戦略

• 時間的分割: 学習中、未来トークンを切り取るために、ランダムな保持率 $\kappa \sim \text{Uniform}[0.7, 1.0)$ が適用され、部分的な観察をシミュレートします。
• モーダリティドロップアウト: 欠落した感覚的証拠に対する頑健性を向上させるため、モーダリティを確率 $p=0.15$ でランダムにドロップします。
• 目的関数: モデルは、タスク性能のための言語モデル損失（$L_{lm}$）と予測的表現学習のための想像損失（$L_{imagine}$）の 2 つの損失を用いてエンドツーエンドで訓練され、$\lambda_{img}=1.0$ でバランスが取られています。

3. 主要な貢献

1. 感情のための行動フリー世界モデル: 行動、報酬、制御ポリシーを必要とせず、感情計算への世界モデル型の予測的表現学習の新たな適応。
2. 感情世界モジュール（EWM）: クロスモーダル時間的想像、MAMA 信念集約、および信念注入からなる特定のアーキテクチャにより、MLLM が潜在的な感情ダイナミクスに対して推論することを可能にする。
3. 予測的信念状態モデル: 部分的な観察のもとで感情理解を予測的信念状態モデルとして定式化することが、静的融合アプローチと比較して優れた性能をもたらすことを実証。
4. 包括的評価: 9 つのベンチマーク（MER2023/2024、MELD、IEMOCAP、MOSI、MOSEI、SIMS、OV-MERD+）にわたる広範な実験により、一貫した改善を示す。

4. 実験結果

AffectVerse は、3 つのモーダリティ設定（音声＋テキスト、動画＋テキスト、音声＋動画＋テキスト）の条件下で 9 つのベンチマークにおいて評価されました。

• 主要結果: 完全な音声＋動画＋テキスト設定において、AffectVerse は平均スコア 77.34% を達成し、強力な Qwen2.5-Omni ベースライン（74.76%）および AffectGPT（74.77%）をそれぞれ +2.57% 上回りました。9 つのベンチマークのうち 8 つで 1 位を獲得しました。
• 頑健性: このモデルは、時間的切り詰め（$\kappa$ の変動）および欠落モーダリティに対して優雅な劣化を示しました。特に、学習中の適度な時間的切り詰めは正則化として機能し、特定のデータセット（例：CMU-MOSI）では完全観察による学習よりも性能を向上させることがありました。
• アブレーション研究:
  • 時間的予測: 時間的分割のみを追加するだけで、ベースラインが +0.87% 改善しました。
  • クロスモーダル想像: これは時間的分割に対して最大の単一改善（+1.00%）をもたらしました。これは、相補的なクロスモーダルの手がかりを活用することの重要性を浮き彫りにしています。
  • 信念構築: MAMA 集約、挿入型注入、および残差境界注入は相加的な改善に寄与し、完全な EWM パイプラインの必要性を確認しました。
  • ハイパーパラメータ: 最適な性能は、ロールアウトステップ数 $S=3$ およびモーダリティドロップアウト確率 $p=0.15$ で発見されました。

5. 意義と主張

本論文は、予測的信念状態モデルが感情計算のための実用的かつ効果的な代替手段であると主張しています。感情を固定的な知覚カテゴリーではなく、予測的推論によって形作られる時間的に展開するプロセスとして扱うことで、AffectVerse はモデルが新しい証拠が到着するにつれて理解を更新し、一時的な手がかりを最終的な感情状態から分離することを可能にします。

著者らは、この研究を感情科学（特に予測的処理と評価理論）と多モーダル深層学習の架け橋として位置づけています。彼らは、彼らの「行動フリー」世界モジュールが、その後の感情変化を予測する遷移的手がかりを成功裡に符号化しており、推論時に未見のシグナルを必要とせずに、より頑健で動的な感情認識を可能にすると主張しています。

認められた限界:
著者らは、現在の評価が固定されたロールアウトおよび保持率のハイパーパラメータに依存していることを指摘しています。頑健性の分析は、モーダリティおよび時間的な部分的な観察に焦点を当てており、ノイズ、アクセント、トピック変更などのより広範なドメインシフトには及んでいません。今後の研究として、予測的信念モデルのより強力なアライメント、ドメインシフト評価、および対話レベルの感情追跡への拡張が提案されています。