Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

第 10 回 ABAW コンペティションにおいて、Team RAS は顔、行動、音声の 3 つのモダリティを統合し、Transformer、Qwen3-VL、Mamba、WavLM などの最先端モデルを活用した多モーダル融合アプローチにより、Aff-Wild2 データセットで CCC 0.658 の高い精度を達成した連続的な情動認識手法を提案しています。

要約

🎭 感情の「読心術」：AI が表情、声、振る舞いから心を覗く方法

この論文は、ロシアのチーム「Team RAS」が、第 10 回「ABAW（自然な環境での感情分析）」という AI コンテストで発表した、**「AI による感情の読み取り」**に関する新しい技術について書かれています。

彼らが目指したのは、映画の撮影現場のような「自然な状態（In-the-Wild）」で、人がどんな感情（喜びや怒り、興奮や無気力など）を抱いているかを、カメラとマイクを使ってリアルタイムで推測することです。

この難しい問題を解決するために、彼らは**「3 つの異なる視点（モダリティ）」を組み合わせ、まるで「3 人の名探偵が協力して事件を解く」**ようなシステムを作りました。

---

🔍 3 人の名探偵チーム

このシステムは、感情を分析するために 3 つの異なる「専門家」を雇っています。

1. 表情の探偵（Face Model）

• 役割: カメラに映っている人の**「顔」**だけを見つめます。
• 道具: 「GRADA」という高性能なカメラ（AI）を使っています。
• 特徴: 表情の変化をフレーム（動画の 1 コマ）ごとに細かくチェックします。眉をひそめているか、口角が上がっているか、といった微細な動きを逃しません。
• 弱点: 顔が隠れていたり、光が暗すぎたりすると、判断が難しくなります。

2. 振る舞いの探偵（Behavior Model）

• 役割: 顔だけでなく、**「全身の動き」や「状況」**を総合的に判断します。
• 道具: 「Qwen3-VL」という、画像と文章の両方を理解できる超高性能な AI（大規模言語モデル）を使っています。
• 特徴: この AI に「この動画を見て、この人は今どんな気分？どんな仕草をしている？」と質問（プロンプト）を投げかけます。AI は「彼は腕を組んで、少し後ろに下がっているね。これは自信がないか、警戒している証拠だよ」といった文章で説明を生成し、そこから感情を推測します。
• 工夫: 動画の区切りごとに「Mamba」という新しい技術を使って、時間の流れ（「最初は怒っていたが、次第に落ち着いてきた」など）を把握します。

3. 音声の探偵（Audio Model）

• 役割: 人の**「声」**から感情を読み取ります。
• 道具: 「WavLM」という音声認識 AI を使っています。
• 特徴: 声のトーン、大きさ、早さから興奮度や喜びを測ります。
• 工夫: 自然な環境では、雑音や「喋っていない時間」が多いです。そこで、**「口が開いているかどうか（MediaPipe で検知）」**をチェックし、実際に喋っている部分だけを抽出して分析するフィルターを掛けました。これにより、無駄なノイズを排除しています。

---

🤝 2 つの「協力方法」

3 人の探偵がそれぞれ意見を出しただけでは、矛盾してしまうかもしれません。そこで、チームは 2 つの異なる「協力ルール（融合戦略）」を試しました。

戦略 A：「指揮官型のチーム会議」（DCMMOE）

• 仕組み: 3 人の探偵がそれぞれ「顔×声」「顔×振る舞い」「声×振る舞い」のように、ペアで議論します。
• 特徴: 「今、顔の情報は信頼できるけど、音声は雑音が多いな」と判断したら、AI が自動的に**「顔の意見に重みをつける」**という調整を行います。
• イメージ: 会議室で、状況に応じて誰の話を優先するかを瞬時に決める、柔軟なリーダーがいる状態です。

戦略 B：「信頼度に応じたリレー」（RAAV）

• 仕組み: 顔と振る舞いの情報を**「1 フレーム単位」**でまず混ぜ合わせ、そこに音声情報を「補足情報」として加えます。
• 特徴: 音声は「全体の雰囲気（コンテキスト）」として使われ、顔や振る舞いの詳細な動きを補強します。
• イメージ: 顔と振る舞いが「メインの料理」を作り、音声は「ソース」のように、味のバランスを整える役割を果たします。

---

🏆 結果：どんなことがわかった？

このチームは、世界最大級の感情データセット「Aff-Wild2」で実験を行いました。

• 単独では限界: 表情だけ、音声だけ、あるいは振る舞いだけでも、完璧な結果は出ませんでした。
• 協力すると最強: 3 つを組み合わせることで、精度が大幅に向上しました。
• 最大の発見: 「振る舞いの探偵（Qwen3）」は、単に「顔」を見るだけよりも、**「全身の動きと状況を読み解く」**方が、感情の予測に役立ちました。これは、AI が「文脈」を理解する能力の重要性を示しています。
• ベストスコア: 最も優れた「戦略 B（RAAV）」を使った場合、感情の予測精度（CCC 値）が0.658という高いスコアを達成しました。これは、既存の最高水準の技術と競り合えるレベルです。

💡 まとめ

この研究は、**「AI が人の感情を理解するには、顔を見るだけでは不十分だ」**と教えてくれます。

• 顔（表情）
• 声（トーン）
• 振る舞い（全身の動きと文脈）

これらを**「3 人の名探偵」のように組み合わせ、状況に応じて「誰の意見を信じるか」**を AI が自分で判断する仕組みを作ることが、自然な世界での感情認識を成功させる鍵でした。

この技術は、将来的に、「AI 搭載のカウンセリングロボット」や「ストレス管理アプリ」、あるいは**「より人間らしい対話ができるチャットボット」**などに応用できる可能性を秘めています。

技術概要

以下は、10 回 ABAW（Affective Behavior Analysis in-the-Wild）コンペティションに出場した「Team RAS」による論文「Multimodal Valence and Arousal Estimation Approach」の技術的な要約です。

1. 問題定義 (Problem)

野外環境（In-the-Wild: ITW）における連続的な感情認識、特に**価性（Valence：快/不快）と覚醒度（Arousal：興奮度）**の推定は、以下の要因により極めて困難な課題です。

• 外見、頭の向き、照明条件の大きな変動。
• 顔の部分的な隠れ（オクルージョン）。
• 個人差のある感情表現のパターン。
• 既存の手法では、文脈や状況に応じた感情の手がかりを捉えるための視覚言語モデル（VLM）の活用が十分に研究されていないという点。

2. 提案手法 (Methodology)

本研究では、顔（Face）、行動（Behavior）、**音声（Audio）**の 3 つの相補的なモダリティを組み合わせたマルチモーダル手法を提案しています。

2.1. 顔モダリティ (Face Model)

• 特徴抽出: YOLO ベースの検出器で顔を抽出し、GRADA（EfficientNet-B1 ベース）エンコーダーを用いてフレーム単位の感情的特徴ベクトルを抽出します。
• 時系列モデル: 抽出された特徴を Transformer ベースのシーケンス回帰モデルに入力し、時系列的な依存関係をモデル化して VA 値を推定します。

2.2. 行動モダリティ (Behavior Model)

• VLM の活用: 多モーダル大規模言語モデル Qwen3-VL-4B-Instruct を使用します。
• プロンプト設計: 動画クリップに対して、「表情、姿勢、ジェスチャー、頭部の動き、周囲の状況」を分析し、価性と覚醒度を記述するよう指示するプロンプトを入力します。
• 特徴抽出: 16 フレームのサンプリングを行い、隠れ状態（hidden state）から行動関連の埋め込みベクトルを抽出します（視覚情報のみと、動画＋テキストのマルチモーダル入力の 2 通りを比較）。
• 時系列モデル: 抽出されたセグメントレベルの埋め込みを Mamba（状態空間モデル）で処理し、短期の感情変動から長期的な依存関係までを捉えます。

2.3. 音声モダリティ (Audio Model)

• 前処理: MediaPipe を用いた口の開閉検出に基づき、話している可能性が低いセグメントをフィルタリングする「クロスモーダルフィルタリング」を実施し、ノイズの多い野外音声の信頼性を向上させます。
• 特徴抽出: 事前学習済みモデル WavLM-Large を使用します。音声セグメントを 4 つのチャンクに分割し、アテンション統計プーリング（Attention-statistics pooling）で特徴を圧縮します。
• 微調整: 過学習を防ぐため、WavLM の上位 4 層のみを微調整し、残りは固定します。

2.4. モダリティ融合戦略 (Fusion Strategies)

2 つの異なる融合戦略を提案・比較しています。

1. Directed Cross-Modal Mixture-of-Experts (DCMMOE):
   • 各モダリティ対（例：顔→音声、音声→顔など）に対して、非対称な相互作用をモデル化するクロスアテンション・エキスパートを定義します。
   • ゲーティングメカニズムにより、信号の品質に応じて各エキスパートの重みを適応的に調整し、融合表現を生成します。
2. Reliability-Aware Audio-Visual (RAAV):
   • フレーム中心の融合アプローチです。顔と行動の特徴を「信頼性認識ゲート」で融合し、音声は補助的な文脈情報としてボトルネック潜在表現を通じて統合されます。
   • 視覚モダリティが時間解像度を決定し、音声は補完的な役割を果たす非対称な設計です。

3. 主要な貢献 (Key Contributions)

• VLM の VA 推定への新規適用: 連続的な VA 推定タスクにおいて、Qwen3-VL などの視覚言語モデルを用いて「行動記述（Behavior Description）」を埋め込みとして抽出する手法を初めて体系的に導入しました。
• マルチモーダル融合の高度化: 従来の単純な結合ではなく、モダリティ間の非対称な相互作用を学習する DCMMOE や、信頼性を考慮した RAAV といった高度な融合戦略を提案しました。
• クロスモーダルフィルタリング: 音声モダリティにおいて、視覚情報（口の開閉）を用いて信頼性の低い音声セグメントをフィルタリングする前処理手法を実装しました。

4. 実験結果 (Results)

データセット: Aff-Wild2（10 回 ABAW チャレンジの公式データセット）。
評価指標: 一致相関係数（CCC）。

• 単一モダリティ性能:
  • 動画ベースのモデル（GRADA + Transformer）が最も安定した性能を示しました（開発セット平均 CCC: 0.6189）。
  • 行動モダリティにおいて、マルチモーダル入力（Qwen3 + Mamba）は視覚情報のみの入力よりも大幅に優れており（平均 CCC: 0.5385 vs 0.4007）、VLM が豊富な文脈情報を提供できることを示しました。
• 融合モデルの性能:
  • 3 モダリティ（顔＋行動＋音声）を融合したモデルが最も高い性能を達成しました。
  • RAAV 融合戦略を採用したモデルが最高記録を更新し、開発セットで平均 CCC 0.6576（価性 0.6078, 覚醒度 0.7073）、テストセットで平均 CCC 0.62を記録しました。
  • 単一モダリティの動画モデル（テストセット CCC 0.54）と比較して、マルチモーダル融合により性能が顕著に向上しました。

5. 意義と結論 (Significance)

• 野外環境での高精度化: 照明、オクルージョン、個人差などの困難な条件下でも、マルチモーダル情報の適応的な統合により、SOTA（State-of-the-Art）レベルの性能を達成しました。
• 行動記述の価値: 従来の視覚特徴だけでなく、VLM による「行動記述」の埋め込みが、特に覚醒度の推定において有効であることを実証しました。
• 実用性: 提案されたフレームワークは、野外環境におけるリアルタイムな感情認識システムの構築に向けた有力なアプローチとして位置づけられます。

本論文は、大規模言語モデルと従来の深層学習アーキテクチャを組み合わせ、モダリティ間の複雑な相互作用を制御することで、野外環境における感情認識の精度を飛躍的に向上させたことを示しています。