Each language version is independently generated for its own context, not a direct translation.
この論文は、**「人の心の中の『迷い』や『ためらい』を、動画から読み取る技術」**について書かれたものです。
ロシアのチーム「LEYA」が、第 10 回 ABAW（野外での感情・行動分析）コンペティションで発表した成果です。彼らは、**「この人は本当にその意見に賛成しているのか、それとも内心では迷っているのか？」**という、非常に微妙な心理状態を、AI に見つけさせようという挑戦を行いました。
この難しいタスクを、わかりやすい日常の例えを使って説明しましょう。
🎭 物語：「迷い」を見つける探偵チーム
この研究は、4 人の異なる専門家からなる探偵チームが、ある事件（動画）を調査する様子に例えられます。
1. 4 人の探偵（4 つのモダリティ）
チームは、相手の「迷い」を見つけるために、4 つの異なる角度から情報を集めます。
🎥 背景の探偵（シーン情報）：
相手の顔だけでなく、**「周囲の環境」**を見ます。部屋が騒がしいのか、静かなのか、背景の動きがどうなっているか。これによって、その人が置かれている状況の緊張感や不自然さを察知します。
- 技術: 「VideoMAE」という、動画の動きを瞬時に理解する AI を使っています。
👀 表情の探偵（顔情報）：
相手の**「顔」**をじっと見ます。口元が少し震えていないか、眉間にしわが寄っていないか。言葉とは裏腹に、顔が「本当は嫌だ」と言っていないかを探します。
- 技術: 顔の動きを感情に変換して、統計的に分析します。
🎤 声の探偵（音声情報）：
相手の**「声のトーン」**を聞きます。言葉の内容が「はい」と言っても、声の震えや間（ま）が長すぎたり、弱々しかったりしませんか？
- 技術: 「EmotionWav2Vec2.0」という音声 AI と、時系列のデータ処理に強い「Mamba」という新しい AI を組み合わせて、声の微妙な揺らぎを捉えます。
📝 言葉の探偵（テキスト情報）：
相手の**「話した内容」**そのものを分析します。言葉の選び方、矛盾した表現、言い淀みなど、文章から「迷い」の匂いを嗅ぎ取ります。
- 技術: 「EmotionDistilRoBERTa」という、言葉の文脈を深く理解する AI を使います。
2. 司令塔（マルチモーダル融合）
それぞれの探偵が「迷っている気がする」「いや、迷ってないと思う」という報告を持ってきます。ここで重要なのは、**「それぞれの意見をただ足し算するだけではない」**ことです。
- 司令塔の役割：
4 つの情報を一つの部屋（共有空間）に集め、AI が「あ、顔は笑ってるけど、声は震えてるし、言葉も矛盾してるな。これは**『迷い』**だ！」と、情報の矛盾や補完関係を総合的に判断します。
- プロトタイプ（型）の活用：
さらに、チームは「迷っている人の典型的なパターン（プロトタイプ）」を AI の頭の中に何種類か用意しました。「今の状況は、この『迷いパターン』に似てるな」と照らし合わせることで、より正確に判断できるようにしています。
3. 5 人のチームで賭けをする（アンサンブル学習）
研究の最終段階では、**「1 人の天才に任せる」のではなく、「5 人の異なるチームを組ませて、その結果を平均する」**という作戦を取りました。
これにより、特定のチームが勘違いしても、全体として正しい答えにたどり着けるようにしました（ロバスト性の向上）。
🏆 結果：どれくらい成功した？
このチームの成果は非常に素晴らしいものでした。
- 一人の探偵だけの場合：
一番得意な「言葉の探偵」でも、正解率は約 70% でした。
- 4 人全員で協力した場合：
4 つの情報を融合させると、正解率は83% 以上まで跳ね上がりました！
- 最終的なテスト（本番）：
5 つのチームを組み合わせることで、**71.43%**という最高成績を収め、コンペティションで高い評価を得ました。
💡 この研究がすごい理由（まとめ）
- 「迷い」は複雑だ：
単純な「嬉しい」や「悲しい」感情とは違い、「迷い」は言葉、声、顔、背景が矛盾している時に現れます。この研究は、その「矛盾」を捉えることに成功しました。
- 「全体」を見るのが大事：
顔だけ、声だけを見てもダメで、**「4 つの情報を全部合わせて、どう絡み合っているか」**を見ることで、初めて正解に近づけることが証明されました。
- 実用性：
この技術は、オンラインカウンセリングや教育、ヘルスケアなどで、「人が本当に変化したいと思っているのか、それとも抵抗しているのか」を AI が察知し、より良いサポートにつなげる可能性があります。
一言で言うと：
「言葉と表情、声、背景を全部見ながら、AI が『あ、この人、内心で揺れてるな』と見抜くための、超優秀な探偵チームの作り方」を提案した論文です。
Each language version is independently generated for its own context, not a direct translation.
論文要約：第 10 回 ABAW コンペティションにおけるチーム LEYA のマルチモーダルな曖昧性/躊躇認識アプローチ
1. 問題定義
本論文は、第 10 回 Affective & Behavior Analysis in-the-Wild (ABAW) コンペティションの「曖昧性/躊躇 (Ambivalence/Hesitancy: A/H) ビデオ認識チャレンジ」に提出されたチーム LEYA の手法を報告しています。
- 課題: 制約のない環境で撮影された動画において、その動画に「曖昧性」や「躊躇」の状態が含まれているかどうかを動画レベルで二値分類するタスクです。
- 難易度: A/H は基本的な感情（喜びや驚きなど）とは異なり、非常に微妙で、文脈に依存し、複数のモダリティ（表情、音声、言語、状況）間の不一致として現れるため、認識が極めて困難です。
- データセット: 現実的なデジタル行動変容シナリオで収集された「BAH コーパス」を使用しています。
2. 提案手法 (Methodology)
チーム LEYA は、シーン、顔、音声、テキストの 4 つの補完的なモダリティを統合したマルチモーダルアプローチを提案しました。全体のパイプラインは以下の通りです。
2.1. 単一モーダル特徴量抽出
各モダリティに対して、専用のモデルでコンパクトな表現を学習します。
- シーン (Scene):
- モデル: VideoMAE (ViT ベース、Kinetics-400 で事前学習済み)。
- 処理: 動画から 16 フレームをサンプリングし、時空間パッチとしてエンコード。グローバル平均プーリングにより、動画全体のシーン埋め込みを生成。
- 顔 (Face):
- モデル: EmotionEfficientNetB0 (AffectNet+ で微調整済み)。
- 処理: 各フレームから顔を検出・抽出し、感情埋め込みを取得。その後、統計的プーリング（平均 μ と分散 σ）を行い、MLP で処理して顔の埋め込みを生成。
- 音声 (Audio):
- モデル: EmotionWav2Vec2.0 (MSP-Podcast で微調整済み) + Mamba エンコーダ。
- 処理: 音声から感情特徴を抽出し、Mamba（時系列モデル）で時間依存性をモデル化。その後、時間次元で平均プーリングして音声埋め込みを取得。
- テキスト (Text):
- モデル: EmotionDistilRoBERTa (微調整済み)。
- 処理: 音声の書き起こしテキストをエンコードし、MLP ヘッドで分類。
2.2. マルチモーダル融合 (Multimodal Fusion)
抽出された単一モーダルの埋め込みを統合する段階です。
- 共通潜在空間への投影: 各モダリティの埋め込みを、線形層、レイヤー正規化、GELU、ドロップアウトを含む投影器 ϕm を通して、共通の潜在空間にマッピングします。
- Transformer ベースの融合:
- モダリティトークンをスタックし、学習可能なモダリティ埋め込み行列を加算。
- Transformer エンコーダ層で自己注意機構を用いてモダリティ間の依存関係をモデル化。
- 欠損モダリティにはマスクを適用して処理。
- プロトタイプ拡張 (Prototype-Augmented):
- 融合された表現と、学習可能なクラス固有のプロトタイプとの類似度を計算する補助タスクを導入。
- 最終的な損失関数は、分類損失、プロトタイプベースの補助損失、およびプロトタイプの多様性正則化項の和として定義されます。これにより、不確実性下での頑健な融合を促進します。
2.3. 最終予測
5 つの異なるランダムシードで訓練されたプロトタイプ拡張融合モデルのアンサンブル（平均化）を行い、最終的な予測確率を出力します。
3. 主要な貢献 (Key Contributions)
- 4 モダリティの統合: 従来の顔・音声・テキストに加え、シーン情報を明示的に組み込んだ初のアプローチの一つです。
- プロトタイプ拡張融合戦略: Transformer 融合モデルにプロトタイプベースの分類目的を導入し、モダリティ間の不一致や不確実性をより効果的に扱う手法を提案しました。
- Mamba の適用: 音声モダリティの時間的依存性モデルリングに、最新のシーケンシャルモデルである Mamba を採用し、従来の Transformer 基盤モデルと比較して性能を検証しました。
- 堅牢なアンサンブル: 単一モデルではなく、複数のモデルをアンサンブルすることで、プライベートテストセットでの汎化性能を最大化しました。
4. 実験結果 (Results)
BAH コーパスを用いた実験結果は以下の通りです（MF1 スコア）：
- 単一モーダルベースライン:
- 最も性能が高かったのはテキストモダリティ（微調整済み EmotionDistilRoBERTa: 70.02%）でした。
- 音声 (69.03%)、顔 (62.67%)、シーン (61.96%) はこれに次ぎました。
- マルチモーダル融合:
- 単一融合モデル（プロトタイプ拡張あり）の平均 MF1 は 83.25% に達し、すべての単一モーダルベースラインを大幅に上回りました。
- 最終テスト結果: 5 つのプロトタイプ拡張融合モデルのアンサンブルにより、71.43% の MF1 スコアを達成し、コンペティションで最高性能を記録しました。
- アブレーション研究:
- 2 モダリティ組み合わせでは「シーン + テキスト」が最も強力な相補的シグナルを示しました。
- 4 モダリティすべてを融合することが、最も効果的な解決策であることが確認されました。
5. 意義と結論 (Significance & Conclusion)
本論文は、曖昧性/躊躇の認識において、単一のモダリティに依存するのではなく、補完的なマルチモーダル手がかりと頑健な融合戦略の重要性を実証しました。
- テキストの優位性と補完性: テキストが最も強力な単一モダリティであることは確認されましたが、シーンや顔、音声の情報を統合することで、テキスト単独では捉えきれない微妙な不一致や文脈を補完し、認識精度を大幅に向上させることができました。
- 手法の汎用性: プロトタイプ拡張融合や Mamba のような最新アーキテクチャの適用は、制約のない環境での複雑な行動認識タスクにおいて有効であることが示されました。
- 実用性: このアプローチは、デジタルヘルスや行動変容支援など、意思決定の不安定さや抵抗感を検知する必要がある実世界アプリケーションにおいて、高いポテンシャルを持っています。
ソースコードは公開されており、今後の研究の基盤として利用可能です。