💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

FG 2026 の BLEMORE チャレンジにおいて、S4D-ViTMoE や Wav2Vec2、TimeSformer、VideoMAE、そして初めて感情認識に応用された Gemini Embedding 2.0 など 6 つのエンコーダファミリーを後期確率融合で組み合わせ、音声の非言語特性に特化した層の選択や個人差への適応を通じて、テストセットでスコア 0.279（6 位）を達成した統合モデルを提案する。

原著者： Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

公開日 2026-03-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

感情の「混ぜ合わせ」を解き明かす：AI の新しい挑戦

この論文は、人間の感情が単一ではなく、複数の感情が混ざり合った状態（例：「怒りと恐怖が 7 対 3 で混ざっている」）を、AI がどのように読み解くかという研究です。

スイスのチューリッヒ大学の研究チームが、**「BLEMORE」**というコンテストに参加し、6 位という素晴らしい成績を収めた方法を紹介します。彼らのアプローチを、難しい専門用語を使わず、日常の例え話で解説しましょう。

1. 挑戦の舞台：感情の「ミックスジュース」

人間は、悲しみだけ、あるいは喜びだけを感じるわけではありません。複雑な状況では、複数の感情が同時に湧き上がります。

例：嬉しいけれど少し寂しい、怒っているけれど怖い、など。

この研究では、動画を見て「どの感情が混ざっていて、それぞれの割合（70% と 30% など）はどれくらいか？」を AI に当ててもらうという課題でした。

2. 彼らの戦略：6 人の「名探偵」チーム

彼らは、単一の AI に頼るのではなく、**6 つの異なる専門知識を持つ「AI 探偵チーム」**を組みました。それぞれの探偵は、異なる角度から動画を見て、意見を出し合います。

① 顔の専門家（S4D-ViTMoE）

役割： 顔の表情を細かく分析します。
工夫： 普通の AI は「話す顔」で訓練されていますが、このチームは「感情を表す顔」に特化して訓練し直しました。まるで、感情の専門家だけが集まった特別なクラスのようなものです。

② 声の専門家（Wav2Vec2）

役割： 声のトーンやリズムを分析します。
重要な発見： 通常、音声 AI は「言葉の意味」を理解するために作られています。しかし、この動画では「言葉」ではなく、「笑い声、泣き声、ため息」などの非言語的な声が重要です。
工夫： 言葉の理解に特化した AI の「頭（上部の層）」は使わず、「感情のニュアンス」を捉える「心（中間の層）」だけを切り取って使いました。これにより、言葉に惑わされず、感情そのものに集中できました。

③ 体の専門家（TimeSformer, VideoMAE）

役割： 顔以外の「体の動き」を見ます。
理由： 人は感情が高ぶると、無意識に手を振ったり、肩をすくめたりします。顔だけ見ていると見逃してしまう「本音」を、体の動きから読み取ります。

④ 超能力者（Gemini Embedding 2.0）

役割： 巨大な AI モデル（基礎モデル）の力を借りて、動画全体を直感的に理解します。
驚きの事実： この超能力者は、動画の最初の 2 秒間だけを見て判断しました。通常、動画の長さ全体を見る必要がありますが、この AI は短い時間でも感情の本質を捉えることができました。これは、感情認識の分野で初めて試された画期的な手法です。

3. 最終判断：「投票」と「調整」

それぞれの探偵が「怒りは 70%、恐怖は 30% だと思う」という意見を出します。

投票（融合）： 意見を集約して、最も信頼できる答えを導き出します。
調整（閾値）： 最終的に「どの感情を『ある』とみなすか」という基準（しきい値）を調整します。

4. 研究からわかった 3 つの驚きの事実

「言葉」より「リズム」が重要
音声 AI を最初から全部訓練し直す（微調整する）よりも、「感情を捉える部分だけ」を凍らせて使う方が、はるかに良い結果が出ました。これは、小さなデータセットでは、既存の知識を上手に活用する方が、ゼロから作り直すより効果的だということです。
「人それぞれ」の癖が最大の壁
最も難しいのは、「しきい値（判断基準）」が人によって全く違うことです。ある人にとっては「少し怒っている」レベルでも、別の人にとっては「激怒」かもしれません。
- 比喩： 温度計で測っても、人によって「暑い」と感じる温度が違うのと同じです。この「個人の癖」を AI がすべて理解するのは、まだ非常に難しい課題です。
短い動画でも感情は伝わる
巨大な AI モデル（Gemini）は、たった 2 秒の動画を見ただけで、専門家の AI に匹敵する精度で感情を認識できました。これは、「感情の爆発」は最初の数秒で起こることを示唆しており、新しい技術の可能性を秘めています。

結論：AI は感情の「混ぜ合わせ」を解き明かせるか？

このチームは、複数の AI を組み合わせたことで、既存の最高記録を大きく更新しました。

得点： 0.279（基準は 0.223 程度）
順位： 6 位

しかし、最大の課題は「AI の性能」ではなく、**「人間の感情表現の多様性（癖）」**にあることがわかりました。
AI がもっと上手になるためには、単に計算能力を上げるだけでなく、「人それぞれの感情の出し方」をどう理解し、柔軟に対応するかが鍵となります。

この研究は、AI が人間の複雑な心の機微に、一歩近づいたことを示す素晴らしいステップでした。

論文要約：基礎モデル埋め込みと混合感情の融合

タイトル: Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge
著者: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic (チューリッヒ大学)

1. 問題定義と背景

本論文は、FG 2026 における「BLEMORE チャレンジ」に向けたシステムを提案するものです。BLEMORE データセットは、複数の感情が混在し、その顕著性（salience）が異なる「混合感情（blended emotions）」の認識を目的としています。

タスク: 動画クリップから「どの感情が存在するか（Presence Recognition）」と「その相対的な顕著性（50/50, 70/30, 30/70 など）」を予測する。
評価指標: 存在認識精度（ACCP）と顕著性認識精度（ACCS）の加重平均（Score = 0.5·ACCP + 0.5·ACCS）。
課題: 感情の混合比率は連続的な値ですが、評価パイプラインでは閾値（存在閾値 $\alpha$ 、顕著性閾値 $\beta$ ）を用いて離散値に変換されます。この閾値の最適化が検証データに依存しやすく、俳優ごとの表現スタイルの違いにより過学習や不安定さを招くことが問題視されています。

2. 提案手法（マルチモーダル融合アプローチ）

提案システムは、6 つの異なるエンコーダファミリーの確率出力を「後期融合（Late Fusion）」によって結合するアンサンブル学習を採用しています。

A. ビジュアルエンコーダ

S4D-ViTMoE（顔）:
- 事前学習済み（VoxCeleb2, AffectNet）の S4D（Vision Transformer + MoE）をベースに使用。
- 適応: 顔の切り抜き（MTCNN）を行い、事前学習ドメインに合わせる。クロスエントロピー損失の代わりに、混合比率を保持する「ソフトラベルによる KL 発散（KL divergence）」損失を使用。
- 学習: バックボーンのブロック 0-5 を固定し、アダプタ層と分類ヘッドのみを微調整。
TimeSformer & VideoMAE（ボディ）:
- 顔だけでなく、全身のジェスチャーや姿勢から感情を捉えるため、フルフレームの動画をエンコーダとして使用。
- 同様にソフトラベル KL 学習と微調整を実施。

B. オディオエンコーダ

Wav2Vec2（層選択型）:
- BLEMORE の音声は言語（単語）ではなく、笑い声や泣き声などの「非言語的発声」であるため、Wav2Vec2 の上位層（音韻処理）は不要。
- 工夫: 中間層（6-12 層）からプロソディ（韻律）や非言語的情報を抽出し、これらを固定（Frozen）した上で軽量な MLP で分類。
- 結果: 端から端までの微調整（E2E finetuning）よりも、層選択型アプローチの方が 22% 高いスコアを達成。

C. 大規模マルチモーダルモデル（LMM）の埋め込み

Gemini Embedding 2.0:
- 感情認識タスクにおいて初めて、大規模マルチモーダルモデルの埋め込みを特徴量として採用。
- 入力制限（2 秒間）があるにもかかわらず、動画クリップ全体を処理するドメイン固有エンコーダと競合する性能（ACCP = 0.317）を示した。

D. 融合とポストプロセッシング

融合: 各エンコーダの確率ベクトルを、検証データで最適化された重み付け平均で結合。
ポストプロセッシング: 融合後の確率を、存在閾値 $\alpha$ と顕著性閾値 $\beta$ を用いて離散予測に変換。

3. 主要な発見と貢献

S4D-ViTMoE の混合感情への適応:
- 顔の事前学習ドメインに合わせた前処理と、混合比率を保持する KL 損失の導入により、単一エンコーダ中最高の存在精度（ACCP = 0.340）を達成。
音声特徴の層選択の重要性:
- 非言語音声データでは、事前学習モデルの「中間層（6-12 層）」を固定して抽出する方が、全層の微調整よりも遥かに優れていることを実証（スコア 0.207 vs 0.161）。小規模データセットにおける実践的な指針を提供。
LMM 埋め込みの有效性:
- Gemini Embedding 2.0 が、わずか 2 秒の動画入力から競争力のある感情認識性能を発揮することを初めて示した。
閾値感度分析:
- 最適化された顕著性閾値 $\beta$ が、検証のフォールド間で 0.05 から 0.43 まで大きく変動することを発見。これは「モデルの能力」ではなく、「個人の表現スタイルの違い」がボトルネックであることを示唆している。

4. 実験結果

テストセット性能: 12 エンコーダのアンサンブルシステムは、テストセットで Score = 0.279（ACCP = 0.391, ACCS = 0.168）を達成し、6 位に入賞。
ベースラインとの比較: 既存の最良ベースライン（VideoMAEv2 + HuBERT, Score 0.223）を大幅に上回る。
Gemini の寄与: Gemini 埋め込みを追加することで、スコアが 0.262 から 0.279 へ向上（+6.5%）。12 エンコーダ構成では、Gemini が最も高い重み（0.192）を与えられ、ドメイン固有エンコーダにはない情報を提供していることが示された。

5. 意義と結論

本論文は、混合感情認識において以下の重要な知見をもたらしました。

モデル設計: 小規模な非言語データセットでは、アーキテクチャの微調整よりも「適切な事前学習層の選択」が重要である。
新技術: 大規模マルチモーダルモデル（LMM）の埋め込みは、短い入力でも高品質な感情セマンティクスを捉え得る。
評価課題: 閾値ベースの評価は、個人の表現スタイルの違い（Actor-dependency）に対して極めて不安定であり、これが混合感情認識の主要なボトルネックである。今後の研究では、閾値に依存しない連続値回帰や、俳優適応型の正規化手法が求められる。

このシステムは、顔、身体、音声、そして最新の LMM 埋め込みを統合したマルチモーダルアプローチの成功例であり、感情認識の新たな方向性を示しています。