MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations

本論文は、脳神経・生理・行動の多角的視点から感情を捉えるため、多様な生理信号と RGB-D 動画を同期収集し、3 段階の階層アノテーションを備えた新しいマルチモーダル感情データセット「MAD」を提案し、その有効性を多様なベンチマーク実験で実証したものです。

要約

この論文は、**「MAD（マルチモーダル・アフェクション・データセット）」**という、感情を研究するための新しい「超大規模な実験データ集」を紹介するものです。

これをわかりやすく説明するために、**「感情という複雑な料理」**を例に挙げてみましょう。

1. 今までの研究は「味見」だけだった

これまでの感情認識の研究（既存のデータセット）は、主に**「料理の見た目（表情）」や「レシピ（動画の内容）」**だけを見て、「これは辛い料理だ（怒り）」と判断していました。
でも、これには大きな問題があります。

• 表情は嘘をつける： 辛いものを食べていても、無理やり笑って「美味しい」と言える人がいます。
• 内面が見えない： 本当は辛くて涙が出そうなのに、表情に出さない人もいます。

つまり、「外側の見た目」だけでは、その人の「本当の気持ち（内面）」や「体の中で起きていること」を正確に知ることはできないのです。

2. MAD がすごいところ：「料理の全工程」を同時に記録する

MAD というデータセットは、単に「見た目」だけでなく、料理が作られる「全工程」を同時に記録するという画期的なアプローチをとっています。

参加者（18 人）に感動的な映画を見せながら、以下の3 つの視点をすべて同時に記録しました。

1. 脳（電気信号）： 料理の「味」が脳に届いた瞬間の反応（EEG）。
   • 例：「あ、辛い！」と脳がパッと反応する瞬間。
2. 体（生理信号）： 料理の味に反応して体がどう動くか（心拍、筋肉、眼球の動きなど）。
   • 例：辛くて心臓がドキドキしたり、汗をかいたりする反応。
3. 表情（360 度カメラ）： 料理を食べた後の「顔の表情」を、正面・左・右の 3 方向から 3 次元で撮影。
   • 例：顔をしかめる、笑う、涙を流す様子。

これらを**「完全な同期」**で記録したのが MAD です。まるで、料理人が「味見」「体の変化」「表情」をすべて同時に観察しているようなものです。

3. 3 つの「ラベル（タグ）」で感情を分類

MAD の最大の特徴は、感情に3 つの異なる視点からタグ付けをしている点です。

• ① 刺激（動画）： 「この映画は『悲劇』だから、悲しみ」という客観的なラベル。
• ② 認知（本人の感想）： 参加者が「私は今、すごく悲しかった（あるいは、全然悲しくなかった）」と報告した主観的なラベル。
• ③ 表現（表情）： 第三者が「この顔は悲しげだ」と判断した行動的なラベル。

面白い発見：
実験の結果、「動画の内容（刺激）」と「本人の感想（認知）」が一致しない場合、脳波（EEG）のパターンも変わることがわかりました。

• 例： 悲しい映画を見ているのに、「私は平気だ」と思っている人。
  • 脳は「悲しみ」を感知しているのに、本人は「平気」と言っている。
  • この「ズレ」を捉えることができるのが、MAD のすごいところです。

4. 心臓の信号も「3 種類」でチェック

MAD では、心臓の動きを 3 つの異なる方法で測っています。

1. ECG（心電図）： 電気的な動き（胸に貼る）。
2. PPG（脈波）： 光で血流を見る（指や耳に当てる）。
3. BCG（心振動）： 椅子に座るだけで感じる「心臓の振動」。

これらは仕組みは違うのに、「感情が高ぶると心臓が早くなる」というリズムは、3 つともほぼ同じであることが確認されました。
これは、**「接触しなくても（椅子に座るだけや、カメラで撮影するだけ）感情がわかるかもしれない」**という未来の可能性を示しています。

5. 3 方向カメラの威力

顔の表情を「正面」だけ見るのではなく、「正面・左・右」の 3 方向から撮影しました。

• メリット： 人が顔を横に向けたり、手で顔を隠したりしても、3 つのカメラがあれば「本当の表情」を復元できます。
• これにより、AI が「顔の向きが変わっても、感情を正しく認識する」練習ができるようになりました。

まとめ：MAD がもたらす未来

MAD は、単なる「顔の表情 recognition（認識）」のデータ集ではありません。

• 脳（内面）
• 体（生理反応）
• 顔（行動）

この 3 つを**「同時に」「高品質に」記録したデータセットです。
これにより、AI は「表面上の笑顔」だけでなく、「心の中で何を感じているか」**まで深く理解できるようになる可能性があります。

一言で言うと：

「これまでの研究は『顔の表情』という『外装』だけを見ていたが、MAD は『脳・心臓・筋肉・表情』という『エンジンからボディまで』の全情報を同時に記録した、感情研究のための究極のシミュレーターだ！」

このデータは、より正確な感情認識 AI の開発や、うつ病などのメンタルヘルスケア、人間と AI のより自然なコミュニケーションの実現に大きく貢献すると期待されています。

技術概要

MAD（Multimodal Affection Dataset）に関する技術的サマリー

本論文は、感情認識と神経生理学的モデリングのための新しいマルチモーダルデータセット「MAD（Multimodal Affection Dataset）」の構築、特性、およびベンチマーク評価について報告したものです。既存のデータセットが抱える課題を克服し、感情プロセスの「刺激誘発」「主観的認知」「行動的表現」という 3 つのレベルを統合的に分析できる基盤を提供することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義（Background & Problem）

既存の感情認識研究およびデータセットには、以下の 3 つの主要な限界が存在します。

• モダリティの不足と非同期性: 既存のデータセット（DEAP, SEED, FER2013 など）は、脳波（EEG）や末梢生理信号、あるいは顔画像のいずれかに偏っており、これらを高精度に同期させた多角的なデータが不足しています。また、神経活動、自律神経反応、行動表現の間の整合性や不一致を研究するためのデータが不十分です。
• アノテーションの単一レベル: 多くのデータセットは、刺激ベース（動画の内容）または認知ベース（被験者の自己申告）のいずれか一方のラベルしか持っていません。これにより、外部刺激と内部主観体験、および最終的な表情の間の不一致（不一致性）を系統的に分析することが困難です。
• 視覚データの制約: 多くの顔認識データセットが単視点の 2D RGB 画像に依存しており、姿勢変化や奥行き情報（Depth）の欠如により、実環境でのロバストな認識や 3 次元構造の理解が制限されています。

2. 手法とデータセット設計（Methodology & Dataset Design）

MAD は、18 名の被験者（9 名男性、9 名女性）を対象に、以下の構成で収集された大規模な同期データセットです。

A. データ収集プロトコル

• 刺激: 16 種類の感情誘発ビデオクリップ（7 分類：喜び、怒り、悲しみ、恐怖、不安、嫌悪、中立）を使用。
• 生理信号の同時記録: 以下の 6 種類の生理信号を高精度に同期して記録しました。
  • 中枢神経系: EEG（14 チャンネル、128Hz）
  • 末梢生理系: ECG（心電図）、EOG（眼電図）、EMG（筋電図）、PPG（光電容積脈波）、BCG（心振動図）。
  • 視覚: 3 台の Intel RealSense D455 カメラを用いたトリビュー（左・正面・右）RGB-D 動画（640x480, 30fps）。
• 環境: 静寂な実験室環境で、カフェイン摂取や激しい運動を避けた状態で実施。

B. 階層的アノテーションフレームワーク

MAD の最大の特徴は、感情を 3 つのレベルでラベルリングする階層的なアノテーション体系です。

1. 刺激誘発ラベル（Stimulus/Multimedia）: 50 名の外部アノテーターが動画コンテンツに基づいて付与したラベル（7 分類、4 分類、3 分類）。
2. 認知ラベル（Cognitive）: 被験者が視聴後に自己申告した感情状態と強度。
3. 表現ラベル（Expression）: 10 名の観察者がトリビューの顔画像に基づいて付与した行動的表現ラベル（3 分類：ポジティブ、ニュートラル、ネガティブ）。

C. 前処理

• 各モダリティを刺激のピーク期間に対応する 60 秒クリップにセグメント化。
• EEG のアーチファクト除去（ICA）、生理信号の再サンプリングとフィルタリング、顔検出（YOLOv8）と表情フレームの選定などを実施。

3. 主要な貢献（Key Contributions）

1. クロスレベルのマルチモーダルデータセット: 中枢神経（EEG）、末梢生理（ECG, PPG, BCG など）、および行動（多視点 RGB-D）を統合し、感情反応が神経・自律神経調節から可視的な表現へどのように進化するかを研究するための統一基盤を提供。
2. 階層的な感情アノテーション: 刺激、認知、表現の 3 レベルを網羅するラベルリング方式を導入し、異なる概念層間での感情情報の定量的比較を可能にした。
3. 包括的なベンチマークプロトコル: 被験者内/被験者間 EEG 認識、心臓関連信号の整合性分析、マルチモーダル融合、多視点表情認識など、5 つの主要な科学課題に対する評価タスクを確立。

4. 実験結果（Results）

ベンチマーク実験を通じて、MAD の有効性と特性が以下のように実証されました。

• EEG 認識とラベルの整合性:
  • 刺激ベースのラベルで学習したモデルは、認知（自己申告）ベースのラベルで学習したモデルよりも有意に高い精度を示しました（3 分類で約 89% vs 69%）。
  • 刺激ラベルと認知ラベルが一致するサンプルのみで学習した場合、精度がさらに向上し、神経活動の安定性が確認されました。これは「知覚」と「体験」の間の神経レベルの不一致を示唆しています。
• 被験者間転移学習:
  • 5 つのドメイン適応手法（DAN, DANN など）を用いた被験者間認識実験において、MAD は「現実的かつ学習可能」な個人差構造を示し、安定した転移性能を達成しました。
• 心臓関連信号の整合性:
  • ECG, PPG, BCG の 3 つの信号は、心拍周期において高い時間的同期性と類似した分類性能を示しました。特に、非接触測定である BCG が接触式の ECG/PPG と同等の性能を持つことが確認され、ウェアラブルや非接触感情認識への応用可能性が示されました。
• マルチモーダル生理融合:
  • 単一モダリティでは EEG が最も優れていましたが、末梢信号（ECG, EOG, EMG）を EEG と融合させることで、さらに性能が向上しました。これは、感情状態が複数の生理システムによる協調反応であることを示しています。
• 多視点表情認識:
  • 単視点（正面）のみでの微調整では側面視点の精度が低下しましたが、多視点データでの微調整と対照学習（Contrastive Learning）を導入することで、姿勢変化に対するロバスト性が大幅に向上し、視点不変な感情表現の学習が可能になりました。

5. 意義と結論（Significance & Conclusion）

MAD は、感情研究において以下の点で重要な意義を持ちます。

• メカニズム解明への寄与: 刺激、主観的体験、行動表現の 3 つのレベルを同時に観測できるため、感情の生成メカニズムにおける不一致や補完性を神経科学・心理学の観点から深く分析できます。
• アルゴリズム開発の標準ベンチマーク: 単一モダリティからマルチモーダル融合、被験者内から被験者間転移まで、多様なタスクを評価できる信頼性の高いプラットフォームを提供します。
• 実用化への道筋: 心臓関連信号（特に BCG/PPG）の非接触・低接触での利用可能性や、多視点 RGB-D データに基づく姿勢ロバストな認識技術の実証は、ウェアラブルデバイスや実環境での感情認識システムの開発に貢献します。

結論として、MAD は神経、生理、行動の各レベルを横断する統合的な感情研究プラットフォームとして確立され、将来的には基礎理論と実用応用の架け橋となり、より解釈可能で汎用的な affective computing システムの発展を加速させることが期待されます。