技術要約: InCarEmo

問題提起

車内における感情コンピューティングおよびドライバーの状態監視に関する現在の研究は、適切な公開データセットの不足によって阻害されている。既存のリソースは規模が限定的であったり、モダリティの多様性に欠けたり（主に視覚データに依存している）、会話のコンテキストを捉えられていなかったりすることが多い。具体的には、より広範なマルチモーダル感情データセット（例：IEMOCAP、MELD）は存在するものの、それらは交通状況、ナビゲーション、車両の状態といった運転に特化したシナリオに基づいたものではない。その結果、これらのデータセットは、現実世界のインテリジェント・コックピット環境においてドライバーの感情の根底にある言語的およびインタラクティブな手がかりを効果的に捉えることができない。さらに、既存のデータセットの多くは西洋の参加者に焦点を当てており、異なる文化や運転コンテキストにおけるモデルの汎用性を制限している。

手法

データセット構築 (InCaremo)

著者らは、車内の感情認識およびドライバーの状態監視のために設計されたマルチモーダル・データセットである InCarEmo を導入する。データ収集プロセスには以下が含まれる：

• 環境設定: 本物の照明および音響条件を維持しつつ安全を確保するため、車両を停車させた現実的な車内環境を使用。
• モダリティ: RGBビデオ、赤外線（IR）ビデオ、高忠実度の車内オーディオ、および対話テキストを統合。
• シナリオ: 自然なドライバーとパッセンジャー、あるいはドライバーとアシスタントのインタラクションをシミュレートするために、手動で設計されたトピック（例：交通、旅行計画、車両状態）に基づき、GPT-4oを使用して生成されたスクリプトを使用。約2,000のマルチターン対話スクリプトを作成。
• 参加者: 顔の特徴や話し方の多様性を確保するため、25名の参加者を募集。
• アノテーション: エキスパートのアノテーターが品質と一貫性のためにすべてのクリップをレビュー。最終的なラベルは、3名の独立したエキスパートによる合意に基づいて割り当てられ、Cohen's kappa係数は0.87に達した。
• 範囲: データセットは主に3つのタスクをカバーする：
  1. マルチモーダル感情認識: 6つの感情（ニュートラル、喜び、悲しみ、怒り、驚き、不安）を分類。
  2. 疲労検知: 目の閉鎖やあくびなどの行動を特定。
  3. 注意散漫モニタリング: 飲水、スマートフォンの使用、喫煙などの行動を検知。
• クロスリンガル拡張: 中国語のアノテーションを翻訳し、higgs-audio フレームワークを用いて英語の音声を合成した後、品質を確保するための厳格なフィルタリングを行うことで、補助的な英語ベンチマークを構築。

提案されるベースライン: CAMEL

ベンチマークを確立するために、著者らはリソース制約のある車内環境向けにカスタマイズされた軽量マルチモーダルシステムである CAMEL（Contrastive Alignment and Multi-classifier Ensemble Learning）を提案する。

• アーキテクチャ:
  • バックボーン: 事前学習済みエンコーダーとして、CLIP（RGB/IR用）、Chinese-HuBERT（オーディオ用）、Qwen3（テキスト用）を使用。
  • ステージ1（ファインチューニング）: 各エンコーダーは、モダリティ固有の特徴を学習するために、車内感情タスクに対して個別にファインチューニングされる。
  • ステージ2（クロスモーダル・アライメント）: コントラスティブ学習モジュールが、異なるモダリティ（ビデオ、オーディオ、テキスト）からの埋め込みを共通の感情サブスペースに整列させ、同じセグメントの埋め込みを近づけ、異なるセグメントを遠ざける。
  • ステージ3（アンサンブル予測）: 様々なモダリティの組み合わせに対して、複数の軽量な分類器が訓練される。推論時には、ノイズや欠落したモダリティに対する堅牢性を高めるために、ソフト投票を通じて出力が集約される。
• ドライバー状態モニタリング: 疲労については、MediaPipe FaceMeshを使用してランドマークを抽出し、眼瞼開口度（EAR）やPERCLOSなどの指標を計算する。注意散漫については、特定の動作を特定するためにCLIPの視覚エンコーダーを採用する。

主な結果

感情認識

• マルチモーダルの優位性: 実験結果は、マルチモーダルな融合が、単一モダリティのベースラインを一貫して上回ることを示している。フルマルチモーダル設定（VAT）は、82.25%の精度と79.56%のF1スコアで最高の性能を達成した。
• モダリティ分析: オーディオが最も情報量の多い単一モダリティであることが判明し（精度73.80%）、テキスト単体ではゼロショット設定においてパフォーマンスが低かった（精度41.69%）。これは、運転コンテキストにおける視覚および音響的手がかりの必要性を強調している。
• ベースライン性能: CAMEL-emotionは、ファインチューニングされたEmotion-LLaMA (74.65%) や AffectGPT (73.24%) を含む他の最先端モデルを大幅に上回った。
• 堅牢性: モデルは、単一のモダリティが失敗しやすい低照度やノイズの多い条件下でも、強力な性能を維持した。

ドライバー状態モニタリング

• 疲労検知: CAMEL-stateは84.58%の精度を達成し、GPT-4o (37.89%) や Qwen2.5-VL-7B (66.08%) といったゼロショットの大規模モデルを大幅に上回った。
• 注意散漫検知: 提案されたモデルは81.06%の精度を達成し、ここでも汎用的なマルチモーダルモデルを凌駕した。

クロスリンガル評価

• 補助的な英語ベンチマークは、中国語のデータセットと一貫した傾向を示したが、特にオーディオが関与する設定において性能の低下が見られた。これは、クロスリンガルなマルチモーダル感情認識の課題を浮き彫りにすると同時に、将来のクロスカルチャー研究に対する本データセットの有用性を検証している。

意義と主張

本論文は、車内の会話設定に特化して、RGB、IR、オーディオ、および対話テキストを同時に組み込んだ最初のデータセットを提供することで、この分野の重要なギャップを埋めるものであると主張している。その意義は以下の通りである：

1. 包括的な基盤: 多様な照明、視点、およびノイズ条件下をカバーする、マルチモーダルな感情理解のための統一されたベンチマークを提供する。
2. 実用的な適用可能性: 英語ベンチマークの包含と、軽量で効率的なベースライン（CAMEL）の提案により、現実世界の展開に適した、堅牢で解釈可能かつ人間中心の車内システムの促進を目指している。
3. 安全性とインタラクション: 会話および行動の手がかりを通じて、感情、疲労、注意散漫の検知を可能にすることで、安全リスクを軽減し、より共感的なドライバー・車両間のインタラクションを育む高度運転支援システム（ADAS）の開発をサポートする。

著者らは、感情コンピューティングおよびインテリジェント・モビリティにおける再現可能な研究を促進するために、データセットとコードを公開していることを強調している。