技術概要：運転中のストレス推定のための顔面動画とバイオリアルの統合

問題定義

信頼性の高いストレス認識は、特に現実世界の運転シナリオにおいて、安全クリティカルなシステムにとって極めて重要です。生理学的信号（心拍数、鼻周囲の発汗など）はストレス検出の確立されたマーカーですが、実用的な環境においてこれらを取得することは侵入的であったり困難であったりする場合があります。一方、動画ベースのストレス推定は、ストレスの主観性、個人差、そして表情の意識的な隠蔽の可能性に起因する重大な障壁に直面しています。既存の動画ベースのアプローチは、しばしば低レベルの幾何学的特徴や顔面アクションユニット（AU）に依存しており、これらはアイデンティティ、ポーズ、表情が絡み合う結果、微妙な 3 次元顔面ダイナミクスを捉える能力を制限しています。さらに、身体手がかりが制限されている運転という制約条件下において、分離された 3 次元顔面ダイナミクスと生理学的信号の相補的相互作用を統一的な枠組み内で効果的に探求した研究はほとんどありません。

手法

データセットと実験設定

本研究は、Taamneh らによって収集され、シミュレータ内で取得された公開の不注意運転データセットを利用しています。プロトコルは、ベースラインとしての通常運転（ND）と、テキスト入力タスクがストレスを誘発する感覚運動的 distraction（MD）フェーズ（P2 および P4）を区別しています。他のフェーズ（P1、P3、P5）は非ストレス間隔として機能します。このデータセットには、同期された赤外線顔面動画、生理学的信号（心拍数、呼吸数、鼻周囲の発汗）、および視線測定値が含まれています。

特徴量抽出

1. 分離された 3 次元顔面特徴：
著者らは、DECA に基づく最先端の単眼 3 次元顔面再構成フレームワークであるEMOCAを用いて、フレームごとの 3 次元顔面表情およびポーズパラメータを抽出します。

• 表現：フレームあたり 56 次元のベクトル（$x_t$）であり、50 個の表情係数（$exp_t$）と 6 個のポーズパラメータ（$pose_t$）から構成されます。
• ダイナミクス：時間的挙動を捉えるため、1 次時間微分（$\Delta x_t$）を計算し、急速な運動変化と表情の遷移を強調します。
• 正規化：各被験者に対して、ストレス誘発ドライブ（MD）と対となる通常ドライブ（ND）を比較することで、ウィンドウレベルの速度差記述子を計算し、ベースラインからのストレス誘発された逸脱を強調します。

2. 生理学的および視線特徴：
生理学的マーカーには、心拍数、呼吸数、鼻周囲の発汗が含まれます。利用可能な場合、視線ダイナミクスは水平/垂直速度および加速度、ならびに短期統計量（移動平均、標準偏差、分散）として計算されます。

統計分析

深層学習を行う前に、著者らは MD フェーズと ND フェーズを比較するために、対二側片母数 t 検定を用いた統計分析を実施します。

• 知見：56 個の顔面コンポーネント（表情およびポーズ）のうち 38 個が、生理学的マーカーと同等の一貫したフェーズ固有のストレス反応を示します。
• 主要な相関：主成分分析（PCA）と線形判別分析（LDA）により、グローバルポーズ（特に pose_00）および特定の表情係数（例：exp_40、exp_20）がストレスと最も強く相関していることが特定されます。可視化は、これらのコンポーネントが主に顔面下部の変形（口、あご）および頭部ポーズに影響を与えることを示しています。
• 時間的重要性：速度ベースの表現（時間微分）は、静的な平均レベルの特徴よりも情報豊富であることが証明されており、ストレスはフレーム間ダイナミクスの急速な変化に符号化されていることを示唆しています。

モデリングフレームワーク

提案システムの核心は、マルチモーダル融合を処理するように設計されたトランスフォーマーベースの時間モデリングフレームワークです。

• アーキテクチャ：パイプラインは、短期パターンを抽出するためのマルチスケール畳み込みステム（カーネルサイズ 3、5、7）を使用し、その後、マルチヘッド自己注意を備えたトランスフォーマーエンコーダ層のスタックが続きます。
• 時間プーリング：ストレスに関連する時間セグメントに重み付けを行う、注意ベースの時間プーリングを介して、固定長のウィンドウ表現が取得されます。
• 融合戦略：
  1. 単一モーダル：顔面特徴のみを使用。
  2. 早期融合：入力レベルで 3 次元顔面パラメータを生理学的/視線特徴と連結。
  3. クロスモーダル注意：顔面ストリームと生理学的ストリームを独立してエンコードし、その後クロス注意メカニズムを介して融合する双方向アーキテクチャ。これにより、各モーダリティは集約前に他方の時間的に関連する手がかりを選択的に注意することができます。

主要な貢献

1. 3 次元顔面運動の相補的役割：密な 3 次元顔面運動特徴（分離された表情とポーズ）を生理学的特徴と融合させることが、ストレス予測を大幅に改善し、それらの相補性を確認することをこの研究は示しています。
2. 堅牢なクロスモーダルフレームワーク：著者らは、顔面ダイナミクスとバイオリアルの相互作用を効果的にモデル化するトランスフォーマーベースのクロスモーダル注意フレームワークを提案します。重要なのは、このフレームワークが顔面動画のみが利用可能な場合（単一モーダル性能）でも堅牢かつ効果的に機能することです。
3. 運転固有の焦点：本研究は、身体手がかりが制限されている運転シナリオにおいて、顔面運動をストレス関連の視覚情報の主要な源として強調し、他のストレス推定設定にも一般化可能なプロトコルを提供しています。

結果

モデルは、データ漏洩を防ぐために 5 分割の被験者間交差検証を用いて評価されました。

• ベースライン性能：

  • 生理学的信号のみ：性能が低く、AUROC は52.7%、精度は**51.0%**でした。
  • 顔面特徴のみ（単一モーダル）：AUROC は90.8%、精度は**84.1%**を達成し、従来の機械学習ベースライン（SVM/kNN）および全結合深層学習ベースラインを上回りました。
  • 早期融合：顔面特徴と生理学的特徴を単純に連結して組み合わせた場合、AUROC は**90.1%**となり、視覚のみのベースラインよりわずかに低く、この設定では顔面ダイナミクスがすでに支配的なストレス情報を捉えていることを示唆しています。

• クロスモーダル注意の性能：

  • 提案されたクロスモーダル注意戦略（顔面＋生理学的）は、最高の性能を達成しました：AUROC 92.0%、精度 86.7%。
  • これは生理学的信号のみの大幅な改善であり、単一モーダルおよび早期融合アプローチに対する一貫した向上を示しています。
  • 顔面ダイナミクスを除外した組み合わせ（例：視線＋バイオ）は著しく性能が低下し、顔面運動の中心性を強化しています。

意義と主張

この論文は、現実世界の運転において生理学的信号のみによるストレス検出は信頼性が低いか、または取得が困難である可能性がある一方で、顔面活動は非侵襲的に取得可能な相補的手がかりを提供すると主張しています。本研究は以下のことを確立しています：

1. ストレスはダイナミクスに符号化されている：ストレス関連の調節は、静的な外観ではなく、3 次元顔面パラメータの速度および時間的ダイナミクスにおいて最も顕著です。
2. マルチモーダル相乗効果：顔面特徴のみが非常に効果的である一方で、クロスモーダル注意を介したモーダリティ間相互作用の明示的なモデリングは、バイオリアルの相補性を活用することで最良の結果をもたらします。
3. 一般化可能性：シミュレーションされた運転データで評価されましたが、提案された手法とプロトコルは、顔面動画からのストレス認識に関わる他の設定への拡張を意図して設計されています。

著者らは、シミュレーションデータの使用に関する限界を指摘し、今後の研究は自然な環境でのこれらの知見の検証、解釈可能性の向上、および軽量 3 次元再構成パイプラインを介したリアルタイム展開の探求に焦点を当てるべきであると示唆しています。