Personalized Temporal Fatigue Analysis and Adaptive Risk Scoring for Camera-Based Driver Monitoring: Prototype and Evaluation Framework

技術要約：カメラベースのドライバー監視におけるパーソナライズされた時間的疲労分析と適応型リスクスコアリング

問題提起
現在のカメラベースのドライバー疲労モニターは、すべてのドライバーに対して単一の固定されたグローバル閾値を適用し、しばしば個々のビデオフレームに対して決定を下すため、高い誤報率（偽陽性率）に悩まされることが多い。このアプローチは、目の形状、瞬き、姿勢といったドライバー間の個体差を考慮できておらず、通常の動作（例：瞬き、会話、短い頭部の動き）と、真の疲労指標（例：持続的な眼瞼閉鎖）を区別することに苦慮している。ディープラーニング・システムは画像レベルの分類において高い精度を達成しているが、透明性のあるドライバーごとのベースラインや、一時的な非疲労イベントをフィルタリングするための堅牢な時間的ロジックを欠いていることが多い。

手法
本論文は、以下の3つのコアコンポーネントを統合したプロトタイプ・システムおよび被験者独立の評価フレームワークを提案している。

1. ドライバーごとのキャリブレーション： 初期段階の60秒間のキャリブレーション・フェーズ（ドライバーが覚醒状態にある間）において、各ドライバーのベースラインを確立する。システムは、パーソナライズされた参照を作成するために、主要な指標（Eye Aspect Ratio、瞬き率、あくび、頭部のピッチ）の平均値（$\mu_k$）と標準偏差（$\sigma_k$）を算出する。
2. 時間的集計（Temporal Aggregation）： フレーム単位の決定ではなく、システムはスライディングウィンドウ（$W=30$秒）にわたって指標を分析する。以下を算出する：
   • PERCLOS： Eye Aspect Ratio（EAR）がパーソナライズされた閾値（$\alpha \cdot E_{open}$）を下回るフレームの割合。
   • 瞬き率の偏差： 現在のウィンドウ化された瞬き率と、パーソナライズされたベースラインとの差。
   • あくびの頻度： 時間経過を条件としたMouth Aspect Ratio（MAR）のイベント。
   • 頭部の垂れ下がり（Head droop）： 頭部のピッチが閾値を超えて逸脱しているウィンドウ内の割合。
3. 適応型リスクスコアリング： 境界を持つリスクスコア（$R$）は、各指標の正規化された偏差（$d_k$）の加重和として算出される。スコアは指数移動平均（EMA）を介して平滑化される。
   • 信頼性ゲート（Reliability Gate）： オクルージョンや顔の消失による有効フレームの比率が最小値（$q_{min}$）を下回る場合、システムはリスクスコアではなく「UNRELIABLE（信頼不能）」と報告し、オクルージョンによる誤報を防ぐ。
   • 持続性ロジック（Persistence Logic）： 平滑化されたリスクスコアが一定期間（$T_p = 3$秒）継続して閾値を超えた場合にのみ、アラート状態（MILDまたはDROWSY）がトリガーされる。これにより、一時的なスパイクをフィルタリングする。

システムは、OpenCVとMediaPipe FaceMeshを用いたランドマーク検出を行うPythonで実装されている。出力には、リスクゲージ、インジケーターバー、およびステートバナー（ALERT, MILD, DROWSY, UNRELIABLE）を表示するライブダッシュボードが含まれる。

主な貢献
本論文は、以下の3つの具体的な貢献を提示している。

1. 文書化されたプロトタイプ： リスクスコア、個別のインジケーター、およびシステムの状態を可視化するライブダッシュボードを備えた機能的なシステム。
2. 明示的なリスクスコアの仕様： 「ブラックボックス」型のディープラーニング分類器とは異なり、透明性が高く、境界が定義され、設定可能な数学的定式化とそのリファレンス実装を伴う。
3. 被験者独立の評価フレームワーク： 被験者分離型の分割（subject-disjoint splits）を用いて公開データセット（NTHU-DDD, YawDD, DROZY, UTA-RLDD）上でシステムを評価するためのプロトコル。このフレームワークには、以下の4つのアブレーション研究を含む：
   • B0： 固定グローバル閾値（フレーム単位）。
   • B1： パーソナライズされた閾値のみ（フレーム単位）。
   • B2： 集団閾値を用いた時間的ウィンドウ処理。
   • B3： 本手法全体（パーソナライズ ＋ 時間的処理）。

結果
本論文は、主に制御された合成シナリオおよびこれらのシナリオに対する4条件のアブレーション研究から得られた結果を報告しており、これらの結果は、実世界のドライバーに対する精度を示すものではなく、設計ロジックの検証であることを明記している。

• 合成シナリオによる検証： システムは9つの合成シナリオ（例：通常の瞬き、会話、頭部の動き、持続的な眼瞼閉鎖など）でテストされた。
  • 本手法（B3）は、非疲労行動（瞬き、会話、頭部の動き）に対して「DROWSY」状態を正しく回避した。
  • 「細い目を持つドライバー」のシナリオにおいて、固定グローバル閾値では91.1%の誤報が発生したが、パーソナライズ手法では0%であった。
  • オクルージョン発生時（期間の63.4%）には、誤報を発生させるのではなく、スコアの出力を抑制した。
  • 計算コストは、単一のCPUスレッド上で、カメラキャプチャとランドマーク検出を除いて、1フレームあたり2.4～10.1マイクロ秒であった。
• アブレーション研究（合成シナリオ）：
  • B0 (Fixed): 高い誤報率（約450回/時）。
  • B1 (Personalized only): 細い目のドライバーに対する誤報は減少したが、フレーム単位の瞬きによるトリガーにより、依然として約450回/時であった。
  • B2 (Temporal only): 瞬きをフィルタリングすることで誤報を約3.4回/時に減少させたが、集団閾値を使用しているため、細い目のドライバーに対して依然としてトリガーが発生した。
  • B3 (Full Method): 適合率（Precision）1.00、再現率（Recall）0.76、および0.11回の誤報/時を達成した。
  • リードタイム（Lead Time）： 本手法は、スクリプト化された開始から約28.6秒の検出リードタイムを持っていた。これに対し、フレーム単位の手法（最初の閉眼フレームで即座に発火するため）のリードタイムは0秒であった。

意義と主張
本論文は、その主張に対して控えめな立場をとっている。

• ロジックの検証であり、精度ではない： 著者は、合成シナリオとそれに伴うメトリクス（Precision 1.00など）は、設計ロジックが意図通りに機能していることを示す証拠であり、実世界のドライバーに対する精度を証明するものではないと明言している。シナリオは手法と共に作成されており、「クローズドループ」の検証となっている。
• 実データに関する性能の主張なし： 論文内では、被験者分離型の実行がまだ完了していないため、公開データセット（NTHU-DDDなど）に関する結果はまだ得られていないと述べている。
• 透明性： 主な価値提案は、不透明なディープラーニングモデルと比較した、スコアリングメカニズム（ヒューリスティック、境界付き、設定可能）の透明性である。また、パーソナライゼーションと時間的持続性を組み合わせることで、特定のクラスの誤報（例：細い目のドライバー、通常の瞬き）を理論的に排除できることを示している。
• 今後の課題： 著者は、実際の公開データセットでのアブレーション研究の実施、完全な実装詳細の文書化、および説明可能性（explainability）機能を備えたエッジデバイスへの展開の可能性を次のステップとして挙げている。

要約すると、本論文はパーソナライズされた時間的疲労分析のための厳格なフレームワークを定義し、合成的なロジックチェックを通じて、このアプローチがドライバー間の個体差や一時的な非疲労行動による誤報を理論的に排除できることを示しつつ、実世界での検証が保留されていることを認めている。