YawDD+: Frame-level Annotations for Accurate Yawn Prediction

技術概要：YAWDD+ – エッジプラットフォームにおける高精度あくび認識のためのフレームレベル注釈

問題定義
ドライバーの疲労は重大な安全上の問題であり、道路事故の約 24% が原因とされており、あくびは重要な初期の行動指標として機能します。YawDD などの既存のデータセットはビデオベースの注釈を提供していますが、粗い時間的ラベリングに起因する体系的なノイズに悩まされています。これらのデータセットでは、フレームの大部分があくび以外の行動（通常の運転、会話、笑顔など）を描いている場合でも、動画クリップ全体が「あくび」としてラベル付けされます。この不一致はノイズを導入し、堅牢な機械学習モデルの訓練を妨げます。さらに、現在の最先端のソリューションは、クラウドインフラストラクチャや計算コストが高く、接続性が限られデータプライバシーが最優先される車両におけるリアルタイム・オンデバイス展開には非現実的な重厚なビデオトランスフォーマーアーキテクチャに依存することが多いです。

手法
ラベルノイズに対処し、効率的なエッジ展開を可能にするため、著者は元の YawDD から派生した正確なフレームレベル注釈を備えた洗練されたデータセット「YawDD+」を提案します。彼らのアプローチの中核は、人間によるループ検証を組み込んだ半自動ラベリングパイプラインであり、以下の 3 つの段階で構成されます：

1. 口の状態分類: 約 42 万 1,000 パラメータを持つ軽量な畳み込みニューラルネットワーク（CNN）を訓練し、口の状態を「開」または「閉」として分類します。このモデルは、既存の口の状態データセットの不足を克服するためにデータ拡張を活用し、二値分類タスクにおいて 96% の精度を達成しました。
2. 顔検出とランドマーク抽出: パイプラインは、さまざまな照明や姿勢にわたって堅牢なドライバーの顔検出を行うために YOLOv8 を採用しています。正確な口領域の抽出を確保するため、システムは 468 個の 3 次元顔ランドマークを生成する MediaPipe Face Mesh を統合しています。このアプローチは、車内環境における Dlib 検出器の時間的不安定性を克服します。システムは自動的にドライバーの顔（最大のバウンディングボックス）を選択し、設定可能なパディングを備えた特定の唇のランドマークを使用して口領域を抽出します。
3. 自動化された注釈と人間による検証: 訓練された CNN が切り抜かれた口領域を分類します。高信頼度（>95%）の予測は自動的に承認されます。低信頼度のケースは、誤検知と見逃しを 64 枚の画像のバッチ単位で修正できるように、カスタム GUI へ人間による検証のためにルーティングされます。このプロセスは、ラベリングの約 80% を自動化することで人的作業を削減し、人間の努力を困難なエッジケースに集中させます。

その結果、YawDD+ データセットには、注釈付きの「あくび」フレームが 124,201 枚、「あくび以外」のフレームが 222,837 枚含まれており、合計 287,225 フレームとなります。

主要な貢献

• YawDD+ データセット: ビデオレベルの注釈に存在する体系的なノイズを排除し、特定のあくびの事例を他の口の動きから区別する、高品質なフレームレベル注釈データセットの作成。
• 半自動パイプライン: 高品質なデータを維持しながら注釈時間を大幅に短縮する、スケーラブルな人間によるループラベリングフレームワーク。
• エッジ最適化された訓練と推論: サーバーサイドの計算に依存することなく、エッジデバイス（NVIDIA Jetson NANO および AGX）上で直接モデル（分類用 MNasNet と検出用 YOLOv11）を訓練および展開する実証。

実験結果
著者は NVIDIA Jetson プラットフォームを使用して YawDD+ データセット上で MNasNet と YOLOv11 を評価しました：

• 精度の向上: ビデオレベルの教師あり学習と比較して、YawDD+ での訓練により、フレーム精度が最大 6%、平均平均精度（mAP）が 5% 向上しました。
• パフォーマンス指標:
  • MNasNet（分類）: 99.34% の精度と 98.30% の F1 スコアを達成。
  • YOLOv11（検出）: 95.69% の mAP50–95 と 98.67% の F1 スコアを達成。
• 効率性:
  • 推論レイテンシ: モデルは Jetson AGX 上で分類で 12.03 ms、検出で 24.33 ms という最低の推論時間を実現し、リアルタイム能力を示しました。これは最大 115 FPS に相当します。
  • 訓練時間: オンデバイスでの訓練は可能であり、MNasNet は Jetson AGX 上で 1 エポックをわずか 8.69 分で完了しました。
• 比較: これらの結果は、以前のフレームベースの研究（精度は 93.31% から 94.5% の範囲）を上回り、ビデオベースのトランスフォーマーアーキテクチャ（例：2s-STGCN、DLS）に伴う高い推論コストとエッジ展開指標の欠如を回避しています。

意義と主張
この論文は、YawDD+ によって提供される高品質なデータが、軽量アーキテクチャの優れた性能の主な要因であると主張しています。ラベルノイズを除去することで、著者は複雑でリソース集約的なビデオトランスフォーマーが高精度なあくび検出に厳密に必要ではないことを実証しました。代わりに、正確なフレームレベル注釈により、効率的で軽量なモデルが最先端の精度を達成しつつ、市販のエッジハードウェアの計算およびメモリ制約内に収まることが可能になります。

この研究は、クラウド依存なしにリアルタイムで動作するオンデバイスのドライバー疲労監視システムの実現可能性を検証し、自動車安全アプリケーションにおけるデータプライバシー、レイテンシ、信頼性に関する重要な要件に対応しています。著者は、半自動パイプラインを他のビジョンタスクに移行して手動ラベリングの負担を軽減でき、またこのデータセットはマルチモーダル疲労分析や、微細な顔の行動分析を必要とする他のドメインをサポートできると提案しています。