あなたは、らめつくらはめられた、粒子の粗い監視カメラの映像だけを手がかりに、謎を解こうとしている探偵だと想像してください。あなたが探しているのは泥棒ではなく、ハンドル操作中に居眠りをしそうになっているドライバーです。これは、ドライバー・モニタリング・システム（DMS）の世界であり、運転中の私たちの表情を見守ることで安全を守ることに捧げられたコンピュータサイエンスの一分野です。長年、これらのシステムは、目が閉じていた時間の長さや、車線逸脱の有無を確認するといった単純な手法に頼ってきました。しかし、真の物語は、顔の筋肉の微細で不随意なピクつきの中に刻まれています。科学者たちは、これらの小さな動きを「アクション・ユニット（AU）」と呼んでいます。AUを、一つの原子的な筋肉の指令だと考えてください。例えば、あくびをした時に起こる特定のピクつきや、眠気と戦っている時のまぶたの微妙な引き締めなどです。課題は、車内では、まばゆい太陽光から真っ暗闇へと照明が変化し、頭が揺れ動き、時にはサングラスを着用することもあります。コンピュータが、影やガラスに隠れてしまうこともある、1秒にも満たない筋肉のピクつきを見つけ出さなければならない、混沌とした環境なのです。

本論文では、「ツイン・サイクル・オートエンコーダ（T・C・A）」と呼ばれる新しい種類のデジタル探偵を紹介します。単なるスナップショットを見てドライバーの感情を推測するのではなく、このシステムは、顔の物語を学習するために2つの巧妙な「ループ」を使用します。最初のループである「空間（Spatial）」ブランチは、その人が誰であるか、あるいは何を身に着けているかを無視しながら、筋肉の動きを認識することを学習します。第2のループである「時間（Temporal）」ブлоッチは、タイムトラベルをする編集者のように、ビデオを順再生および逆再生することで、動きの物語が両方向において整合しているかを確認します。これら2つのループに互いに同意させることで、システムは、カメラの性能が低下している状況下でも、ゆっくりとした瞬きや半開きの口といった、極めて微細な疲労の兆候を捉えることができるようになります。研究者たちは、標準的なデータセットと実世界のドライビング・シミュレーターを用いてテストを行い、彼らの「ツイン」システムが、従来のメソッドよりも、これらの微細で束の間の眠気の兆候を捉えることに優れていること、そして現在の実際の車で使用できるほど高速に動作することを見出しました。

問題点：混沌とした車内

車内での眠気の検出は、非常に困難であることで知られています。静かなラボであれば、カメラは容易にあくびを捉えることができます。しかし、走行中の車両内では、世界は課題の塊です。太陽がレンズに直接照りつけることもあれば、突然トンネルに入って暗くなることもあります。ドライバーはブラインドスポットを確認するために頭を動かしたり、目を隠すサングラスを着用したりすることもあります。さらに、疲労のサインは非常に微細である場合が多いのです。ドライバーはまだ眠っているわけではなく、単に疲れによるマイクロ・エクスプレッション（微表情）、つまり眉のわずかなピクつきや、ほとんど目に見えないほど短い瞬きを起こしているだけかもしれません。これらの信号は非常に微弱で短命であるため、通常、1フレームずつを見る古いコンピュータモデルでは、それらを見逃してしまうことがよくあります。また、ラベル付きのデータが不足していることも課題です。すべての筋肉のピクつきを専門家が手動でマークした、何千時間もの運転ビデオを入手することは、コストがかかり困難です。

解決策：ツイン・サイクル・オートエンコーダ

著者らは、ツイン・サイクル・オートエンコーダ（TCA）と呼ばれる解決策を提案しています。これがどのように機能するかを理解するために、ロボットに特定のダンスの動きを教えようとしている場面を想像してください。ただし、あなたにはダンスのビデオはなく、ランダムな写真の山しかない状態です。

1. 2つのブランチ（双子）
TCAは、異なるスキルを専門としながらも協力して働く、一対の双子のように構築されています。

• 空間的ツイン（「似ているもの」検出器）： このブロッチは、ビデオの単一フレームを見ます。その役割は、筋肉の動き以外のすべてを削ぎ落とすことです。ドライバーのアイデンティティ、髪型、あるいは帽子を被っているかどうかを無視します。純粋に「アクション・ユニット」、つまり特定の筋肉の形状に焦点を当てます。ここでは「サイクル」のトリックを使用します。つまり、筋肉のデータから顔を再構築しようと試みるのです。もし顔を正しく再構築できれば、正しい筋肉の情報が捉えられたことを意味します。
• 時間的ツイン（「タイムトラベル」編集者）： このブランチは、短いビデオクリップ（約1.6秒）を見ます。顔の動きを時間の経過とともに順方向に観察し、次にビデオを逆再生しようと試みます。ここでも「サイクル」のトリックを使用します。もし動きが順方向で成立するのであれば、それは逆方向でも成立するはずです。これにより、システムは単なる静止した口の形としてではなく、あくびや瞬きの「リズム」を理解することができます。

2. ハンドシェイク（潜在的整列）
これら2つのツインは、孤立して機能するわけではありません。これらは「ハンドシェイク（握手）」メカニズムによって接続されています。システムは、特定の瞬間における空間的ツインの顔の理解が、その瞬間の動きに関する時間的ツインの理解と一致するように強制します。これにより、「見た目」と「動き」が同じ物語を伝えていることが保証されます。もし時間的ツインが始まったばかりのあくびを検知していれば、たとえ照明条件が悪くても、空間的ツインも口が開いていることに同意しなければなりません。

3. 教師なしの学習（自己教師あり学習）
このシステムの最も強力な側面の一つは、その学習方法にあります。通常、AIを訓練するには、人間がすべての筋肉のピクつきにラベルを付けた膨大なデータセットが必要です。しかし、運転においてはそのようなデータは希少です。TCAは、「自己教師あり学習」を用いることでこの問題を回避します。ラベルのない（誰もAUをマークしていない）何時間もの運転ビデオを見ることによって、自らの「サイクル」のトリックを用いて、顔の動きのルールを独力で学習できるのです。ビデオを順方向および逆方向に再生することによって、システムは「通常の」顔とはどのようなものであり、それがどのように動くのかを学習します。その後、ラベル付きの少量のデータを使用して、特定の疲労の兆候を特定する能力を微調整します。

研究結果

研究者たちは、単一フレームを見るだけのシステム、3Dビデオフィルタを使用するシステム、およびグラフネットワークを使用するシステムを含む、いくつかの一般的な手法と比較して、彼らの「ツイン」システムをテストしました。標準的なベンチマーク（DISFAおよびBP4D）と、実際のドライバーが参加したシミュレーター内の自然な走行データセットを用いてテストを行いました。

• 微細なものの検知に優れる： TCAは、他の手法を一貫して上回りました。特に、低強度の、あるいは非常に速いAU、例えば眠気の重要な兆候であるAU45（眼瞼閉鎖）やAU43（ゆっくりとした閉眼）の検出において優れていました。また、あくびを示すAU26（顎の下落）についても良好な結果を示しました。
• 時間の力： 「時間的」ブランチ（タイムトラベル編集者）を取り除くと、システムの性能が大幅に低下しました。これは、疲労を察知するためには、時間の経過に伴う「動き」を観察することが極めて重要であることを証明しています。
• 自己学習の力： 自己教師あり学習による事前学習（ラベルのないビデオからの学習）を用いたバージョンのTCAを、それを用いないものと比較したところ、事前学習済みのバージョンの方がはるかに優れていました。これは、システムがラベルなしの運転映像から有用なパターンを効果的に学習し、ラベル付きデータの不足というギャップを埋めることに成功したことを示唆しています。
• 実世界の速度： システムは正確であるだけでなく、高速でした。車内に搭載可能な組み込みコンピュータ（NVIDIA Jetson Xavier NX）でテストしたところ、システムは28.4 fpsで動作しました。これは、安全システムに通常必要とされる10〜15 fpsを超えており、ドライバーへのリアルタイムのアラートを提供するのに十分な速度です。

限界と今後のステップ

このシステムは完璧ではありません。研究者たちは、ドライバーがサングラスを着用している場合、システムが顔の上部に関連するAU（眉やまぶたなど）に対して著しく苦戦することを発見しました。サングラスが視界を遮っており、システムは下顔面のみから動きを「推測」することができませんでした。しかし、口が依然として見えるため、あくびのような下顔面の動作については堅牢性を維持していました。

本論文は、この「ツイン・サイクル」アプローチが次世代のドライバー・モニタリングへの実行可能な道筋であることを結論づけています。空間的および時間的なサイクルを組み合わせ、自己教師あり学習を用いてラベルなしデータを最大限に活用することで、正確かつ実用的なシステムを構築できることを示唆しています。今後の研究では、遮蔽物（サングラスなど）への対応力を高めることや、顔のキューとステアリング操作などの他のデータと組み合わせることで、より明確なドライバーの疲労の全体像を描き出すことに焦点を当てます。