Design and Evaluation of a Lightweight Real-Time Facial Expression Recognition System: A PyTorch Mini-Xception Implementation Trained on FERPlus.

人の顔を観察し、その人が何を感じているかを理解できるコンピュータを想像してみてください。これは、顔の筋肉の微細な動きを、幸福、悲しみ、怒りといった特定の感情へと翻訳しようとする科学分野、「表情認識」の目標です。数十年にわたり、研究者たちはこれを行うための複雑なデジタル脳を構築してきましたが、それらは実行するために巨大で高価なコンピュータを必要とすることがよくあります。これらの重厚なシステムは、ウェブカメラからのビデオフィードがライブストリーミングされているときのような、リアルタイムでの動作を求められると苦戦します。課題は、表情を正確に認識できるほど賢く、かつ、ラグやフリーズを起こすことなく一般的な日常的なコンピュータで動作できるほど軽量なシステムを作り出すことでした。

デバンジャン・チャクラボルティという研究者は、この課題に取り組むため、このタスクに特化した、新しい合理化されたバージョンのデジタル脳を設計しました。この分野で一般的な巨大でエネルギーを大量に消費するモデルの代わりに、チャクラボルティは「Mini-Xception」と呼ばれる、小さく効率的なアーキテクチャを構築しました。このモデルは、数千枚の人々の表情を含む「FERPlus」データセットを用いて学習されました。このデータセットには、7種類の異なる感情を示す人々の写真が含まれています。しかし、このデータセットには厄介な障害がありました。それは、極端に不均衡であったことです。幸せや無表情な人の写真は数千枚もありましたが、嫌悪や恐怖を示している写真は非常に少なかったのです。もしコンピュータがこのような偏ったコレクションから学習すると、希少な感情を完全に無視してしまい、ほとんどの場合で正解を得るために、ほぼすべてを「幸せ」や「無表情」と推測してしまう傾向があります。

この問題を解決するために、研究者は、コンピュータに希少な感情へ注意を向けるように教えるさまざまな方法をテストしました。不均衡を無視する方法、希少な感情に最大限の重要性を与える方法、そして、それらに適度なブーストを与える中間的なアプローチを試しました。その結果、中間的なアプローチが最も効果的であることが分かりました。希少な感情に対して、過剰反応することなく「ちょうど良い程度」に価値を与えるよう学習プロセスを調整することで、システムは7つのすべての感情を高いバランスで認識できるようになりました。最終的なモデルは驚くほど小さく、調整可能な設定は5万7,000個未満でした。これは、数百万個の設定を持つ標準的なシステムと比較すると極めて小さいものです。この小さなサイズにより、モデル全体のストレージ容量は1メガバイト未満となり、標準的な機器で簡単に持ち運び、実行することが可能になりました。

しかし、真のテストは、この小さなシステムがライブビデオストリームに追いつけるかどうかでした。研究者は、ウェブカメラを使用してリアルタイムで顔を検出し、直後に表情を分類するシステムを構築しました。これを、一般的な高性能ラップトップであるApple M1 Proコンピュータでテストしました。その結果、システムは毎秒約30フレームの安定したレートでビデオを処理でき、これは人間の目にとって連続した動きとして知覚できるほど滑らかな速度でした。顔を特定してから感情を命名するまでの全工程は、6ミリ秒未満でした。驚くべきことに、研究者は、ビデオフレームを一つずつ処理するというこの特定のタスクにおいては、コンピュータのメインプロセッサ（CPU）が専用のグラフィックスチップ（GPU）よりも高速であることを発見しました。これは、グラフィックスチップが大量のデータを一括処理するのには強力である一方、個々のフレームごとに起動する際にわずかな遅延が生じるため、小規模で迅速な作業においてはメインプロセッサの方がより効率的に処理できたためです。

また、このシステムには顔検出のためのセーフティネットも含まれていました。主に最新の高速な手法を用いて顔を見つけますが、その手法が失敗した場合には、ビデオフィードが停止しないように、即座に古くても信頼性の高い手法へと切り替えることができます。出力が自然に見えるように、システムは結果を平滑化（スムージング）しており、感情のラベルがフレーム間で激しく飛び跳ねることなく、人間の表情と同じように緩やかに変化するようにしています。この研究は、軽量で注意深く調整されたシステムであれば、スーパーコンピュータを必要とせずに、リアルタイムで表情を認識できることを証明しました。

それでもなお、研究者は、このシステムが「できないこと」についても慎重に言及しています。コンピュータは顔の物理的な形状を見ているだけであり、その人の真の内面的な感情を知っているわけではありません。笑顔は純粋な喜びかもしれませんし、礼儀正しい仮面の表情かもしれません。システムはその違いを判別することはできません。さらに、このシステムは低解像度の画像で学習されており、医学的な診断を行ったり、デリケートな状況において人間の判断に取って代わったりすることはできません。これは、目に見える手がかりを認識するためのツールであり、人間の魂を覗き見る窓ではないのです。この研究成果は、適切な設計さえあれば、強力な人工知能をラップトップに収まるほど小さくできることを示しており、巨大なハードウェアを必要とせずに、日常的なテクノロジーにリアルタイムの感情的な気づきをもたらす道を開くものです。