Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction

友人の表情を見るだけで、その人が何を感じているかを推測しようとしている場面を想像してみてください。肌の毛穴を一つ一つスキャンしたり、まつ毛の数を数えたりする必要はありません。微笑みの曲線や目の端のシワといった「鍵となる手がかり」を見つけるだけで、その人が喜んでいるのか、怒っているのかを知ることができるのです。これが、コンピュータが人間の感情を読み取る方法を学習するコンピュータサイエンスの一分野、「顔の感情認識（Facial Emotion Recognition: FER）」の核心です。これを行うために、現代のコンピュータは「ビジョン・トランスフォーマー（Vision Transformer）」と呼ばれる強力なツールをよく使用します。ビジョン・トランスフォーマーを、写真を何百もの小さなパズルのピース（「トークン」と呼ばれます）に分解し、全体像を理解するために、そのすべてのピースを一度にすべて見ようとする、非常に整理整頓された名探偵だと考えてみてください。この手法は非常に賢いのですが、大きな欠点があります。それは、あらゆるピースをすべて見ることが膨大な脳の力と時間を必要とするため、スマートフォンやロボットのような小型デバイスで実行するには重すぎて遅すぎるという点です。

ここで、パリ第8大学のアヤ・マネル・ジトゥニ、アイシャ・ゼナクリ、カリム・ハルーン、ラルビ・ブブシールによる研究者たちの新しい研究を紹介します。彼らはシンプルかつ大胆な問いを投げかけました。「コンピュータが感情を推測するために、本当に顔全体を見る必要があるのだろうか？ それとも、最も重要な部分だけを見ることで事足りるのだろうか？」 彼らの答えは、力強い「はい、より少ない情報でもなんとかなる」というものでした。彼らは、「スパース・アテンション・トゥ・エモーション（Sparse Attention to Emotion: SAE）」と呼ばれる新しい手法を開発しました。SAEは、コンピュータに顔のあらゆる小さなピースを凝視させる代わりに、スマートな編集者のように振る舞い、写真の中の退屈で重要でない部分を素早く切り取り、目、口、頬の一部といった「主役」だけを残します。驚くべきことに、画像のピースの90%を捨て去ったとしても、コンピュータは重くて遅い手法とほぼ同等の精度で感情を推測できましたが、それをわずかな労力で行うことができたのです。

問題点：考えすぎな人

あなたがミステリーを解こうとしている場面を想像してください。しかし、重要な数少ない手がかりを見る代わりに、500ページの百科事典の全ページを読もうと決めたとします。答えは見つかるかもしれませんが、あなたは疲れ果て、膨大な時間がかかるでしょう。これは、現在の顔認識モデルがまさに陥っている状況です。彼らは顔を巨大な小さな正方形（トークン）のグリッドとして扱い、それぞれの正方形と他のすべての正方形との関係を分析しようとします。数学的な用語で言えば、これは「二次関数的な複雑さ（quadratic complexity）」を生み出します。これは、画像が大きくなるにつれて、コンピュータが行わなければならない作業量が爆発的に増えることを意味する、小難しい言い方です。このため、これらのモデルは、スマートフォンやウェアラブルデバイスのような、私たちが持ち歩いている身近な「エッジ」デバイスで実行するには重すぎるのです。

解決策：スマートな編集者

LIASD研究所で研究を行っているこの論文の著者たちは、感情を認識する上で、顔のすべての部分は平等に作られているわけではないという仮説を立てました。彼らは、目や口のような特定の領域が、悲しみ、喜び、怒りを判別するために必要な「識別情報」を運んでいる一方で、それ以外の皮膚の部分は単なる背景のノイズであると考えています。

これをテストするために、彼らは「スパース・アテンション・トゥ・エモーション（SAE）」と呼ばれるモデルを構築しました。その仕組みを、簡単な比喩を使って説明します。

1. 初期スキャン： モデルはまず顔を見て、重いモデルと同じように、顔をトークンに分解します。
2. スコアカード： 次に、どの部分が実際に感情にとって重要であるかを判断するために、「スマートな質問」（[CLS]トークンと呼ばれるものを使用）を投げかけます。そして、すべてのトークンに対してスコアを付けます。
3. 大いなる削減： ここが魔法の部分です。モデルはスコアを確認し、「よし、これらのトークンの上位10%（または30%、60%）だけが必要だ」と判断します。高スコアのトークン（通常は目や口）を残し、残りは捨て去ります。
4. 結合のトリック： しかし、待ってください。ただ削除して穴を開けたままにしておくと、パズルがバラバラになってしまいます！ もしパズルのピースの90%を捨ててしまったら、絵は崩壊してしまいます。そこで、SAEは捨てられたすべてのピースを混ぜ合わせ、一つの「融合（フューズド）」されたトークンへとまとめ、その一つのトークンをミックスの中に再び追加します。これは、退屈な背景の風景をすべて一つの小さな塊に押し込み、メインの絵の横にテープで貼り付けるようなものです。これで、重要な詳細と、残りの部分の小さな要約の両方を手に入れつつ、重い計算は重要な部分に対してのみ行うことができるのです。

結果：少ない労力で、同じ賢さ

チームはこのアイデアを、驚き、恐怖、嫌悪、怒り、ニュートラル、悲しみ、幸福という7つの異なる感情を示す実世界の写真を含む、RAF-DBと呼ばれる大規模なデータセットでテストしました。彼らは、この新しい「スマートな編集者」を既存の最高の手法と比較しました。

結果は驚くほど効果的でした。研究者たちは以下のことを発見しました。

• トークンの90%を保持した場合（10%をカット）： モデルは競争力のある性能を示し、重量級のモデルと同等の性能を発揮しました。
• トークンの60%を保持した場合（40%をカット）： 精度は**91.17%**に達し、最新のトランスフォーマーベースの手法と高いレベルで競合し続けました。
• トークンの30%を保持した場合（70%をカット）： モデルは**91.00%**の精度を維持し、依然として強力でした。
• わずか10%のトークンを保持した場合（90%をカット）： 画像データの90%を捨て去ったとしても、モデルは依然として**91.13%**の精度を達成しました。

視点を変えて比較すると、最も高度な既存の手法（S2D*やBTNなど）は、通常、ピーク時の精度が**92.57%付近に達します。SAEのトップスコアである91.17%は、最も重いモデルの絶対的なピークよりはわずかに低いものの、そのトレードオフは絶大です。最大90%のトークンを破棄することで、SAEは計算コストを最大90%**削減できるのです。

論文では、「完全な顔の情報」が必要であるという考えに対し、明確に反論しています。彼らは、「全体像」のアプローチは非効率であり、特定の識別的な領域に焦点を当てることが、単なる近道ではなく、よりスマートなやり方であることを示しています。

なぜこれが重要なのか

この発見の素晴らしさは、それを実行するためにスーパーコンピュータを必要としない点にあります。データの90%を捨てても精度をほとんど損なわないことを証明することで、研究者たちは、顔の感情認識を「エッジ」向けに軽量化する道筋を示しました。これは、将来のアプリがスマートフォンやスマートウォッチ、あるいは小さなロボット上で動作し、バッテリーを消耗したりクラウドへの接続を必要としたりすることなく、瞬時にあなたの感情を理解できることを意味します。

著者たちは、彼らの手法である「スパース・アテンション・トゥ・エモーション」は、堅牢かつ効率的なソリューションであると結論付けています。それは、感情を読み取るという特定のタスクにおいては、「少ないことは、より豊かなことである（Less is more）」ということを示唆しています。コンピュータにノイズを無視させ、信号（シグナル）に集中させることで、人間の感情を理解する、より速く、より安価で、よりアクセシブルなテクノロジーを構築できるのです。