PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

技術要約：顔の表情認識におけるニューラルネットワークのパーソナライズ化のためのPriorProbe

問題提起
人工知能を個々のユーザーに適応させることは、パーソナライズされた意思決定において極めて重要であるが、個別の特有の行動を捉えることは依然として大きな課題である。最先端の深層ニューラルネットワーク（DNN）は、平均的な人間の行動を予測することはできるが、個人の知覚的判断、特に人間間の変動性が高い微妙または曖昧な表情に関する判断を捉えることには苦慮している。

形式的には、顔の表情認識はベイズ推論としてモデル化できる：$P(e|f) \propto P(e)P(f|e)$。ここで、$P(e)$ は感情状態に対する個人の事前信念であり、$P(f|e)$ は感情 $e$ が与えられたときに観測される表情 $f$ の尤度である。刺激が曖昧な場合、尤度項は情報を与えないものとなり、事前の $P(e)$ における個人の違いが推論を支配する。既存のDNNパーソナライズ手法は、2つの根本的な障壁に直面している：

1. データの希少性： 個人のレベルでの学習は、大規模で代表的なデータセットを必要とするため、コストが高く、実行不可能であることが多い。
2. モデルの劣化： 希薄でノイズの多い個人データでDNNを微調整すると、過学習や学習済み表現の破滅的忘却のリスクが生じる。

さらに、事前の抽出を目的とした従来の認知科学的手法は、それらを一意に特定できなかったり、尤度関数を自由パラメータまたは任意の写像として扱うことで系統的なバイアスを導入したりすることがある。

手法
著者らは、MCMCP（Markov Chain Monte Carlo with People）に基づいた新しい抽出アプローチであるPriorProbeを提案する。パラメータレベルのパーソナライズ（例：重みの微調整）とは異なり、PriorProbeは、ニューラルネットワークの重みを変更することなく、推論空間に情報を与えるための、きめ細かく個別の認知的な事前分布と尤度を回収する。

この手法は、以下の3つのコアコンポーネントで構成される：

1. DistFace（解離させた情動・アイデンティティ空間）：
   偏りのないサンプリングを可能にするため、著者らは顔の情動（affect）を顔のアイデンティティ（identity）から解離させた制御された生成空間を構築した。

   • アーキテクチャ： 以下を含むハイブリッド変分オートエンコーダ（VAE）：
     • エンコーダ： 3つの学習済みブランチから特徴量を抽出する：ResEmoteNet（表情）、FMAE-IAT（アクションユニット、アイデンティティ・アドバーサリアル）、およびArcFace（アイデンティティ）。
     • 潜在空間： これらの特徴量は、異なるサブ潜在空間（情動のための $V_{af}$、アイデンティティのための $V_{id}$）にマッピングされる。
     • デノイジング： デノイジング・オートエンコーダが、128次元の情動空間を、効率的なサンプリングのための16次元の純粋な情動空間へと圧縮する。
   • 学習： 再構成損失、アイデンティティ保持損失、および情動保持損失を用いてBU-4DFEデータセット上で学習され、情動ブランチが表情を駆動し、アイデンティティブランチがアイデンティティを駆動することを保証する。

2. PriorProbe 抽出手順：
   PriorProbeは、ヒューマン・イン・ザ・ループを用いたブロック・メトロポリス・ヘイスティングス・アルゴリズムを用いて、16次元の情動空間内で動作する。これは、個人の尤度 $P(f|e)$ と事前分布 $P(e)$ を共同でサンプリングするために、2種類の試行を交互に行う。

   • 顔試行（Face Trials）： 参加者は特定の感情カテゴリ $e$ と、2つの顔の選択肢（$f, f'$）を見せられる。彼らは、そのカテゴリを最もよく表している顔を選択する。サンプリングを加速させるため、「ゲートキーパー（Gatekeeper）」であるResEmoteNetによって、ターゲットとなるカテゴリに属する可能性が高い顔が提案される**独立メトロポリス・ヘイスティングス（IMH）**スキームが使用される。
   • カテゴリ化試行（Categorization Trials）： 参加者は顔 $f$ と、2つの感情カテゴリ（$e, e'$）を見せられる。彼らは最適な記述を選択する。カテゴリの提案分布も、ゲートキーパーによってガイドされる。
   • 回収： 得られたマルコフ連鎖は、結合分布 $\pi(f, e)$ に収束する。個人の事前分布 $P(e)$ は、サンプリングされたカテゴリを $1/G_e(e|f)$ で再重み付けすることによって回収される。ここで $G_e$ はゲートキーパーの確率割り当てであり、提案バイアスを効果的に補正する。

3. 統合と評価：
   回収された個人の事前分布は、状態の良いDNN（ResEmoteNet）と共に、推論空間内で統合される。システムは、新規かつ曖昧な刺激（DNNの信頼度が $<0.25$ の画像）の分類タスクを用いて評価される。目標は、個人の事前分布を組み込むことが、グラウンドトゥルースのラベルに対する性能を低下させることなく、曖昧な刺激に対する人間の分類との一致を改善するかどうかを判断することである。

主な貢献

• PriorProbeフレームワーク： 大規模な個人データや重みの変更を必要とせず、きめ細かな個別の精神的表現（事前分布と尤度）を効率的に回収するための、一般的で解釈可能な手法。
• DistFaceデータセット/モデル： 顔の情動をアイデンティティから解離させた生成モデルを提供し、顔の表情タスクにおいてバイアスのない事前分布の抽出に不可欠な「純粋な情動空間」を提供する。
• 実証的検証： 個人の選択を予測する上で、ニューラルネットワーク単体や他の事前分布源を用いるネットワークよりも、回収された事前分布によって情報を与えられたニューラルネットワークの方が優れた性能を示すことを示す、包括的な人間実験。

結果
55人の参加者を対象とした実験において、著者らは7つの基本感情に関する個人の事前分布を回収した。

• 個人差： 回収された事前分布は参加者間で大幅な不均一性を示し、個人が感情カテゴリに関して明確に異なる認知バイアスを持っていることを裏付けた。
• 性能向上： PriorProbe由来の事前分布をニューラルネットワークに統合することで、曖昧な刺激に対する個人の分類を予測する上で、大幅な性能向上が得られた。
• 堅牢性： パーソナライズは、非曖昧な（グラウンドトゥルースの）刺激に対するモデルの推論性能を低下させることなく、個人の判断との一致を向上させた。

意義と主張
本論文は、ディープニューラルネットワークをパーソナライズするための、一般的、解釈可能、かつ堅牢なフレームワークを提供すると主張している。パラメータレベルの適応から認知的な事前分布の回収へと焦点を移すことで、PriorProbeはデータの希少性と破滅的忘却の限界に対処する。著者らは、このアプローチが、個人の知覚的差異が顕著であり標準的なモデルが捉えきれない顔の表情認識のような領域において、真にパーソナライズされた支援を提供するデジタルシステムを開発するための、原理的な経路を提供すると断言している。本研究は、個人のレベルの認知的な事前分布が正確に抽出され、特定のユーザーに対するAIシステムの予測力を高めるために効果的に利用できることを示している。