技術的サマリー：PriorNet – 顔面動画からの事前知識誘導型エンゲージメント推定

1. 問題定義

顔面動画からのユーザー・エンゲージメント推定は、オンライン学習分析、バーチャル会議、ヒト・ロボットインタラクションなどのアプリケーションにおいて重要なタスクである。しかし、このタスクは実用的な条件下において、以下の 3 つの持続的な課題に直面している：

1. 不完全な顔面証拠： 現実世界の動画ストリームでは、ユーザーは視線をそらしたり、頭を回転させたり、フレームの一部から移動したりすることが多い。従来のパイプラインは、これらの「顔面欠落」イベントを前処理の失敗や除去すべきノイズとして扱う傾向があり、行動的に意味のあるシグナル（例：視線の逸れ）を失っている。
2. データ不足と過学習： エンゲージメントベンチマークは、現代の動画バックボーンと比較して規模が小さい。標準的なアプローチは、完全なファインチューニングや単純な特徴抽出に依存することが多く、過学習や堅牢な事前学習表現の上書きのリスクを伴う。
3. 主観的かつ曖昧なラベル： エンゲージメントの注釈は、しばしば粗く、主観的であり、プロトコルに依存する。標準的な分類目的関数は、これらのラベルに内在する曖昧性と不確実性を十分にモデル化できない。

本論文は、この分野における堅牢性は、モデルアーキテクチャのスケールアップに依存するか、あるいは堅牢性が暗黙的に現れることを期待するのではなく、パイプラインの補完的な段階でタスク関連の事前知識を明示的に注入することによって、より効果的に達成されると主張している。

2. 手法：PriorNet フレームワーク

PriorNet は、前処理、モデル適応、目的関数設計の 3 つの特定の段階で事前知識を注入する統合フレームワークである。

2.1 前処理：顔面欠落イベントの明示的モデリング

PriorNet は、顔検出が失敗したフレームを破棄するのではなく、それらを明示的なゼロフレームプレースホルダーに変換する。

• メカニズム： 動画は固定長のシーケンス（例：16 フレーム）にサンプリングされる。サンプリングされたフレームで顔検出器（ResNet-10 を搭載した OpenCV SSD）が顔を検出できない場合、そのフレームは削除されるのではなく、すべてゼロのテンソル（$0_{224\times224\times3}$）に置換される。
• 根拠： これにより入力シーケンスの時間的構造が保持される。モデルは、視線の逸れ、頭の回転、または遮蔽によって引き起こされる顔面の可視性欠如が、エンゲージメントに関する情報的な行動シグナルであるかどうかを学習し、それをデータ欠損として扱うことを回避する。

2.2 モデル適応：事前知識誘導型低ランク適応（Prior-LoRA）

小規模なデータセットでの過学習を避けながら、強力な事前学習済みバックボーンをエンゲージメント推定という特定のタスクに適応させるため、PriorNet はPrior-LoRAを採用する。

• バックボーン： このフレームワークは、マスク付きオートエンコーディングを通じて顔面動画の感情ダイナミクスで事前学習されたSVFAP（Self-supervised Video Facial Affect Perceiver）をバックボーンとして使用する。
• メカニズム： SVFAP の重みは凍結されたまま保持される。学習可能な低ランクの残差更新（$\Delta W$）が、選択された自己注意層のクエリ、キー、値の射入に挿入される。
• 効率性： このアプローチは、バックボーンのパラメータの1% 未満のみを学習可能にすることで、エンゲージメントに特化した時空間表現を確立し、事前学習された感情事前知識を保持しながら特定のタスクに適応させる。

2.3 目的関数設計：不確実性認識型学習

エンゲージメントラベルの曖昧さに対処するため、PriorNet はエビデンス学習と不確実性重み付け再重み付けを組み合わせる複合損失関数を利用する。

• ディリクレ・エビデンス項： モデルは各クラスに対するエビデンス（$e_i$）を出力し、ディリクレ分布をパラメータ化する。これにより、モデルは決定論的フレームワーク内でクラス選好と予測不確実性の両方を表現できる。損失にはデータ項と KL 発散正則化項が含まれる。
• 不確実性重み付けのフォーカル様項： 曖昧なサンプルに対する過剰な自信を持った学習を防ぐため、目的関数は総エビデンスが低い（不確実性が高い）サンプルに高い最適化重みを割り当てる。変調因子は、固定ハイパーパラメータではなく、サンプルの不確実性に基づいて動的に決定される。
• 結合目的関数： 最終的な損失は、エビデンス項、不確実性重み付け項、および安定化のための補助的なハードラベル交差エントロピー項を組み合わせる。

3. 主要な貢献

本論文は、以下の 5 つの主要な貢献を概説している：

1. 事前知識誘導型堅牢性フレームワーク： 前処理、適応、目的関数のレベルで事前知識を注入する統合アプローチ。
2. 明示的な顔面欠落モデリング： 検出失敗をゼロフレームプレースホルダーに変換し、欠落を情報的な証拠として扱う。
3. パラメータ効率型特化： 最小限の学習可能パラメータ（1% 未満）で SVFAP を適応させる Prior-LoRA の導入。
4. 不確実性認識型学習： 曖昧で主観的な監督データ向けに設計された、ディリクレ・エビデンスおよび不確実性重み付けの目的関数。
5. クロスデータセット検証： 4 つの異質なベンチマーク（EngageNet、DAiSEE、DREAMS、PAFE）およびコンポーネントレベルの消融実験における一貫した改善。

4. 実験結果

PriorNet は、それぞれのネイティブ評価プロトコルを使用して 4 つのデータセットで評価された。

• EngageNet： PriorNet は73.58%の精度を達成し、最も強力な先行結果（Ordinal ST-GCN の 71.24%）を2.34 パーセントポイント上回った。
• DAiSEE： PriorNet は69.06%の精度に達し、リストされた最良の先行結果（67.48%）を1.58 パーセントポイント上回った。
• DREAMS： PriorNet は重み付き F1 値0.515を達成し、最良の先行結果（0.434）から大幅に改善された。
• PAFE： PriorNet は重み付き F1 値0.780に達し、最も強力な先行結果（0.740）を0.040上回った。

消融実験：
EngageNet および DAiSEE におけるコンポーネント消融実験により、提案された 3 つのコンポーネントすべてが正の貢献をしていることが明らかになった。

• ゼロフレームプレースホルダーは、最大の単一コンポーネントの改善（例：EngageNet で +2.24%）を提供し、顔面欠落イベントを保持することが重要であることを確認した。
• Prior-LoRAと高度な目的関数は、より小さく一貫した改善を提供した。
• 完全なモデル（3 つすべてを組み合わせる）は最高性能を示し、これらの改善が単一の孤立した変更ではなく、これらの事前知識の補完的な相互作用から生じていることを示した。
• 診断分析： さらなる分析により、ゼロフレームプレースホルダーの恩恵は、顔検出失敗率が高くなるにつれて増加し、高欠落シナリオ（高欠落グループで精度 +7.1%）で最も顕著な改善をもたらすことが示された。

5. 意義と主張

本論文は、顔面動画エンゲージメント推定において、アーキテクチャのスケールアップのみよりも明示的な事前知識注入がより効果的な設計原理であると主張している。具体的には、PriorNet は以下のことを示している：

• 「欠落」データをノイズではなくシグナルとして扱うことで、堅牢性を向上させることができる。
• パラメータ効率型適応（Prior-LoRA）により、強力な事前学習済みバックボーンが過学習することなくエンゲージメントに特化できる。
• エンゲージメントラベルに内在する主観性を処理するためには、不確実性認識型の目的関数が必要である。

限界と謙虚さ：
著者は、彼らの発見が以下の点によって制限されていることを明示的に述べている：

• 検出器依存性： プレースホルダー機構は顔検出器の動作に依存しており、改善は行動シグナルと検出器の失敗パターンの両方を反映している可能性がある。
• プロトコルの異質性： 4 つのデータセットはラベルと分割において著しく異なるため、結果は単一の統一されたリーダーボードではなく、多様な設定における一貫した方向的改善を表している。
• 監督シグナル： 不確実性モデリングは、完全な注釈者投票分布ではなく、ハードラベル監督の下で行われている。

本論文は、エンゲージメント推定は「解決された」わけではないが、PriorNet は、欠落した視覚的証拠、限られた適応予算、および主観的な注釈という条件下で堅牢性を向上させるための方法論的に整合性の取れたフレームワークを提供すると結論付けている。