技術要約：アクションユニットから感情へ

問題提起

顔表情認識（FER）は、照明の変化、ポーズの違い、アノテーション済みデータの不足といった実用的な課題によって依然として制約を受けている。既存のディープラーニングモデルは、クロスドメインの適応性の低さ、過学習、および解釈性の不足に悩まされることが多い。さらに、マルチモーダル大規模言語モデル（MLLM）は高度な意味理解を提供する一方で、微細な顔の幾何学的変形やマイクロエクスプレッションを感知する感性に欠ける場合が多い。従来の「ビデオ・ラベル」信号を用いたMLLMのエンドツーエンドのファインチューニングは、感情表現の基礎となる微細な中間表現（アクションユニット：AU）を軽視しがちであり、その結果、推論チェーンが最適化されない。

手法

本論文では、低レベルの顔知覚と高レベルの感情意味論を橋渡しするために設計された、決定レベル融合を伴う2段階ファインチューニング・フレームワークを提案する。

1. 2段階プログレッシブ・ファインチューニング

核となる戦略は、FERを2つの連続した学習段階に分解することで、「三重のデカップリング（分離）」を実現することである。すなわち、知覚と推論の分離、ドメイン不変の知識とドメイン固有の知識の分離、そして物理的な観察と感情ラベルの分離である。

• ステージ1：AU検出ファインチューニング（知覚）

  • データ： フレームレベルのアクションユニット（AU）アノテーションを提供するCAS(ME)³データセットを利用する。
  • タスク： AU認識を視覚的質問応答（VQA）タスクとして再定式化する。モデルに対し、顔の動作符号化システム（FACS）の事前知識を活用して、視覚的入力に基づいて活性化しているAUを特定するよう指示する。
  • モデル： Qwen3-VL-32B-Instructマルチモーダル大規模モデルを用い、事前学習された視覚・意味的知識を保持しつつAU検出を学習するために、**LoRA（Low-Rank Adaptation）**を使用してパラメータの小さなサブセット（QueryおよびValue行列）のみを更新する。
  • 目的： 微細な顔のマイクロムーブメントに対する、ドメインに依存しない堅牢な知覚能力を確立すること。

• ステージ2：表情認識ファインチューニング（推論）

  • データ： ステージ1の重みを用いて、FER-2013データセット（感情ラベルはあるがAUアノテーションはない静止画像）へと移行する。
  • タスク： ステージ1で初期化されたモデルを、検出されたAUの組み合わせを感情カテゴリへとマッピングするようにさらにファインチューニングする。出力形式は、モデルがAUから最終的な感情ラベルへと推論することを要求し、VQA構造を維持する。
  • 戦略： 新しい感情認識用のLoRAアダプターのみを最適化し、視覚エンコーダとステージ1のアダプターは、AUから感情への推論チェーンを保持するために凍結したままにする。

2. 決定レベル融合

微細な幾何学的変形を感知することにおける純粋な大規模モデルの限界に対処するため、本フレームワークは、ファインチューニングされたQwen3-VLと、特化した軽量CNNベースのFERモデルであるOpenFace 3.0を統合する。

• メカニズム： 2つのモデルの確率分布（$P_{VLM}$ および $P_{OpenFace}$）を、加重線形補間によって融合する：
  $$P_{final} = \alpha \cdot P_{OpenFace} + (1 - \alpha) \cdot P_{VLM}$$
• 根拠： OpenFace 3.0は局所的な顔のランドマークや幾何学的特徴に対する感度を提供し、一方でファインチューニングされたMLLMは、高レベルの意味理解と文脈的推論を提供する。

主な貢献

1. 大規模モデル・ベースラインの検証： Qwen3-VL-32B-Instructのゼロショットおよびフューショット性能を体系的に評価し、強力なベースラインを確立した。
2. AU誘導型2段階ファインチューニング： モデルがまずCAS(ME)³でAU検出を学び、その後にFER-2013で感情へのマッピングを行うというカリキュラム学習パラダイムを導入した。これにより、モデルはAU推論能力を獲得し、「AU推論を先行させ、次に感情を予測する」という解釈可能なチェーンを通じて推論することが可能になる。
3. ヘテロジニアス（異種）モデルの協調： 大規模マルチモーダルモデルと特化した小型モデル（OpenFace 3.0）の間の決定レベル融合の実現可能性を実証し、それらの相補的な強みを検証した。
4. 堅牢な実証的パフォーマンス： 提案されたフレームワークが、非ファインチューニングのベースラインやスタンドアロンの特化型モデルを大幅に上回り、特にマイノリティクラスの再現率（Recall）を向上させ、解釈性を高めることを示した。

実験結果

実験は、精度（ACC）、適合率（Precision）、再現率（Recall）、F1スコアを含む指標を用いて、FER-2013テストセットに対して行われた。

• ベースラインとの比較性能：
  • ファインチューニングされたQwen3-VLは**66.73%**の精度を達成し、非ファインチューニングのベースライン（58.73%）から8ポイント向上した。
  • 融合モデル（Qwen3-VL + OpenFace 3.0）は**67.37%**の精度を達成した。
  • 従来のCNNと比較すると、融合モデルはGoogLeNet（67.04%）をわずかに上回るが、ResNet-50（69.33%）、VGG-16（68.75%）、DenseNet（69.38%）には及ばない。
  • 全体的な精度では最適な特化型CNNには及ばないものの、融合モデルは加重適合率（Weighted Precision）において69.47%を示し、ResNet50（69.84%）に匹敵する優れた性能を発揮した。
• 融合の利点：
  • 融合モデルは、純粋な大規模モデル（58.64%）と比較してマクロ再現率（Macro-Recall）が62.71%へと大幅に向上しており、マイノリティクラス（嫌悪、恐怖など）の捕捉能力が高いことを示している。
  • OpenFace 3.0単体（精度48.02%）と比較して、結合フレームワークは精度を19.35ポイント向上させた（相対的な改善率は40.3%）。
• 解釈性： モデルは、特定のAUの活性化（例：AU4, AU7）を感情判断に結びつける自然言語による説明を生成することに成功し、「ブラックボックス」型のCNNには存在しない追跡可能な推論チェーンを提供した。

意義と主張

本論文は、提案された2段階ファインチューニング戦略が、大規模視覚モデルが通常苦戦するような、微細な顔の幾何学的変形や低強度の表情に対する識別的な特徴を効果的に引き出すことを主張している。

著者らは、純粋な大規模視覚モデルは強力な高レベルの意味理解を備えている一方で、微細な顔の変形を感知することにおいて固有の限界があるとしている。提案手法は、以下の方法でこれに対処する：

1. 解釈性の向上： 中間表現としてAUを使用することで、追跡可能なモデル出力を可能にし、信頼性を高める。
2. 堅牢性の向上： 決定レベルの融合が、大規模モデルにおける微細な空間的事前知識の欠如を補完し、マイノリティクラスに対する性能を大幅に向上させ、ヘッドクラスへのバイアスを軽減する。
3. 新たな経路の提示： 本研究は、MLLMと特化した幾何学モデルの相補的な強みを活用することで、極めて堅牢で解釈可能なFERシステムを構築するための技術的パラダイムを提示しており、これはどちらのモデルのスタンドアロン推論よりも大幅な利点を示す実証結果によって裏付けられている。

著者らは、現在の精度はまだ絶対的な最高水準の特化型CNNを超えてはいないものの、提案されたフレームワークは、予測の確信度、アーキテクチャの解釈性、およびアフェクティブ・コンピューティングにおける相乗的な大規模モデル応用の可能性において、明確な優位性を示していると結論付けている。