FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

技術要約：FIELDS

問題提起
単眼式3D顔再構成は、単一の画像から3Dモルファブルモデル（3DMM）表現を推定することを目的としており、顔表情認識（FER）や感情理解に有用な、幾何学的に整合した表情コードを提供する。現在のパイプラインは大きな進展を遂げているが、その多くは画像レベルの自己教師あり学習（再構成の一貫性）を用いて訓練され、幾何学的な忠実度に基づいて評価されている。著者らは、このアプローチが学習された表情表現の「感情的な有用性（affective utility）」を必ずしも最大化するものではないと主張している。さらに、感情の教師あり学習と画像レベルの一貫性損失を素朴に結合すると、「強度増幅のショートカット（intensity-amplifying shortcuts）」を誘発する可能性がある。これは、感情の制約を満たすためにモデルが誇張された表情を生成することを促し、結果として幾何学的な妥当性を損なうものである。このギャップを埋めようとする既存の手法は、弱い画像レベルの感情一貫性損失や外部の学習済み感情モジュールに依存することが多く、感情の捕捉と妥当な画像のレンダリングとの間でトレードオフが生じる可能性がある。

手法：FIELDS
本論文では、感情的な有用性と幾何学的な妥当性の間の緊張関係を解消するために設計された、タスク駆動型フレームワークであるFIELDS（Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision）を提案する。FIELDSは、ハイブリッドな2D/3D教師あり学習を導入することで、TEASERの自己教師あり単眼3D顔再構成パイプラインを拡張したものである。

アーキテクチャは以下で構成される：

1. エンコーダ： FLAMEベースのエンコーダであり、形状（$\beta$）、表情（$\Psi$）、ポーズ（$\Theta$）のパラメータに加え、外観トークンを予測する。
2. ニューラルシンセサイザ： トークン誘導型のシンセサイザであり、FLAMEメッシュ、背景マスク、および外観トークンから画像を再構成する。
3. 補助感情ヘッド： FLAMEパラメータから直接、連続的な価数・喚起度（valence-arousal）スコアおよび離散的な感情カテゴリを共同で予測するように訓練される軽量なMLP。

核心となる革新は、ハイブリッド教師あり戦略にある：

• スキャン由来の表情アンカリング： 表情の幾何学的な安定性を確保し、強度の増幅を防ぐため、本フレームワークは限定的な「フィット由来」のターゲットを使用する。具体的には、FLAMEの表情パラメータをBP4D 3Dスキャンデータに適合させる。これらのスキャン由来のパラメータは、平均二乗誤差（MSE）損失（$L_{3D-expr}$）を介して、表情エンコーダに対する直接的なアンカーとして機能する。
• パラメータ空間への直接的な感情教師あり学習： 画像レベルの感情一貫性に頼る代わりに、FIELDSは3DMMパラメータ空間内で直接適用される補助感情認識ヘッドを導入する。このヘッドは、回帰（価数・喚起度用）と分類（離散感情用）の損失（$L_{emo}$）を組み合わせて訓練される。これにより、レンダリングされた画像と実画像の知覚的な比較に依存することなく、表情コードが感情に対して情報量豊かになるよう促す。
• 2D一貫性： 再構成された画像が視覚的に妥当であり続けることを保証するため、標準的な2D一貫性損失（フォトメトリック、知覚的、およびランドマークベース）を保持する。
• 正則化： 学習された多様体が安定した状態を維持することを保証するため、MICAと整合した事前学習済みのベースモデルが形状および表情パラメータの正則化に使用される。

訓練手順は、エンコーダ・パス（2D一貫性、3材由来の表情アンカリング、および感情の教師あり学習の最適化）と、シンセサイザ・パス（2D一貫性とサイクル一貫性のためにシンセサイザのみを最適化）を交互に行い、一方のコンポーネントが他方のエラーを補完することを防ぐ。

主な貢献

1. フレームワーク： 自己教師ありの画像レベルの一貫性と、スキャン由来の表情アンカリング、および3DMMパラメータ空間に直接適用される共同訓練型の感情認識ヘッドを組み合わせた、タスク駆動型フレームワークとしてのFIELDSの提案。
2. スキャン由来のアンカー： 直接的なFLAME表情パラメータの教師あり学習のための限定的なアンカーとして、BP4Dデータセットからスキャンベース（フィット由来）の表情ターゲットを導出。これにより、強度の増幅によるショートカットのリスクを軽減する。
3. 評価： FIELDSが、保持された（held-out）データセットおよびドメイン外のベンチマークにおいて、幾何学的な忠実度を競争力のあるレベルで維持しながら、感情予測（離散および連続の両方）を改善することを実証する包括的な評価。

結果
著者らは、EMOCA、SMIRK、TEASERなどのベースラインと比較しながら、複数のベンチマークでFIELDSを評価している。

• 感情的な有用性： AffectNetデータセットにおいて、FIELDSは離散感情分類（精度56.0%）および価数・喚起度回帰（0.737 V-CCC）の両方で最先端の結果を達成し、従来のメソッドを上回った。
• 幾何学的な妥当性： BP4Dデータセット（保持された被験者を使用）において、FIELDSは再構成中心のベースラインと同等の競争力のある3D幾何学的忠実度（頂点およびキーポイント誤差）を維持している。決定的なことに、直接的な3D教師あり学習を欠くベースラインと比較して、スキャン由来の表情および顎パラメータとの一致を大幅に改善した（FLAMEパラメータのMSEを約5.9から約0.17に低減）。
• 外部検証： RAF-DB（表情パラメータのみを用いたKNNプロービングを使用）において、FIELDSは優れた転移性（精度73.0%）を示した。MultiREX（ドメイン外の幾何学）においても、既存のベースラインと同等の性能を維持しており、感情的な利得が一般的な幾何学的品質を犠牲にしていないことを確認している。
• 定性的分析： 視覚的な比較により、FIELDSは、過度に平滑化されたり誇張されたりしやすいベースラインと比較して、入力と一貫した局所的な幾何学（例：口角の微妙な形状、下顔面の緊張）をより良く保持していることが示された。

意義と主張
本論文は、FIELDSが、野生環境（in the wild）において堅牢で、ダウンストリームの感情コンピューティングアプリケーションに有用な、FER準備完了の3DMM表現を得るための実用的な経路を提供すると主張している。スキャン由来のアンカーと直接的な感情ラベルを用いて3DMMパラメータを明示的に教師あり学習することで、本フレームワークは、感情の捕捉と妥当な画像のレンダリングとの間の伝統的なトレードオフを回避する。著者らは、彼らのアプローチが、幾何学的な妥当性を維持しながら、摂動要因（ポーズ、照明）に対して鈍感で、基礎となる顔筋の動きとより良く整合した、感情情報の豊富な表情表現を学習すると断言している。

論文は、今後の課題として、ビデオFERのための時間的モデリング、より広範なデータセットに対する堅牢性を高めるためのマルチロス重み付け戦略の探索、および利用可能な場合のアクションユニット（AU）のような追加の構造化事前知識の組み込みを挙げ、控えめに結論づけている。