技術要約：Identity-Consistent Expression Fields (ICEF)

問題提起

本論文は、表情合成における少数の画像を用いた動的Neural Radiance Fields (few-shot dynamic NeRF)における決定的な限界に対処している。既存の手法（例：FDNeRF）は、少数の画像から3D顔を再構成し、表情編集を可能にすることに成功しているが、通常、ターゲットとなる表情パラメータによって条件付けられた単一の学習済み特徴量ボリュームをワーピング（変形）することに依存している。

著者らは、このアプローチには、アイデンティティ固有の詳細（皮膚の質感や微細な幾何学的構造など）を保持するための明示的な制約が欠けていることを指摘している。特に、モデルが学習セットから離れた表情（すなわち、外挿時）へと駆動される際に、この問題が顕著になる。その結果、ワーリングされた特徴量ボリュームが「ドリフト」し、意図した表情の変化とともにアイデンティティ固有の属性まで不適切に変えてしまう。これは、特に未知の表情への外挿において、アーティファクトやアイデンティティの一貫性の喪失を引き起こす。

手法：ICEFフレームワーク

提案されている**Identity-Consistent Expression Fields (ICEF)**フレームワークは、「明示的な分離」、「標的化された正則化項」、「信頼度重み付きワーピング」という3つのコアメカニズムを通じてこの問題に対処する。

1. 静的・動的ディスエンタングルメント（分離）

単一の絡み合った特徴量ボリュームをワーリングする従来の手法とは異異なり、ICEFは放射輝度場を2つの異なるコンポーネントに分解する：

• 静的カノニカル場 ($F_{static}$): 中立的な（カノニカルな）空間におけるアイデンティティ固有の外観と幾何学をエンコードする。極めて重要な点として、この場は変形された座標と視線方向のみを受け取り、生の表情パラメータは決して受け取らない。これにより、アイデンティティの詳細が表情によって直接変調されないことを保証する。
• 動的変形場 ($D_\phi$): 表情パラメータ ($\beta_{exp}$) に基づいて、観測空間の点をカノニカル空間へとマッピングする。すべての表情依存の変動はこの明示的な変形場を通じて流れることが強制される。

レンダリング方程式は以下のように定義される：
$$c(x, d), \sigma(x) = F_{static}(D_\phi(x, \beta_{exp}), d)$$

2. アイデンティティ保持正則化

変形場がアイデンティティ固有の領域を変化させるのを防ぐため、ICEFは粗い顔領域マスク ($M(x)$) に基づく正則化項 ($L_{id}$) を導入する。

• メカニズム: プロジェクションされた顔のランドマークから導出されるこのマスクは、表情に関連性の高い領域（口、目、眉）と、表情に関連性の低い領域（眉から離れた額の皮膚、頬、鼻筋）を特定する。
• 制約: 正則化項は、低関連領域における変形量をペナルティとして課す：
  $$L_{id} = \mathbb{E}_x [(1 - M(x)) \cdot \|D_\phi(x, \beta_{exp}) - x\|^2]$$
  これにより、ネットワークは非表情領域におけるアイデンティティ固有のカノニカルな幾何学および外観を実質的に変化させないように促される。

3. 信頼度重み付きワーピング

学習分布から遠い表情への外挿時に発生するアーティファクトを軽減するため、ICEFは信頼度重み付きブレンディングメカニズムを採用している：

• 外挿距離 ($\delta$): ターゲットとなる表情と、観測されたfew-shotの表情との間の最小距離として計算される。
• 信頼度重み ($\kappa(\delta)$): $\exp(-\delta/\lambda)$ と定義され、ターゲットの表情が学習データから離れるにつれて減少する。
• ブレンディング: 最終的な変形は、フルキャパシティの学習済みネットワーク ($D_\phi$) と、より低容量で滑らかな線形ベースライン ($D_{lin}$、一次テイラー近似) のブレンドである：
  $$D_{final} = \kappa(\delta) \cdot D_\phi + (1 - \kappa(\delta)) \cdot D_{lin}$$
  これにより、大きく外挿された表情に対しては、モデルが積極的すぎる（信頼度の低い）ワーリングを避けるために、より滑らかで安全な線形変形により依存することを保証する。

主な貢献

本論文は、以下の4つの主要な貢献を述べている：

1. 明示的なディスエンタングルメント: 単一の特徴量ボリュームをワーリングする従来のアプローチとは対照的な、静的アイデンティティ／動的表情の分解。
2. アイデンティティ保持正則化: 表情に関連する顔領域にのみ表情条件付きの変形を制限する制約であり、外挿時のアイデンティティ・ドリフトを直接解決する。
3. 信頼度重み付きワーピング: ターゲットの表情と観測されたfew-shot分布との近接性に基づいて、変形容量を適応的にスケールさせるメカニズム。
4. 評価プロトコル: 外挿距離によって層別化された評価を行い、標準的なレンダリング品質指標（PSNR, SSIM, LPIPS）とともに、アイデンティティ一貫性指標（顔認識埋め込み類似度）を測定する新しいプロトコル。

結果と評価の主張

本テキストでは、数値的な結果を含む完全な実証研究を提示するのではなく、評価フレームワークを提案している。しかし、性能に関する具体的な期待を明確に述べている：

• 遠方外挿ティア (Far-Extrapolation Tier): 著者らは、ICEFの優位性がここで最も顕著になると予想している。信頼度重み付きメカニズムは、学習済みネットワークへの依存を減らし、より滑らかな線形フォールバックへと切り替える一方で、正則化が厳格に制約をかけることで、ベースラインよりもアイデンティティをより良く保持すると期待されている。
• 近傍外挿ティア (Near-Extrapolation Tier): ベースライン手法はすでに近傍の学習済み表情によって十分にサポートされているため、性能差はより緩やかになると予想される。
• 指標: 評価は、外挿距離の関数としてアイデンティティ・ドリフトを定量化するように設計されており、明示的なディスエンタングルメントが、特に困難なfew-shotかつ遠方外挿の条件下でアイデンティティ保持を改善するという仮説を立てている。

意義と限界

意義:
ICEFは、従来のfew-shot動的NeRF手法で見られる「アイデンティティ・ドリフト」という失敗モードを解決することを目指している。アイデンティティの外観を表情の変形から明示的に分離し、外挿に対するセーフガードを導入することで、本フレームワークは、限られたデータから一貫したアイデンティティを維持しながら、新しい表情をレンダリングするという特定の課題に対処している。

限界:
著者らは、正則化に使用される顔領域マスク ($M(x)$) が、学習された、あるいはアイデンティティ固有のセグメンテーションではなく、ランドマークから導出された粗い固定事前知識であることを認めている。したがって、あらゆる顔構造における表情関連領域を完全に捉えきれない可能性がある。論文では、$M(x)$ をモデルと共に共同学習するか、あるいはアイデンティティ固有の幾何学に基づかせて条件付けることが、将来的な洗練に向けた自然な方向であると示唆している。