技術概要：Loki – ディフュージョンベースのポートレートアニメーションにおけるアーキテクチャではなく表現の選択

問題定義

ポートレートアニメーションは、単一の参照画像にドライバー動画クリップの表情と頭部ポーズを転写し、参照画像のアイデンティティを保持することを目的としている。実用的な課題は、ドライバーと参照が異なる個人である「クロスアイデンティティ・リエンアクトメント」にある。

現在の最先端のディフュージョンベースのシステムは、アイデンティティ、表情、ポーズのための個別に訓練されたモジュールを積み重ねることでこの課題に対処している。これらのシステムは通常、RGB シグナル（または音声）を条件として用いる。本論文は、RGB が画素レベルでアイデンティティ、ポーズ、表情を根本的に絡み合わせていると主張する。その結果、これらの積み重ねられたモジュールによる分離は構造的ではなく統計的なものとなり、ドライバーのアイデンティティが出力に漏洩したり、微細な表情の詳細が一般的な事前分布に向かって減衰したりするといった問題を引き起こす。さらに、これらの複雑なアーキテクチャは、大規模なトレーニングデータセットと膨大なパラメータ数を必要とする。

手法：Loki

Loki は、アーキテクチャの複雑さから表現の選択へのパラダイムシフトを提案する。RGB から特徴を分離することを学習する代わりに、Loki は、アイデンティティ、表情、ポーズの軸が構造的に独立しているパラメトリック顔モデル（FLAME）を条件としてディフュージョンバックボーンに与える。

1. ドライバーパス（表情とポーズ）

Loki は、FLAME パラメータを空間的なドライバーマップにラスター化し、これを表情と頭部ポーズの条件シグナルとして機能させる。このマップは、2 つの異なるチャネル群から構成される。

• 位置符号化（42 チャネル）: 正弦波位置符号化を用いて、FLAME メッシュ頂点の標準テンプレート空間座標を符号化する。これにより、各画素で顔のどの点が可視化されているかを特定する。重要なのは、これらの値がテンプレート空間から導出されるため、アイデンティティ不変である点である。同じ解剖学的点（例えば鼻の先）は、個人のアイデンティティに関わらず、常に同じ符号化を生成する。
• 表情変形（3 チャネル）: 中立な表情に対するメッシュ頂点の 3 次元変位ベクトル（$\Delta x, \Delta y, \Delta z$）を符号化する。これにより、顔がどのように移動したか（例えば、口角が伸びる、顎が下がるなど）を捉える。FLAME の表情基底はアイデンティティ基底と直交しているため、これらの変形はアイデンティティやポーズではなく、表情係数のみに依存する。

このドライバーマップは、軽量エンコーダによってダウンサンプリングされ、生成用 UNet に注入される。マップは構造的にアイデンティティ情報を含まないため、モデルはアイデンティティから表情を分離することを学習する必要がない。

2. アイデンティティパス

アイデンティティは、ディフュージョンバックボーン自身の事前学習済み特徴を通じて別々にルーティングされる。Stable Diffusion 2.1 の UNet の凍結コピーが参照画像を処理し、その自己注意特徴がキー・バリュー注入を介して生成用 UNet に注入される。これにより、専用の訓練済みアイデンティティアダプタや損失を必要とせず、バックボーンの既存の生成事前分布を活用してアイデンティティを維持する。

3. パラメトリック置換によるクロスアイデンティティ推論

特定のトレーニングデータなしでクロスアイデンティティ・リエンアクトメントを可能にする中核メカニズムはパラメトリック置換である。推論中、システムは以下の要素を用いてドライバーマップを構築する。

• 参照のアイデンティティ形状（$\vec{\beta}_{ref}$）とカメラ。
• ドライバーの表情（$\vec{\psi}_{drv}$）とポーズ（$\vec{\theta}_{drv}$）。

位置符号化チャネルがアイデンティティ不変であり、変形チャネルが表情のみに依存するため、生成されるドライバーマップは、異なる顔幾何学上に配置されているという点以外、モデルが同一アイデンティティのトレーニング中に観測したものと同じ構造的なものである。生成用 UNet は、トレーニングされたのと同じ順方向パスを実行し、実質的にドライバーの動きを参照の形状に転写する。

主要な貢献

1. 分離されたパラメトリック条件付け: 表情、ポーズ、アイデンティティのための個別の訓練済みモジュールを不要にするフレームワーク。ラスター化された FLAME 表現を使用することで、表情とポーズは単一の空間シグナルを通じて提供され、アイデンティティはバックボーンの事前分布によって処理される。これにより、推論パラメータ数は主要なディフュージョンベースラインと比較して**約 43%**削減される。
2. トレーニング効率: モデルは、ベースラインの数千時間に対して約 1.7 時間（1,496 倍少ない）の動画データでトレーニングされ、クロスアイデンティティ能力をパラメトリック置換を通じて純粋に実現し、クロスアイデンティティのトレーニングペアを必要としない。
3. 新しい評価指標: 既存の指標が動きの追跡を測定できないギャップに対処するため、パラメトリック顔モデルに基づきドライバーへの忠実度を直接測定する 2 つの指標を導入する。
   • Head Pose Follow (HPF): ドライバーと生成された頭部回転軌道間の測地線角度距離を測定する。
   • Expression Follow (HEF): ドライバーの表情をターゲットのポーズと形状に置換した際の、表情変形マップの画素ごとの差異を測定する。

結果

クロスアイデンティティ・リエンアクトメントの HDTF データセットでの評価：

• 動きの忠実度: Loki は提案された HPF および HEF 指標において、首位または共同首位を達成する。HEF は0.0828（低いほど良い）を達成し、HunyuanPortrait（0.0850）などの視覚駆動ベースラインを上回り、音声駆動手法（0.11–0.12）を大幅に上回る。
• 定性的性能: Loki は、ベースラインが頭部の回転不足や表情振幅の中等度事前分布への減衰傾向を示すのに対し、大きな頭部回転、広い口の開き、非対称な表情をより高い忠実度で再現する。
• リソース効率: Loki は 1.77B パラメータで 10,649 クリップ（約 1.7 時間）でトレーニングされるのに対し、主要なベースラインは 2.18B–3.11B パラメータで 166,000 クリップ以上（最大 2,543 時間）でトレーニングされる。
• アブレーション研究: ラスター化（生ベクトルの使用）または位置符号化チャネルを除去すると、クロスアイデンティティ性能が著しく低下し、空間的帰納バイアスとアイデンティティ不変の座標系が重要であることを確認する。

意義と限界

本論文は、最近のポートレートアニメーションシステムのアーキテクチャ的複雑さは、独立した軸を持つパラメトリックモデルを条件とするという表現の選択に置き換えられると主張する。このアプローチにより、クロスアイデンティティ・リエンアクトメントは学習された能力ではなく、係数置換として自然に現れる。

しかし、著者はシステムの限界について慎重である。

• FLAME 依存性: 条件付けは、基盤となる FLAME フィットの忠実度によって制限される。モデルの基底外の表情、遮蔽された顔、またはフィットの失敗は、ドライバーマップに直接伝播する。
• 画素指標: 本システムは、RGB 条件付きベースラインと比較して、従来の画素整合指標（PSNR、SSIM、LPIPS）で低い順位となる。著者は、画素指標がグランドトゥルースのフレーミングを保持するシステムを評価するのに対し、Loki のドライバーへの忠実な追従は、画素指標が罰するポーズや表情のバリエーションをもたらすためであると帰結する。
• 将来の課題: アイデンティティの絡み合いを再導入することなく画素指標のギャップを埋めることが、将来の研究の方向性として特定されている。