💻 computer science

AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References

AnyID は、顔やポートレート、動画など多様な視覚参照を統合し、主参照と差分プロンプトを用いて高忠実度かつ属性レベルの制御性を備えた汎用的なアイデンティティ保持動画生成を実現するフレームワークです。

原著者： Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

公開日 2026-03-27

📖 1 分で読めます☕ さくっと読める

原著者： Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AnyID：あなたの「あの人」を、どんな状況でも完璧に再現する魔法の動画生成システム

この論文は、**「AnyID（エニィアイディ）」という新しい AI 技術について紹介しています。一言で言うと、「好きな人（有名人や自分自身）の動画を、どんな衣装や背景に変えても、その人らしさを完璧に保ちながら作れる」**という画期的なシステムです。

これまでの技術には大きな「壁」がありましたが、AnyID はそれを乗り越えました。わかりやすく、3 つのポイントで解説します。

1. 従来の問題：「1 枚の写真」では不十分だった

これまでの動画生成 AI は、**「1 枚の写真」を見て、その人を動画にしようとしていました。
これは、「1 枚の顔写真から、その人の全身の骨格や、笑った時の表情の変化、癖まで全部想像して作れ」**と言われているようなものです。

例え話：
想像してみてください。友人の「正面からの写真」だけを見て、その友人が「横を向いて、大笑いしながら走っている動画」を作れと言われたらどうでしょう？
AI は「あ、たぶんこうだろうな」と推測するしかありません。その結果、**「顔が別人みたいになった」「笑った瞬間に顔が崩れた」**といった失敗が起きやすかったのです。これを専門用語では「問題が未解決（ill-posed）」と呼びます。

2. AnyID の解決策：「自由な参考資料」を全部使う

AnyID は、「1 枚の写真」だけでなく、「顔写真、全身写真、短い動画クリップ」など、何でも好きな資料を混ぜて使えるようにしました。

例え話：
料理を作る時に、「1 枚のレシピ写真」だけで料理を作るのではなく、**「完成品の写真」「材料のリスト」「作り方の動画」を全部見せて、「この材料で、この手順で作ってね」と頼むようなものです。
AI は、複数の資料から「その人の 3 次元の顔の形」や「表情の変化の癖」**を完璧に理解できるようになりました。だから、どんな角度や動きでも、その人らしく見えます。

3. 「差分（Difference）」で指示する：魔法の言葉

ここが最も面白い部分です。AnyID は、「何を変えたいか」だけを伝えるという新しい指示方法を使います。

例え話：
従来の AI は、「赤い服を着て、海辺で走って、背景は夕焼けで…」と最初から全部指示する必要がありました。
しかし、AnyID は**「主役（メインの参考写真）」を基準にします。そして、「服だけ青いジャケットに変えて、背景だけ雪山にして」という「変更点だけ」を伝えます。
「言われていないこと（髪型や顔の形など）」は、「元のまま維持してね」と自動的に判断されます。これにより、「服は変えたのに、なぜか顔も別人に変わってしまった」**といった失敗が防げます。

さらに、人間の「好み」を学習する

AnyID は、ただ機械的に学習するだけでなく、「人間がどちらの動画が好きか」を評価して、さらに上手くなるように設計されています。

例え話：
料理人が味見をして、「もっと塩味が欲しい」「食感が良い」と教えてもらうように、AI も**「この動画の方が、その人の雰囲気が出ている」「この動画の方が、指示した動きが自然だ」という人間の評価を何度も繰り返し、「人間が満足するレベル」**まで磨き上げます。

まとめ：どんなことができるの？

AnyIDを使えば、以下のようなことが簡単にできます。

映画制作： 俳優の顔を、過去の映像や写真から読み込み、新しい映画のシーンに登場させる。
SNS 動画： 自分の写真や動画をアップロードするだけで、アニメのキャラクターになったり、歴史的な場面に登場したりする動画が作れる。
教育・エンタメ： 好きな有名人が、どんなシチュエーションでも自然に話しかけてくる動画を作る。

「1 枚の写真」の限界を乗り越え、複数の資料と「何を変えたいか」だけを伝えることで、AI はまるで魔法のように、 その人らしさを保ったまま、自由な世界観の動画を作り出せるようになりました。

これが、この論文が伝えたい「AnyID」のすごいところです。

AnyID: 任意の視覚的参照から超忠実な汎用アイデンティティ保持ビデオ生成

この論文は、AnyID と呼ばれる新しいビデオ生成フレームワークを提案しています。AnyID は、複数の自由形式の視覚的参照（顔画像、ポートレート、動画など）を入力として受け取り、超忠実（Ultra-Fidelity）かつ高度に制御可能なアイデンティティ保持ビデオを生成することを目的としています。

以下に、論文の技術的な要約を問題定義、手法、主要な貢献、結果、意義の観点から日本語で詳述します。

1. 問題定義 (Problem)

既存のアイデンティティ保持ビデオ生成手法には、以下の根本的な限界がありました。

単一参照への依存: 従来の手法の多くは、1 つの顔画像（単一の参照）のみを入力として使用するように設計・最適化されています。
不適切な問題設定 (Ill-posed Problem): 1 つの 2D 静止画から、3D 顔構造や表情の動的パターン、多様な視点からの情報を推測することは本質的に曖昧です。このため、生成されたビデオにおいて、参照画像とは異なる角度や表情になった際に、アイデンティティの崩れ（Identity Drift）やアーティファクトが発生しやすいという問題がありました。
創造性の制限: ユーザーが保有する多様な写真や動画コレクション（異なる角度、照明、背景のもの）を柔軟に活用できず、創造的な表現が制限されていました。

2. 手法 (Methodology)

AnyID は、拡散トランスフォーマー（DiT）を基盤とし、以下の 4 つの主要な技術的要素を組み合わせています。

2.1. スケーラブルなオムニ参照アーキテクチャ (Scalable Omni-Referenced Architecture)

多様な入力形式の統合: 顔画像、ポートレート、動画など、異種混合（Heterogeneous）の視覚参照を単一の整合的な表現に統合します。
VAE の活用: 従来の外部の専門エンコーダー（顔エンコーダーや CLIP など）に依存せず、事前学習済みの Variational Autoencoder (VAE) 自体を拡張して使用します。これにより、アーキテクチャの単純化と多様な入力形式への高い互換性を実現しています。
時系列結合: 複数の参照画像・動画を時系列次元で連結し、拡散モデルの入力条件として与えます。参照データには $t=0$ のタイムステップを割り当て（ノイズなし）、ターゲット動画には $t>0$ のタイムステップを割り当てることで、モデルが両者を区別して学習できるようにしています。

2.2. プライマリ参照に基づく生成パラダイムと差分プロンプト (Primary-Referenced Generation & Differential Prompt)

プライマリ参照 (Primary Reference): 複数の参照の中から 1 つを「プライマリ参照」として選定し、これを静的属性（髪型、服装、アクセサリーなど）の基準（アンカー）として使用します。
差分プロンプト (Differential Prompt): 従来の「全体のシーンを記述するプロンプト」ではなく、「プライマリ参照からターゲットへの変更点のみを記述するプロンプト」を採用します。
- 記述されていない要素はプライマリ参照から維持され、記述された要素のみが変更されます。
- これにより、複数の参照間で生じうるコンテキストの矛盾（照明やメイクの違いなど）を解消し、意図した属性のみを精密に制御可能にします。
- 実装では、VLM（Vision Language Model）で詳細な記述を生成し、LLM で類似度を計算して差分を抽出する 2 段階パイプラインを使用しています。

2.3. 人間中心の強化学習 (Human-Centric Reinforcement Learning)

DPO (Direct Preference Optimization) の適用: 従来の MSE 損失（画素単位の誤差）では捉えきれない、人間の知覚的な高品質さ（アイデンティティの忠実度やプロンプトの制御性）を最適化するために、強化学習を導入しました。
勝敗データセットの構築: 人間のアノテーターが「アイデンティティ忠実度」と「プロンプト制御性」の 2 つの軸に基づいて生成ビデオを比較評価し、優劣が明確なペア（Win-Lose Pair）を構築します。
このデータを用いて DPO を行い、モデルを人間の嗜好に最適化します。

2.4. 多参照データキュレーション (Multi-Reference Data Curation)

PortraitGala データセットを基に、1 つの ID グループからプライマリ参照、補助参照（顔、ポートレート、動画など多様な形式に変換）、ターゲット動画を自動構築するデータパイプラインを設計し、大規模な教師あり学習データを準備しました。

3. 主要な貢献 (Key Contributions)

タスク定義の革新: 単一参照ではなく、複数の自由形式の視覚参照（画像・動画の混合）を用いる新しいタスク定義を提案。
汎用アーキテクチャの提案: 外部エンコーダーに依存せず、VAE を活用して多様な入力形式を統合するスケーラブルな「オムニ参照モデル」を設計。
精密な制御手法: プライマリ参照を基準とし、差分プロンプトを用いて属性レベルの制御と不変性を両立させる生成パラダイムを確立。
人間中心の最適化: アイデンティティ忠実度とプロンプト制御性の 2 つの軸に特化した人間評価データに基づく DPO による微調整手法を導入。

4. 実験結果 (Results)

AnyID は、学術界および産業界の最先端モデル（ConsisID, FantasyID, Phantom, SkyReels-A2 など）と比較評価されました。

定量的評価:
- アイデンティティ忠実度: 複数の参照顔との平均コサイン類似度（Holi-Arc, Holi-Cur）で最高スコアを記録（Holi-Arc: 73.22%）。
- プロンプト制御性: 外見、動き、背景の各要素において、他モデルを大幅に上回るスコアを達成（例：App. 86.56%）。
- 視覚品質: 静的・動的な品質評価でもトップクラスの結果。
定性的評価:
- 顔の角度や表情が変化しても、アイデンティティが崩れることなく忠実に再現される。
- 差分プロンプトにより、髪型や背景を変更しつつ、指定されていない要素（服装など）を完全に保持できる。
ユーザー調査:
- 20 名の参加者による比較評価において、アイデンティティ忠実度とプロンプト制御性の両方で 70% 以上の勝率を記録し、人間が好む結果を生成することが実証されました。
アブレーション研究:
- プライマリ参照・差分プロンプト設計、補助参照、強化学習の各コンポーネントが、それぞれアイデンティティの保持、動的な忠実度、細部の質感向上に不可欠であることを確認しました。

5. 意義と結論 (Significance)

AnyID は、アイデンティティ保持ビデオ生成における「単一参照の限界」を克服する画期的なアプローチです。

実用性の向上: ユーザーが普段から持っている多様な写真や動画（異なる角度、照明、表情のもの）をそのまま活用できるため、実世界での応用が容易です。
創造性の拡張: 特定の属性のみを変更し、他の要素を保持する高度な制御が可能となり、映画制作、バーチャルアバター、パーソナライズドストーリーテリングなどへの応用が期待されます。
技術的ブレイクスルー: 拡散モデルにおける「不適切な問題設定」を、多視点情報と差分制御によって解決し、超忠実な生成を実現した点に大きな意義があります。

本論文は、AI によるコンテンツ生成が、単なる「模倣」から「意図的な創造」へと進化するための重要な一歩を示唆しています。