あなたは、非常に特殊で、かつ頑固な俳優を起用して映画を撮ろうとしている監督だと想像してください。この俳優は、「拡散モデル」と呼ばれるコンピュータプログラムによって作られたデジタルキャラクターです。このモデルを、あなたの指示に基づいて絵を描くことは非常に得意ですが、記憶力が極めて悪い、魔法のような、混沌とした芸術家だと考えてください。もしあなたが「本を読んでいる髭を生やした男」の絵を描いてと頼めば、完璧な男を描いてくれるかもしれません。しかし、もし次に、同じ男が立ち上がって手を振っている様子を描いてと頼んだら、芸術家は混乱してしまうかもしれません。髭が消えてしまったり、顔の形が変わってしまったり、あるいはその男が全くの別人になってしまうこともあるのです。これが「アイデンティティ・ドリフト（個性の逸脱）」と呼ばれる問題です。AIビデオ生成の世界において、キャラクターが動き、動作を変えている間、その姿を全く同じに見せ続けることは、熱い歩道の上を歩きながら雪の結晶が溶けないように保とうとするようなものです。

さて、単に彼に一つのことをさせたいのではなく、一連の脚本を演じさせたいとしましょう。まず、彼は本を読みます。次に、空を見上げます。それから、再び下を見ます。これを一続きの連続した動きとして生成することは、AIにとって悪夢です。なぜなら、ビデオが長くなればなるほど、キャラクターの顔が変化していく傾向があるからです。この論文は、特定の人物がさまざまな一連の動作を行うビデオを生成するという、特定の課題に取り組んでいます。その際、ビデオに登場する人物が、最初に提示された参照写真と全く同じ見た目であることを保証するという課題です。中国科学技術大学の研究者たちは、ビデオ全体を一発撮りで撮ろうとするのをやめることにしました。代わりに、彼らはビデオを管理可能なシーンに分割し、各シーンの終わりにキャラクターの顔を固定（アンカー）し、それらの断片を繋ぎ合わせることで、俳優が自分が誰であるかを決して忘れないようにするという、巧妙な方法を考案しました。

3段階の魔法のトリック

著者らは「トレーニングフリー（学習不要）」のパイプラインを提案しています。これは、AIに描き方を再学習させる必要はなく、ただより良い指示とより良いワークフローを与えるだけでよい、という高度な言い回しです。彼らはこの手法を「キーフレーム・アンカリングによるアイデンティティ保持（Keyframe-Anchored Identity Preservation）」と呼んでいます。これは難解に聞こえますが、実際には非常に論理的です。川に橋を架けることを想像してみてください。一度に道路全体を敷こうとする（そうすると崩落する可能性がある）のではなく、特定の地点に強固で堅実な柱（キーフレーム）を立て、その間を道路で埋めていくのです。

ステージ1：脚本家（アクション認識プロンプト・ポリッシュ）
まず、チームはAIに与えられる指示が曖昧すぎることに気づきました。元のプロンプトは、まるで監督が、明確な「結果のイメージ」を必要としている芸術家に対して、「よし、次は彼が読んで、それから上を見上げるぞ！」と叫んでいるようなものでした。AIは、いつ読書を終え、いつどのように上を見上げるべきかについて混乱していたのです。

これを修正するために、研究者たちはスマートなAIアシスタント（大規模言語モデル）を使用して、脚本を書き換えました。単に動作としての「読む」という行為を説明するのではなく、アシスタントは、各動作の「終了状態（ターミナル・ステート）」を記述するようにプロンプトを書き換えました。それは、「男が頭を動かしている」と言うのと、「男は今、左を見ている」と言うの違いです。各アクションの「終了状態（最終的なポーズ）」に焦点を当てることで、AIは各キーフレーム（アンカーポイント）を作成する際に、その特定の瞬間においてキャラクターがどのような姿であるべきかを明確に把握できるようになります。これにより、AIは目標とするべき明確なターゲットを得ることができます。

ステージ2：連鎖反応（ID保持キーフレーム生成）
次に、アンカーポイントを実際に描画する工程に入ります。研究者たちは、AIにビデオ全体を一度に描かせたのではありません。代わりに、一連の静止画を次々と描画するように指示しました。

• 最初の画像を生成するために、彼らはAIに参照写真（元の人物）と、書き換えられた最初のプロンプトを見せました。
• 2枚目の画像を生成するために、彼らはAIに、同じ参照写真（顔を一定に保つため）と、先ほど作成した最初の画像（体の位置を連続させるため）の両方を見せました。
• これを、脚本内のすべての動作に対して繰り返しました。

これが「連鎖（チェインド）」の部分です。前の画像を次のステップへと入力していくことで、AIはオリジナルの顔との繋がりを失うことなく、自然に体を動かす方法を知ることができます。これは、指示をささやく「伝言ゲーム」のようなものですが、メッセージが混乱する代わりに、物理的なスケッチを渡していくことで、次の芸術家が前の芸術手がどこで終わったのかを正確に把握できるようにしているのです。これにより、「アイデンティティ（顔、これは変わらない）」と「ポーズ（体、これは変化する）」を分離し、ドリフト問題を解決しています。

ステージ3：セーフティネット（ID認識推論強化）
最後に、AIには一連の静止画（キーフレーム）がありますが、滑らかなビデオにするためには、それらの間の動きを埋める必要があります。ここで魔法が起こります。研究者たちは、キャラクターが動きの中で失敗しないように、ビデオ生成プロセスに2つの特別なトリックを追加しました。

1. マルチリファレンス・ガイダンス（多重参照ガイダンス）： あなたが絵を描こうとしているとき、誰かがあなたの耳元で3つのことをささやいていると想像してください。テキストによる説明、前のフレーム、そしてオリジナルの写真です。AIは通常、テキストと前のフレームに耳を傾けます。研究者たちは、AIにオリジナル写真に対して「特に強く」耳を傾けるよう強制しました。彼らは数学的な処理を調整し、「アイデンティティ」の信号を増幅させ、体が動いている間にAIが誤ってキャラクターの顔を変えてしまうことを非常に困難にしました。
2. ノイズ・サーチング（ノイズ探索）： AIがビデオを生成するとき、それは静止画のノイズ（テレビの砂嵐のようなもの）から始まり、徐々にそれをクリーンアップして画像を明らかにしていきます。通常、AIはランダムなノイズの塊からスタートします。研究者たちは、もっとこだわりを持つことにしました。彼らはいくつかの異なる「雪の塊（ノイズのパターン）」を生成し、どれが最も優れた顔の結果をもたらすかを素早くテストしました。そして、勝者を選び出し、それを出発点として使用しました。これは、庭に植物を植える前に、どの種が最も良い花を咲かせるかを確認するために、さまざまな種を試してみるようなものです。

結果：うまくいったのか？

チームは、特定の人物がさまざまな一連の動作を行うビデオを生成することを目的とした、IPVG26（トラック2）というコンペティションでこの手法をテストしました。彼らは単に推測したのではなく、他のトップチームと比較して結果を測定しました。

彼らのアプローチは、公式リーダーボードで3位に入りました。1位には届きませんでしたが、その結果は、特に重要とされる領域、すなわち、人物の顔を認識可能な状態に保つこと（アイデンティティ保持）と、動作が適切なタイミングで行われること（時間的整合性）において、非常に印象的なものでした。

システムをテストした際、彼らは「マルチリファレンス・ガイダンス」が最も大きな役割を果たしていることを発見しました。この機能を削除すると、アイデンティティを維持するスコアは大幅に低下しました（0.4055から0.3520へ）。これは、参照写真に集中するように明示的に指示することが、顔のドリフトを防ぐ鍵であったことを証明しています。「ノイズ・サーチング」も効果がありましたが、そのブーストはより小さなものでした。

また、論文では2つの異なる「バックボーン（使用した基礎となるビデオエンジン）」を比較しています。彼らは、LTX-2.3というモデルが、Wan2.1-VACEよりもほぼすべての指標において優れたパフォーマンスを示すことを発見しました。LTX-2.3モデルは、0.4818であったもう一方のモデルに対し、0.4971という総合スコアを達成しました。

これが意味すること

この論文は、AIビデオ生成の問題を永遠に解決したと主張しているわけではありません。キャラクターが二度と変わらないことや、この手法があらゆる可能なシナリオに対して完璧に機能することを断言しているわけでもありません。むしろ、複雑なビデオのタスクを、より小さな、アンカーされたステップに分解することが、非常に効果的な方法であることを示唆しています。

ビデオを連続した流れるようなストリームとしてではなく、一連の「終了状態（ターミナル・ステート）」の連鎖として扱うことで、研究者たちは、動作が複雑で連続的であっても、キャラクターのアイデンティティを損なうことなく維持することに成功しました。彼らは、AIをゼロから再学習させる必要は必ずしもなく、時には、より良い地図を与え、より強いアンカーを設置し、出発点を選ぶ際に少しだけ手助けをするだけでよいのだということを示したのです。デジタルストーリーテークにおいて一貫したキャラクターを作成しようとしているすべての人にとって、この「キーフレーム・アンカリング」によるアプローチは、たとえどれほど多くのシーンを演じることになっても、俳優に役を全うさせるための信頼できる、学習不要の方法を提供します。