💻 computer science

Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

本論文は、複数のイベントを含む動画生成において、推論時にクロスアテンション機構にペナルティを導入することで、各時間セグメントが割り当てられたプロンプトのみを参照し、意味の混同を防ぎながらイベントの順序や持続時間を精密に制御するプラグ＆プレイ手法「Prompt Relay」を提案するものである。

原著者： Gordon Chen, Ziqi Huang, Ziwei Liu

公開日 2026-04-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gordon Chen, Ziqi Huang, Ziwei Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎬 「プロンプト・リレー」：動画生成 AI のための「時間管理」の魔法

この論文は、AI が動画を作る際に起こるある「大きな悩み」を、とてもシンプルで賢い方法で解決したというお話です。

🤔 従来の AI の悩み：「全部同時に喋りすぎる」

今までの動画生成 AI は、例えば「まず男の人がパスタを食べる。次に、赤いドレスの女性が通り過ぎる」というような、複数の出来事が続く動画を作ろうとすると、とても混乱してしまいます。

AI の思考：「パスタを食べる」という指令と「女性が通り過ぎる」という指令を、動画のすべてのフレーム（時間）で同時に受け取ってしまっているのです。
結果：「パスタを食べながら女性が通り過ぎる」や「女性がパスタを食べている」など、**意味がごちゃ混ぜ（エンタングルメント）**になってしまい、物語の順序が崩れてしまいます。まるで、複数の人が同時に違う話をしようとして、誰の言葉も聞こえなくなっているような状態です。

💡 解決策：「プロンプト・リレー（Prompt Relay）」

この論文で提案されている**「プロンプト・リレー」は、AI に「今、この瞬間にはこの話だけ集中しなさい」と教える、まるで「リレー走」**のような仕組みです。

🏃‍♂️ アナロジー：リレー走とバトンタッチ

この技術を理解するために、リレー走を想像してみてください。

各区間ごとのランナー（プロンプト）：
- 最初の 2 秒間は「ランナー A（パスタを食べる男）」が走ります。
- 次の 2 秒間は「ランナー B（通り過ぎる女性）」が走ります。
- 従来の AI は、全員が同時にトラックを走ろうとして衝突していました。
バトンタッチの場所（境界線）：
- ここが最も重要です。ランナー A から B にバトンが渡される瞬間、いきなり A が消えて B が現れると、動画がカクカクして不自然になります（これを「ハードマスク」と呼びます）。
- 「プロンプト・リレー」の魔法：
  - 境界線の近くでは、A と B が少しだけ「共演」します。
  - 「男がパスタを食べ終えて、女性が近づいてくる」という**滑らかな手渡し（バトンタッチ）**を AI に許容します。
  - これにより、動画はカクつかず、自然な流れで次のシーンへ移り変わります。

🛠️ どうやって実現しているの？（仕組みの解説）

この仕組みは、AI の脳みそ（アテンション機構）に**「罰則（ペナルティ）」**というルールを少しだけ追加するだけで動きます。

通常の AI：「今このフレーム」に対して、**「過去のすべての指示」**を全部見ながら絵を描こうとします。
プロンプト・リレーの AI：
- 「今、このフレームは『パスタ』の時間だから、『女性』の話には耳を貸さないで（注意を払わないで）」と教えます。
- ただし、境界線（バトンタッチの場所）では、**「少しだけ相手の話も聞いていいよ」**と優しくします。
- これを**「境界アテンション減衰（Boundary-Attention Decay）」**と呼びます。

🍳 料理に例えると：

従来の AI：炒め物を作る際、卵、牛肉、野菜をすべて同時に鍋に放り込んで混ぜてしまい、味が混ざりすぎて何を作ったか分からない状態。
プロンプト・リレー：「まず卵を炒める（2 秒）」→「次に牛肉を入れる（2 秒）」→「最後に野菜を投入（2 秒）」と、タイミングを厳密に守って材料を追加する料理人のように、順序正しく美味しい料理（動画）を作ります。

✨ この技術のすごいところ

訓練不要（Plug-and-Play）：
- 巨大な AI をゼロから作り直す必要がありません。既存の AI にこの「ルール」を差し込むだけで使えます。
計算コストゼロ：
- 処理が重くなることもありません。
映画のようなストーリー：
- 「カメラがズームインして、中から別の世界が見える」といった、複雑な時間軸を持つストーリーも、きれいに再現できるようになります。

🎬 まとめ

**「プロンプト・リレー」は、AI に「時間の使い方を教える」技術です。
複数の出来事を順番に並べる際、「今はこの話、次はあの話」と明確に区切りつつ、「切り替わる瞬間は滑らかに」**と優しく指導することで、混乱していた AI が、まるでプロの映画監督のように、きれいで自然な動画を作れるようになったのです。

これからの動画生成は、単なる「映像」から、**「物語のある映画」**へと進化していくかもしれません！

Prompt Relay: マルチイベント動画生成のための推論時テンポラル制御

技術的概要

1. 背景と課題 (Problem)

近年の動画拡散モデルは、高品質な動画生成において目覚ましい進歩を遂げていますが、**「複数のイベントが時系列に正しく発生する動画」**の生成には依然として課題を抱えています。

既存モデルの限界: 現在のモデルは、単一のイベント生成や、全体のプロンプトをグローバルなコンテキストとして扱うように最適化されています。
意味的絡み合い (Semantic Entanglement): 複数のイベントを記述するプロンプト（例：「まず鷹が飛び、次にサイバーパンク都市が見える」）を与えると、モデルは時系列の順序や持続時間を理解できず、異なる時点の概念が混ざり合います（例：鷹の映像の中に都市が混入する、あるいは順序が逆転する）。
制御の欠如: ユーザーが「いつ」「どのくらい」「どの順序で」特定の事象が発生するかを明示的に制御するメカニズムが不足しており、映画レベルの物語性のある動画合成が困難です。
既存手法の問題点: 学習ベースの手法は大量の注釈データとモデルの再学習が必要であり、推論時のアテンション制御手法は境界線での不自然な切り替えや視覚的アーティファクトを招く傾向があります。

2. 提案手法：Prompt Relay (Methodology)

著者らは、**「Prompt Relay」**という、学習不要（training-free）、アーキテクチャ変更不要、かつ推論時（inference-time）にのみ動作するプラグ＆プレイ手法を提案しました。

2.1. 基本的なアプローチ

複数の時制プロンプト $\{(p_s, t_{start}^s, t_{end}^s)\}$ を入力とし、各プロンプト $p_s$ を指定された時間区間 $[t_{start}^s, t_{end}^s]$ のみで発現させ、他の区間への干渉を防ぐことを目指します。

2.2. 時間的クロスアテンションルーティング (Temporal Cross-Attention Routing)

拡散モデルのクロスアテンション機構にペナルティ項を導入し、クエリ（動画のフレーム）とキー（テキストトークン）の間のアテンションを時間的に制御します。

アテンションスコアの修正:
通常のクロスアテンション計算式に、時間的距離に基づくペナルティ $C(Q, K)$ を減算します。
$\text{Attn} = \text{softmax}\left(\frac{QK^T}{\sqrt{d}} - C(Q, K)\right)V$
ペナルティ関数 $C(i, j)$ :
クエリトークン $i$ $i$ （対応するフレーム）と、プロンプト $p_s$ $p_{s}$ に属するキートークン $j$ $j$ の間、時間的距離が大きいほどアテンションを減衰させます。
$C(i, j) = \text{ReLU}\left(\frac{|f(i) - m_s| - w}{\sigma}\right)^2$
- $f(i)$ : クエリトークンのフレームインデックス
- $m_s$ : 対象セグメントの時間的中点
- $w$ : ペナルティを適用しない「自由アテンション」ウィンドウの幅
- $\sigma$ : 減衰の速度を制御するパラメータ

2.3. 境界アテンション減衰 (Boundary-Attention Decay)

セグメント境界での急激な切り替えによる不自然さを防ぐため、**「ハードマスク」ではなく「ソフトな減衰」**を採用しています。

ハードマスクの問題: 境界でアテンションを完全に遮断（ $-\infty$ ）すると、クロスアテンションが急変する一方で自己アテンションは連続しているため、モデルが矛盾した信号を受け取り、視覚的な不連続（フラッシャーや急激な変化）が発生します。
Prompt Relay の解決策: 境界付近では隣接するプロンプト同士を滑らかに共活性化させます。これにより、モデルは視覚表現にコミットする前に、遷移を段階的に計画・調整する「ハンドオフ領域」を得ることができます。

3. 主な貢献 (Key Contributions)

Prompt Relay の提案: 計算オーバーヘッドなしで、動画生成における微細な時間制御を可能にする推論時・プラグ＆プレイ手法。
境界アテンション減衰メカニズム: クロスアテンションのロジットにガウス型のソフトペナルティを導入し、セグメント境界での意味的干渉を滑らかに抑制する手法。
性能の向上: 時間的プロンプト整合性の向上、意味的干渉の低減、およびバックボーンモデル自体の視覚品質の向上を実証。

4. 実験結果 (Results)

評価対象: Wan2.2-T2V-A14B をベースモデルとし、Sora Storyboard, Veo 3.1, Kling 2.6 などの既存モデルと比較。
評価指標: 人間の評価者による「時間的プロンプト整合性」「遷移の自然さ」「視覚品質」の 3 項目（1-5 点、低いほど良い）。
結果:
- 時間的整合性: Prompt Relay を適用した Wan 2.2 は、他のすべてのモデル（Sora, Veo, Kling など）を大幅に上回るスコア（1.10）を記録。プロンプトの意図したタイミングでのイベント発生が正確に実現されました。
- 遷移の自然さ: 境界での不自然な切り替えが減少し、滑らかな遷移が実現されました（スコア 1.17）。
- 視覚品質: 不要なアテンション競合が抑制されたため、ベースモデル（Wan 2.2）単体よりも視覚的な鮮明さと安定性が向上しました。
- 定性的評価: 複数のイベント（例：男がパスタを食べる→女性が通り過ぎる、あるいは鷹の瞳からサイバーパンク都市へ）が、指定された順序で干渉なく生成されることを確認しました。

5. 意義と限界 (Significance & Limitations)

意義:
- 大規模な学習データやモデルの再学習なしに、映画レベルの物語性を持つ動画生成を可能にする実用的な手法です。
- 既存の拡散モデルの能力を最大限に引き出し、時間的制御という長年の課題を解決する重要なステップです。
限界と対策:
- 各セグメントが局所プロンプトに依存するため、キャラクターや背景など「一貫性が必要な要素」がセグメント間でドリフトする可能性があります。
- 対策: 全編を通じた「グローバルプロンプト」を追加することで、一貫したコンテキストを提供し、この問題を完全に緩和できることを示しています。

結論

Prompt Relay は、推論時のアテンション制御のみで、複雑なマルチイベント動画の生成を可能にする画期的な手法です。これは、時間的制御を必要とする高品質な動画合成の実用化に向けた重要な進展であり、今後の動画生成技術の基盤となる可能性があります。