💻 computer science

TS-Attn: Temporal-wise Separable Attention for Multi-Event Video Generation

この論文は、複数の連続した動作を含む複雑な時間的記述からの高品質な動画生成における既存手法の課題を解決するため、事前学習済みモデルへの追加学習なしで統合可能な新しいアテンション機構「TS-Attn」を提案し、物語の一貫性とプロンプト追従性を大幅に向上させることを示しています。

原著者： Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongyu Zhang, Yufan Deng, Zilin Pan, Peng-Tao Jiang, Bo Li, Qibin Hou, Zhiyang Dou, Zhen Dong, Daquan Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎬 TS-Attn：動画生成の「混乱」を解決する魔法の指揮者

この論文は、**「複数の出来事が含まれる複雑な指示で、高品質な動画を生成する」**という難しい課題を解決する新しい技術「TS-Attn」について紹介しています。

まるで、**「まず猫がボールを追いかけ、次にそれを拾って、最後に箱に入れる」**という、複数の動作が連続した指示を AI に与えたとき、AI が混乱して「ボールを拾う猫」ではなく「箱に入る猫」だけを作ったり、動作の順序がバラバラになったりする問題を解決する技術です。

以下に、専門用語を使わず、身近な例え話で解説します。

🤔 今までの問題は「混乱したオーケストラ」

これまでの AI 動画生成モデルは、複雑な物語を話そうとすると、2 つの大きなジレンマに直面していました。

指示を細かく分ける方法（複数の短い命令）
- 例え： 指揮者が「まずこの楽器を弾け」「次にあの楽器を弾け」と、曲を細かく区切って指示を出す。
- 結果： 各楽器（動作）は正確に演奏されますが、曲全体がつながらず、**「つなぎ目がカクカクして不自然」**になります。
全部まとめて指示する方法（1 つの長い命令）
- 例え： 指揮者が「この曲全体を一度に弾け！」と一度に長文で指示を出す。
- 結果： 曲全体の流れ（時間のつながり）は良くなりますが、**「特定の楽器（特定の動作）が聞こえなくなる」か、「間違った楽器が鳴り出す」**というミスが起きます。

なぜこうなるのか？
AI の頭の中（「アテンション」という仕組み）では、「動く部分（猫）」と「どの動作（ボールを投げる）」が結びついていないからです。

「投げる」という言葉が、実は「ボール」ではなく「背景の木」に注目してしまっている。
「投げる」と「拾う」という、違う時間の動作が、同じ瞬間に混ざってしまっている。

✨ TS-Attn の解決策：「時間軸で区切る魔法の指揮者」

この論文が提案する**「TS-Attn（Time-wise Separable Attention）」は、AI の頭の中で「誰が、いつ、何をするか」を整理する新しいルール**です。

1. 「動く場所」だけを見つける（モーション領域の抽出）

まず、動画の中で「実際に動いている部分（猫やボールなど）」を自動的に見つけ出します。背景の空や木は「今は動いていない」として、一時的に無視します。

例え： 指揮者が「動いている楽器（ソロパート）」だけを指差して、「お前が主役だ！」と注目させるようなものです。

2. 「時間」に合わせて指示を振り分ける（アテンションの再配置）

ここが最大のポイントです。

0 秒〜5 秒： 「猫がボールを追いかけろ」という指示を、**「猫の動き」**だけに強く結びつけます。
5 秒〜10 秒： 「猫がボールを拾え」という指示を、**「猫の動き」**だけに結びつけます。
重要： 「5 秒の指示」が「0 秒の動き」に干渉しないように、**「時間軸ごとに仕切り」**を作ります。

3. 集中力を調整する（アテンションの強化）

もし AI が「どっちも同じくらい重要だ」とぼんやりとしていたら、**「今はこの動作に集中しろ！」**と、必要な部分にさらに力を注入してハッキリさせます。

例え： 演奏が弱々しい時に、指揮者が「もっと大きく音を出せ！」と合図を送るようなものです。

🚀 この技術のすごいところ

訓練不要（Training-free）：
- 既存の巨大な AI モデル（Wan2.1 や CogVideoX など）をゼロから作り直す必要がありません。
- 例え： 既存のオーケストラに、新しい「指揮棒（TS-Attn）」を渡すだけで、劇的に上手に演奏できるようになります。
速くて軽い：
- 処理速度はほとんど遅くなりません（約 2% の増加のみ）。
- 例え： 指揮者が新しいリズムを刻んでも、演奏時間はほとんど変わりません。
プラグ＆プレイ：
- 画像から動画を作る（I2V）場合でも、テキストから動画を作る（T2V）場合でも、どこにでも使えます。

📊 結果：どんなに複雑な物語でも、スムーズに！

実験結果では、この技術を使うことで、**「物語の評価スコアが 33.5% 向上」**しました。

Before： 「猫がボールを追いかけて、拾って、箱に入れる」→ 猫が箱に入ったり、ボールが勝手に飛んだりする。
After： 「猫がボールを追いかけて、拾って、箱に入れる」→ 順番通りに、滑らかに実行される。

🎯 まとめ

TS-Attnは、AI が複雑な物語を話すときに起こる「時間の混乱」と「指示の聞き間違い」を、**「時間軸ごとに役割を整理し、動く部分に集中させる」**というシンプルな仕組みで解決した画期的な技術です。

これにより、AI はまるで**「プロの映画監督」**のように、複数の出来事が絡み合う複雑なシーンを、自然で美しい動画として作り出せるようになります。

TS-Attn: 多イベント動画生成のための時間的セパレータブル・アテンション

技術的サマリー（日本語）

本論文は、複雑な時間的記述（複数の連続した動作を含むプロンプト）から高品質な動画を生成する際の課題を解決する、トレーニング不要（training-free）な新しいアテンション機構**「TS-Attn（Temporal-wise Separable Attention）」**を提案しています。

1. 背景と課題（Problem）

既存のテキスト・トゥ・ビデオ（T2V）モデルは、単一のイベントを含むプロンプトでは高い性能を発揮しますが、複数のイベントや動的な運動情報を含む複雑なプロンプトに対しては、以下のトレードオフに直面しています。

複数の短いプロンプトを順次実行する手法: 動作の忠実度は向上しますが、生成されたクリップを結合する際に「コンテンツのドリフト」や「時間的不整合」が発生しやすく、推論コストも増大します。
単一の複雑なプロンプトを直接使用する手法: 時間的一貫性は保たれますが、プロンプトの指示に従う能力（プロンプト・フォロイング）が低下し、特定のイベントの欠落や時間的な幻覚（hallucination）が発生します。

根本的な原因:
著者らの分析によると、この問題は以下の 2 点に起因します。

時間的ミスマッチ: 動画コンテンツとプロンプトの対応関係が時間軸上で正しく揃っていない。
アテンションの競合（Coupling）: 運動に関連する視覚的オブジェクトと、複数のイベントに対応するテキスト条件との間で、アテンションが不適切に結合（カプリング）しており、特定のイベントが他のイベントの条件に干渉されてしまう。

2. 提案手法：TS-Attn（Methodology）

TS-Attn は、事前学習済みのテキスト・トゥ・ビデオモデル（DiT アーキテクチャなど）に組み込むだけで動作する、トレーニング不要のプラグアンドプレイ機構です。この手法は、クロスアテンション層において、動画トークンとテキスト条件間のアテンション分布を動的に再構成します。

主要なステップ:

運動領域の抽出（Motion Region Extraction）:
- プロンプト内の主語（Subject）のセマンティックなレイアウトに基づき、クロスアテンションマップを解析することで、動画フレーム内の「運動に関連する領域（前景の主体など）」を特定します。
- 背景ノイズを除去し、運動領域のマスク（ $M_s$ ）を生成します。
イベント認識アテンション変調（Event-Aware Attention Modulation）:
- アテンションの再配置（Attention Rearrangement）:
  - 時間的に分割された動画クエリ（ $Q_i$ ）と、対応するイベント（ $e_i$ ）の間のアテンションを強化し、他のイベント（ $e_j$ ）へのアテンションを減衰させるバイアスを適用します。
  - これにより、各フレームの運動領域が、その時刻に発生すべきイベントにのみ集中するように誘導されます。
- アテンションの強化（Attention Reinforcement）:
  - 単なる再配置では不十分な場合（アテンション分布が平坦な場合）に、適応的にアテンション強度を調整します。
  - 対応するイベントへのアテンションが弱い場合は強化係数を上げ、不要なイベントへのアテンションが強い場合は減衰させます。

数式的な定式化:
最終的なアテンションマップ $A$ は、元のクロスアテンションに、運動領域マスク $M_s$ で制限された再配置バイアス $B$ と強化係数 $R$ を加算したものを Softmax にかけて得られます。
$A = \text{softmax}\left(\frac{QK^\top + M_s \odot R(Q, K) \odot B(Q, K)}{\sqrt{d}}\right)$

3. 主な貢献（Key Contributions）

原因分析: 複雑な記述におけるプロンプト追従性の低さの根本原因が「時間的ミスマッチ」と「イベント間のアテンション競合」にあることを実証し、時間的セパレーションの重要性を明らかにしました。
TS-Attn の提案: 運動領域と多イベント条件間のアテンション分布を動的に再構築する新しいフレームワークを提案しました。これにより、時間的順序を正しく守りつつ、グローバルな一貫性と物理的に妥当な遷移を維持します。
広範な実験と実用性: 複数の事前学習済みモデル（Wan2.1, Wan2.2, CogVideoX など）にシームレスに統合可能であることを示しました。トレーニング不要であり、T2V（テキスト・トゥ・ビデオ）および I2V（画像・トゥ・ビデオ）の両タスクで有効であることを実証しました。

4. 実験結果（Results）

評価ベンチマーク:

StoryEval-Bench: 多イベント T2V タスクの標準的なベンチマーク（423 プロンプト、1 文に 2〜4 イベント）。
StoryEval-Bench-I2V: 著者らが新たに構築した多イベント I2V 用ベンチマーク。

定量的結果:

Wan2.1-T2V-14Bモデルにおいて、StoryEval-Bench スコアが**33.5%**向上しました。
Wan2.2-T2V-A14Bモデルでは**16.4%**向上しました。
CogVideoX-5Bでも大幅な改善（57.3% 向上）が確認されました。
既存の多プロンプト手法（DiTCtrl, MEVG など）や、クローズドソースの最先端モデル（Kling, Hailuo など）と比較しても、TS-Attn を適用したモデルが優れた性能を示しました。

推論効率:

推論時間の増加はわずか**2%**のみで、多プロンプト手法のように複数のクリップを生成して結合する手法に比べて圧倒的に高速です。

定性的結果:

複数のイベント（例：ボールが車椅子に衝突し、その後動く）が、時間的順序通りに正確に生成され、イベント間の遷移が滑らかであることが確認されました。
背景のちらつきや、不要なイベントの混入が抑制されています。

5. 意義と結論（Significance）

TS-Attn は、複雑な時間的制約を持つ動画生成において、「動作の忠実度」と「時間的一貫性」というトレードオフを打破する画期的なアプローチです。

トレーニング不要: 大規模な再学習や追加データ収集が不要であり、既存の最先端モデルを即座に強化できます。
汎用性: 異なるアーキテクチャ（MM-DiT, Cross-DiT など）やタスク（T2V, I2V）に広く適用可能です。
将来性: 長尺動画生成や、インタラクティブな動画生成への応用可能性も示唆されており、スケーラブルで高品質な動画生成の実現に向けた重要な一歩となります。

本論文は、複雑な物語や多段階の動作を正確に表現する動画生成技術の新たな基準を確立するものであり、実用的な動画生成アプリケーションの開発に大きく寄与すると考えられます。