TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

本論文は、推論時にスパティオテンプラルなレイアウトとテキスト・画像の整合性を保つために、学習不要の「テスト時最適化と記憶（TTOM）」フレームワークを提案し、パラメトリックな記憶メカニズムを用いて動画生成のコンポジション能力を飛躍的に向上させることを示しています。

要約

TTOM: 動画生成 AI の「瞬間学習」と「記憶力」を強化する新技術

こんにちは！この論文は、最新の動画生成 AI（テキストから動画を作る AI）が抱えるある「悩み」を解決する画期的な方法を紹介しています。

AI は素晴らしい動画を作れますが、「赤い鳥が青い空を飛び、隣で黄色い犬が走っている」といった複数の要素が絡み合った複雑なシーンになると、要素が混ざり合ったり、数が間違ったりして、指示と違う動画ができてしまうことがあります。

この論文で提案されている**「TTOM（テストタイム・オプティマイゼーション＆メモリー）」という技術は、AI に「その場での瞬間学習」と「過去の成功体験を忘れない記憶力」**を授けるようなものです。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

1. 従来の AI の悩み：毎回「ゼロから」頑張る

これまでの AI は、新しい指示（プロンプト）が入ってくると、毎回**「初めて見るような状態」**から動画を作り始めます。
例えば、「ロボットと魔法使いが近づき合う動画を作って」と頼まれたとします。AI はその瞬間、ロボットがどう動き、魔法使いがどう動くかをゼロから計算し、試行錯誤しながら作ります。

• 問題点：
  • 毎回ゼロから始めるので、時間がかかる。
  • 複雑な指示だと、要素がごちゃごちゃになって、指示通りにならない（例：ロボットが 2 体いたり、動きが逆になったり）。
  • 一度作って終わり。次の「ロボットと魔法使い」の依頼が来ても、前の経験は活かされません。

2. TTOM の解決策：2 つの魔法

TTOM は、AI に 2 つの新しい能力を与えます。

① 「瞬間学習（テストタイム・オプティマイゼーション）」

これは、**「本番中に、その場でコツを掴む」**という能力です。

• 例え話：
  料理人が新しいレシピ（指示）を頼まれたとき、いきなり完璧な料理を作るのではなく、まず**「下準備」**をします。

  1. まず、LLM（大規模言語モデル）という「料理の設計図を描く専門家」に、「ロボットと魔法使いの動きの配置図（どこにいて、どう動くか）」を描かせます。
  2. AI はその配置図を頼りに、動画を作る過程で**「少しだけパラメータ（AI の内部設定）」を微調整**します。
  3. これにより、AI は「あ、この動きならこうすればいいんだ！」と、その瞬間に最適な状態に調整されます。

  これまでの方法は、動画の「下書き（ラテン）」そのものを無理やり書き換えていましたが、TTOM は**「AI の思考回路（パラメータ）」を軽く調整するだけ**なので、画質を崩さずに指示に忠実な動画が作れます。

② 「記憶力（パラメトリック・メモリー）」

これは、**「過去の成功体験をノートに書き留めて、次回から活用する」**という能力です。

• 例え話：
  料理人が「ロボットと魔法使い」の動画を作った後、「この時のコツ（調整したパラメータ）」を「ロボットと魔法使い」というラベル付きのノートに記録します。

  • 次回、同じような依頼が来たとき：
    AI はまずノート（メモリ）を調べます。「あ、同じような注文だ！」と見つかったら、ゼロから調整するのではなく、ノートに書いてあった「コツ」をすぐに読み出して使います。
  • メリット：
    • 超高速： 調整が不要なので、すぐに動画が作れます。
    • 高品質： 過去に成功した「コツ」を使うので、失敗が少なくなります。
    • 学習： もしノートに載っていない新しいパターンでも、その場で「瞬間学習」して、新しいコツをノートに追加します。

  この仕組みのおかげで、AI は**「使い込むほどに賢くなり、特定のユーザーの好みを覚えてくれる」**ようになります。

---

3. 具体的に何が良くなったの？

この技術を実験で試したところ、以下のような素晴らしい結果が出ました。

• 複雑な動きが完璧に： 「鳥が空を飛び、犬が地面を走る」といった、複数の動きが絡むシーンでも、指示通りになりました。
• 数の正確性： 「4 匹のパンダが竹を食べる」と言われたら、本当に 4 匹が正確に描かれます（これまでは 3 匹や 5 匹になることがありました）。
• スピードと効率： 過去の成功例を記憶から呼び出せるため、同じような動画を作るのが格段に速くなりました。

4. まとめ：AI が「職人」になる

これまでの AI は、天才的な才能を持っていますが、**「毎回、新しい仕事に慣れるのに時間がかかる新人」**のようなものでした。

TTOM を導入することで、AI は**「過去の経験をノートにまとめ、同じような仕事には即座に最高のパフォーマンスを発揮する、ベテランの職人」**へと進化しました。

• 指示通りに動く（配置図の活用）
• その場でコツを掴む（瞬間学習）
• 経験を蓄積する（記憶力）

この 3 つの要素が組み合わさることで、AI はより人間らしく、複雑で面白い動画を生み出せるようになったのです。これは、今後の動画生成 AI が、より便利で使いやすいツールになるための大きな一歩と言えるでしょう。

技術概要

TTOM: 構成的ビデオ生成のためのテスト時最適化と記憶化に関する技術的サマリー

本論文は、ICLR 2026 に投稿された「TTOM: TEST-TIME OPTIMIZATION AND MEMORIZATION FOR COMPOSITIONAL VIDEO GENERATION」について解説します。この研究は、ビデオ基礎モデル（VFM）が持つ「構成的（compositional）」なシナリオ（複数の物体、属性、関係性、数値、運動などを含む複雑なシーン）におけるテキストとビデオの不一致問題を解決するために提案された、モデル非依存のフレームワーク「TTOM」を扱っています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義を詳細にまとめます。

---

1. 背景と問題定義

近年、フローマッチングや Diffusion Transformer（DiT）の進歩により、テキストから高品質なビデオを生成するモデル（VFM）が急速に発展しています。しかし、既存の最先端モデルであっても、構成的なタスク（例：「ロボットと魔法使いが互いに忍び寄る」「4 匹のパンダが庭で竹を食べる」「赤い風船が像の上を右から左へ浮遊する」など）においては、テキストの指示と生成されたビデオの間に重大な不一致（misalignment）が生じるという課題が残っています。

既存の解決策（レイアウトガイド付き生成など）には以下の限界がありました：

1. 品質低下のリスク: 潜在変数（latents）やアテンションマップへの直接的な介入は、特徴分布を乱し、ビデオの品質低下（不整合、フリッカー、崩壊）を招く可能性があります。
2. 文脈の無視: 従来の手法はサンプルごとに独立して制御を行うため、過去の生成履歴や文脈を学習・再利用できません。
3. 汎化性の欠如: 特定のサンプルに対する介入が他のサンプルに一般化せず、モデル自体の内在的な能力向上には寄与しません。

2. 提案手法：TTOM (Test-Time Optimization and Memorization)

TTOM は、推論時にスパティオ・テンポラル（時空間）レイアウトをガイドとして用い、モデルの出力を最適化しつつ、その知識を記憶して将来の推論に活用するフレームワークです。

2.1 スパティオ・テンポラルレイアウト計画 (LLM-Driven)

まず、大規模言語モデル（LLM）を用いて、入力テキストから時空間レイアウト（STL）を生成します。

• プロセス: LLM はオブジェクトの運動やカメラ動作を記述し、各オブジェクトのバウンディングボックス（bbox）のシーケンス（開始・終了フレーム、座標）を生成します。
• 検証: 生成されたレイアウトの空間的・時間的一貫性を検証し、修正を加えます。

2.2 テスト時最適化 (Test-Time Optimization: TTO)

生成されたレイアウトに基づき、推論中にビデオ生成モデルを最適化します。

• アテンション・レイアウト相関の検証: 実験により、DiT の特定の層におけるクロスアテンションマップと、生成ビデオのセグメンテーションマップ（GroundingDINO + SAM 2 で検出）の間には強い相関があることを確認しました。
• 最適化プロセス:
  • 既存の潜在変数（$z_t$）を直接操作するのではなく、モデルに軽量なパラメータ（LoRA などの追加パラメータ $\phi$）を挿入します。
  • 生成されたアテンションマップと、LLM が生成したソフトマスク（レイアウト）との間のジェンセン・シャノンダイバージェンス（JSD）を損失関数として定義し、このパラメータ $\phi$ を最適化します。
  • これにより、分布の崩壊を防ぎつつ、特定の構成的パターン（運動、数値、相互作用など）をパラメータに学習させます。

2.3 パラメトリック記憶機構 (Parametric Memory)

最適化されたパラメータを保存・再利用する機構です。

• 構造: キー（プロンプトから抽出された抽象化されたレイアウトキーワード）とバリュー（最適化されたパラメータ $\phi^*$）のペアとして記憶します。
• 操作:
  • Insert: 新規プロンプトに対して最適化を行い、結果を記憶に追加。
  • Read: 類似プロンプトに対し、記憶からパラメータを読み込んでロード。
  • Update: ロードしたパラメータをさらに最適化し、記憶を更新。
  • Delete: 容量超過時に使用頻度の低いアイテムを削除（LRU 等）。
• 利点: 過去の最適化結果を「文脈」として再利用することで、類似タスクでの最適化をスキップまたは高速化でき、効率的かつスケーラブルなストリーミング生成を可能にします。

3. 主要な貢献

1. 教師なしのテスト時最適化フレームワーク: 構成的 T2V 生成に対し、スパティオ・テンポラルレイアウトをガイドとして、サンプル固有の軽量パラメータを最適化する新しいアプローチを提案しました。
2. パラメトリック記憶メカニズム: 最適化の文脈を維持し、挿入・読み取り・更新・削除などの柔軟な操作を可能にする記憶機構を導入。これにより、生涯学習（lifelong learning）的な適応と、個人化された生成が可能になりました。
3. 高い汎化性と転移性: TTOM は構成的な世界知識を解離（disentangle）し、強力な転移性と汎化能力を示すことを実証しました。

4. 実験結果

T2V-CompBench と VBench の 2 つのベンチマークで評価を行いました。

• T2V-CompBench での性能:
  • CogVideoX-5Bベースラインに対して、平均スコアで 34.45% の改善。
  • Wan2.1-14Bベースラインに対して、平均スコアで 15.83% の改善。
  • 特に「運動（Motion）」カテゴリでは CogVideoX-5B で 63.69%、Wan2.1-14B で 82.57% の劇的な改善が見られました。「数値（Numeracy）」や「空間関係（Spatial）」でも顕著な向上が確認されました。
• VBench でのセマンティック整合性:
  • オブジェクト分類、複数オブジェクトの扱い、色・空間関係の忠実度など、複数の次元で既存手法（LVD など）を上回るスコアを記録しました。
• アブレーション研究:
  • TTO と記憶機構の両方を組み合わせることで、単独の手法よりも高い性能が得られることが確認されました。
  • 記憶からの初期化のみでも性能向上が見られ、さらにテスト時最適化を併用することで、計算コストと品質のバランスが取れた最適な結果が得られました。

5. 意義と結論

TTOM は、ビデオ生成モデルが直面する構成的な課題に対し、モデルの重み自体を再学習（トレーニング）させることなく、推論時に軽量なパラメータを最適化し、その知識を記憶して再利用する画期的なアプローチです。

• 実用性: 計算コストを抑えつつ、リアルタイムでユーザーの要求に応じた高品質な構成的ビデオ生成を実現します。
• スケーラビリティ: 記憶機構により、ユーザーの履歴や特定のドメイン知識を蓄積し、継続的に性能を向上させることが可能です。
• 将来展望: この手法は、単なる生成ツールの改善にとどまらず、AI と人間の創造的な協働を促進し、メディア制作の民主化に寄与する可能性があります。

本論文は、テスト時最適化と記憶機構を組み合わせることで、ビデオ生成の「構成的理解」と「忠実度」を同時に達成する新しいパラダイムを示唆しています。