TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

本文提出了名为 TTOM 的训练无关框架，通过引入测试时优化与参数化记忆机制，在推理阶段动态对齐视频生成模型与时空布局，从而有效解决了现有模型在运动、数量及空间关系等组合场景下的生成难题。

要点

这篇论文介绍了一种名为 TTOM（测试时优化与记忆）的新方法，旨在解决当前 AI 视频生成模型的一个大痛点：“听指挥”能力差。

简单来说，现在的 AI 画视频很厉害，但如果你让它画“一只猫在左边，一只狗在右边，它们互相追逐”，AI 经常搞砸：猫狗位置反了，或者数量不对，甚至动作混乱。

TTOM 就像给 AI 请了一位**“现场导演”兼“超级记性助理”**，让它能边做边学，越做越聪明。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心问题：AI 是个“健忘的画家”

目前的视频生成模型（比如 Wan2.1 或 CogVideoX）就像一位天赋异禀但有点健忘的画家。

• 优点：画出来的东西很逼真，光影、质感都很棒。
• 缺点：当你给出一堆复杂的指令（比如“三个熊猫在吃竹子，一个向左跑，两个向右跑”），它经常记不住细节。它可能画成四个熊猫，或者方向全反了。
• 旧方法的局限：以前的方法试图在 AI 画画的过程中，强行按住它的手（修改中间数据）来纠正方向。但这就像在画家作画时突然把画布撕开一角再补上，容易导致画面闪烁、崩坏，而且每画一张新画，都要重新教一遍，效率很低。

2. TTOM 的解决方案：导演 + 记忆库

TTOM 提出了两个核心招数：“测试时优化”（现场导演）和**“参数记忆”**（超级记性）。

第一招：现场导演（Test-Time Optimization, TTO）

当用户输入指令时，TTOM 不会直接让 AI 瞎画，而是先请一位**“剧本导演”**（大语言模型 LLM）来帮忙。

• 剧本规划：导演先把文字指令拆解成具体的“分镜脚本”。比如，把“猫向左跑”变成具体的坐标和时间表：第 1 秒猫在左边，第 2 秒猫往左移了 10 像素……
• 现场微调：在 AI 开始生成视频的过程中，TTOM 会拿着这个“分镜脚本”去检查 AI 的笔触。如果发现 AI 画的猫跑偏了，它不会重画，而是微调 AI 内部的几个“小旋钮”（轻量级参数），让 AI 的注意力重新聚焦到正确的方向上。
• 比喻：这就像在拍电影时，导演发现演员走位错了，不是把演员换掉，而是轻轻推一下演员的肩膀，告诉他：“往左一点，对，就是这样！”

第二招：超级记性（Parametric Memorization）

这是 TTOM 最厉害的地方。以前的方法，导演教完这一场戏，演员（AI）就忘了，下一场戏还得重新教。
TTOM 给导演配了一个**“万能记忆库”**。

• 存经验：当导演成功指导 AI 画好“猫向左跑”后，他会把这次成功的“微调旋钮设置”存进记忆库里，并贴上标签（比如“猫向左”）。
• 调经验：下次用户再让 AI 画“猫向左跑”时，导演不用重新教，直接去记忆库里调出上次成功的设置，给 AI 装上。
• 举一反三：如果这次指令稍微有点不同（比如“猫向左跑，但背景是雨天”），导演会先调用记忆库里的“猫向左”设置作为基础，然后再进行少量的微调。
• 比喻：这就像一位老练的厨师。以前做一道“宫保鸡丁”，他需要试盐、试糖。做完一次后，他把“最佳配方”记在小本本上。下次再做，他直接照着配方做，又快又好。如果客人说“少放点辣”，他只需要在“最佳配方”基础上微调一点点，而不是从头开始摸索。

3. 为什么这个方法很牛？

• 不用重新训练：它不需要把整个 AI 模型重新训练一遍（那太贵太慢了），只是在生成视频的那一瞬间，临时调整一下参数。
• 越用越聪明：随着用户用得越多，记忆库里积累的“成功配方”就越多。AI 处理复杂场景（比如多物体互动、数字计数、空间关系）的能力会像滚雪球一样变强。
• 灵活高效：记忆库支持“增、删、改、查”。如果某个配方过时了，可以删掉；如果空间满了，就删掉那些没人用的旧配方，腾出地方给新配方。

4. 实际效果如何？

论文在两个权威测试（T2V-CompBench 和 VBench）上做了实验：

• 效果炸裂：在让 AI 理解“几个物体”、“谁在谁左边”、“谁在跑”这些复杂任务上，TTOM 让现有的顶级模型（如 Wan2.1-14B）的表现提升了 15% 到 80% 不等。
• 画面更稳：不仅指令听得更准，视频画面也没有因为强行修改而变得模糊或闪烁，保持了高质量。

总结

TTOM 就像是给 AI 视频生成器装上了一个“即时导航”和“经验笔记本”。
以前 AI 画画是靠“猜”，猜错了就重来；现在 AI 画画是靠“查”和“学”，先查一下以前成功的经验，再根据当前指令微调一下。这让 AI 从“只会画大致的画”进化成了“能听懂复杂指令的导演”，让生成视频变得更加可控、精准和智能。

技术摘要

这是一篇发表于 ICLR 2026 的论文《TTOM: TEST-TIME OPTIMIZATION AND MEMORIZATION FOR COMPOSITIONAL VIDEO GENERATION》（TTOM：用于组合视频生成的测试时优化与记忆机制）的技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
尽管视频基础模型（Video Foundation Models, VFMs）在视觉生成质量上取得了显著进展，但在**组合式场景（Compositional Scenarios）**中表现不佳。组合式场景要求模型同时处理多个对象、属性、数量（数数）以及复杂的空间和时间关系（如"A 在 B 上方从左向右移动”）。现有的最先进模型（如 Wan2.1, CogVideoX）常出现文本与视频内容不匹配（Text-Video Misalignment）的问题，例如对象数量错误、空间关系混乱或运动轨迹不符合描述。

现有方法的局限性：
现有的改进方法通常采用“布局引导”（Layout Guidance）策略，即利用大语言模型（LLM）生成时空布局（Bounding Boxes），然后直接干预生成过程中的中间表示（如潜变量 Latents 或注意力图 Attention Maps）。这些方法存在以下缺陷：

1. 破坏特征分布： 直接修改中间表示可能导致视频质量下降（如闪烁、伪影或模型崩溃）。
2. 缺乏上下文利用： 现有方法通常将每个测试样本视为独立案例（Per-sample），忽略了用户提示流（Prompt Stream）中历史生成的上下文信息。
3. 泛化能力弱： 针对单个样本的干预无法提升模型本身的内在能力，难以复用到其他样本。

2. 方法论 (Methodology)

作者提出了 TTOM (Test-Time Optimization and Memorization) 框架，这是一个**模型无关（Model-agnostic）且无需训练（Training-free）**的框架，旨在推理阶段将视频生成与 spatiotemporal（时空）布局对齐。

2.1 核心流程

TTOM 将视频生成视为一个**流式（Streaming）**过程，包含三个主要阶段：

1. LLM 驱动的时空布局规划 (LLM-Driven Spatial-Temporal Layout Planning)：

   • 利用 LLM（如 GPT-4o）将用户文本提示转化为结构化的时空布局（STL）。
   • 输出包含对象短语、边界框序列（Bounding Box Sequences）以及起止帧索引的元数据。
   • 包含验证步骤以确保空间和时间的一致性。

2. 测试时优化 (Test-Time Optimization, TTO)：

   • 注意力 - 布局相关性探测： 论文首先通过实验发现，扩散 Transformer（DiT）中特定层的交叉注意力图（Cross-Attention Maps）与最终生成的视频布局具有强相关性。
   • 优化策略： 不直接修改潜变量，而是引入轻量级的可学习参数（如 LoRA 权重 $\phi$）。
   • 目标函数： 最小化注意力图与 LLM 生成的软掩码（Soft Mask）之间的 Jensen-Shannon 散度 (JSD)。
   • 优势： 避免了直接干预潜变量导致的分布坍塌，同时优化后的参数 $\phi^*$ 能够“记忆”特定的组合模式。

3. 参数化记忆机制 (Parametric Memory Mechanism)：

   • 结构： 维护一个键值对集合 $M = \{g(C) : \phi^*_C\}$，其中 Key 是提示词的语义抽象（如对象运动模式），Value 是优化后的参数。
   • 操作： 支持 Insert（插入新优化结果）、Read（读取匹配参数）、Update（在读取基础上继续优化并更新）、Delete（基于 LRU 等策略删除低频项）。
   • 工作流程：
     • 冷启动： 对新提示词进行 TTO，优化参数并存入记忆。
     • 热启动： 对于相似提示词，从记忆中检索并加载参数 $\phi^*$。可以直接生成，或作为初始化进行少量的“持续优化”（Continual TTO），从而大幅提升效率和质量。

3. 主要贡献 (Key Contributions)

1. 无监督的测试时优化框架： 提出了一种无需额外训练、利用 LLM 生成的时空布局作为引导，通过优化轻量级参数来实现组合式视频生成的框架。
2. 参数化记忆与终身学习： 设计了支持插入、读取、更新和删除操作的参数化记忆机制。这不仅实现了历史上下文的复用，还使模型具备了“终身学习”的能力，能够随着用户交互不断积累组合式世界知识。
3. 显著的性能提升： 在 T2V-CompBench 和 VBench 两个基准测试上，TTOM 显著提升了现有基础模型（CogVideoX-5B 和 Wan2.1-14B）在组合生成任务上的表现，特别是在运动（Motion）和数数（Numeracy）等困难类别上。

4. 实验结果 (Results)

基准测试：

• T2V-CompBench： 针对组合式生成的专门基准。
  • 在 CogVideoX-5B 基础上，TTOM 使整体平均分提升了 34.45%。
  • 在 Wan2.1-14B 基础上，整体平均分提升了 15.83%。
  • 细分领域提升显著： 在“运动（Motion）”类别上，CogVideoX-5B 提升了 63.69%，Wan2.1-14B 提升了 82.57%；在“数数（Numeracy）”类别上也有显著提升。
• VBench： 针对视频生成质量的综合基准。
  • 在对象分类、多对象处理、颜色/空间关系保真度等语义一致性指标上均优于基线模型。
  • 在视觉质量（如主体一致性、背景一致性、运动平滑度）上也保持了高水准，证明了该方法在提升对齐性的同时未牺牲视频质量。

消融实验分析：

• TTO 与记忆机制的协同： 单独使用 TTO 能显著提升运动质量（+60%），结合记忆机制后进一步提升了约 14%。
• 持续优化： 在从记忆加载参数后，进行少量的持续优化（Continual TTO）能进一步平衡历史上下文与当前样本的特殊性。
• 损失函数： 验证了 JSD 损失函数在注意力 - 布局对齐任务上优于 BCE 损失和质心（CoM）损失。
• 伪训练数据规模： 记忆库中初始化的伪训练数据越多，性能越好，证明了记忆积累的有效性。

5. 意义与价值 (Significance)

1. 解决组合式生成的痛点： 有效解决了当前视频生成模型在处理复杂空间关系、多对象交互和数量控制方面的核心短板。
2. 高效与可扩展性： 通过“测试时优化 + 记忆”机制，避免了昂贵的全量微调。模型能够随着使用时间的推移，自动积累并复用成功的生成模式，实现了**即插即用（On-the-fly）**的跨模态对齐。
3. 知识解耦与泛化： 研究发现 TTOM 能够解耦组合式世界知识（如物体运动规律），展现出强大的迁移能力和泛化性。
4. 实际应用潜力： 该框架适用于流式用户提示场景，能够支持个性化生成（通过维护用户特定的记忆库），为未来的交互式视频创作工具提供了新的技术路径。

总结： TTOM 通过引入测试时优化和参数化记忆，成功将视频生成从“单次独立任务”转变为“连续流式学习过程”，在不牺牲视频质量的前提下，显著提升了模型对复杂组合指令的理解和执行能力。