🤖 AI

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

本文介绍了 DyMoS，一种无需训练且与模型无关的方法，它通过在注意力机制中重新平衡参考帧的主导地位来增强图像到视频生成中的运动动态，从而在不损害视觉保真度或无需额外训练的情况下克服运动抑制问题。

原作者： Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models》（DyMoS）的通俗解释，辅以生动的类比。

问题：视频的“冻结”现象

想象你有一张马的照片，并让计算机将其转化为马奔跑的视频。你原本期待看到马在奔腾，但当前的 AI 模型往往对原始照片过于“客气”。它们会让马保持静止，最多只是微微抖动耳朵，因为它们太害怕改变你提供的图片了。

论文将这种现象称为“静态运动偏差”（Static Motion Bias）。AI 过于专注于保持第一帧（参考图像）的完美，以至于忘记了让视频的其余部分动起来。

发现：“过度专注”的学生

研究人员深入探究了这些 AI 模型的工作原理，发现了一种特定的行为，他们称之为“参考帧主导”（Reference-Frame Dominance）。

把 AI 模型想象成一个正在参加考试的学生：

文本提示是题目：“让马跑起来。”
参考图像是桌上放着的那匹马的照片。

在普通的文本转视频（Text-to-Video）模型中，学生会看着题目，脑海中想象奔跑的马。
而在图像转视频（Image-to-Video）模型中，学生死死地盯着桌上的照片。每当学生试图绘制视频的下一帧时，他们都会看着照片说：“好吧，我必须让这一帧看起来和照片完全一样。”

因为学生如此痴迷于复制照片，他们从未真正画出马在奔跑的样子。“照片”主导了“想象力”。

解决方案：DyMoS（“运动滑块”）

研究人员开发了一种名为 DyMoS（动态运动滑块）的工具。它不需要重新训练 AI，也不需要修改原始照片。相反，它就像一个调节学生“痴迷程度”的音量旋钮。

它是如何工作的：

干预措施：在生成视频的最初几个时刻（即“去噪”步骤），DyMoS 会轻轻拍一下学生的肩膀。它说：“嘿，别那么死盯着参考照片了。你现在需要去想象运动。”
机制：从技术上讲，它调整了 AI 注意力系统中的特定数值（即“偏差”）。当 AI 决定下一帧应该是什么样子时，它会略微降低参考图像标记（tokens）的得分。
结果：AI 仍然可以看到图片（所以马看起来还是那匹马），但它不再被强迫完美复制它。这释放了 AI 的能力，让马得以奔跑、汽车得以行驶、水花得以飞溅。

“滑块”功能

DyMoS 最酷的地方在于它是一个滑块，而不仅仅是一个开关。用户只需调节一个数值：

调低（负数值）：AI 会对照片更加痴迷。视频会变得更加静止（如果你想要一张几乎不动的静态图，这很有用）。
调高（正数值）：AI 被指示更多地忽略照片的“冻结”特性。视频会变得更加动态和充满活力。
中间地带：你可以找到完美的平衡点，让视频自然运动，同时角色看起来依然与你开始的原始照片完全一致。

为何优于以往的方法

以往试图解决这种“视频冻结”问题的方法，就像试图通过砸坏引擎或给车轮喷漆来修车一样。

有些方法需要重新训练整个 AI（昂贵且缓慢）。
其他方法试图模糊或破坏输入图像以强制产生运动，但这往往会让视频看起来丑陋或扭曲。

DyMoS 之所以不同，是因为：

无需训练：你不需要教 AI 任何新东西。你只需在 AI 工作时使用该工具。
模型无关：它适用于几乎所有现代视频 AI（如 Wan 2.2、HunyuanVideo、CogVideoX）。
保持质量：它能让视频动起来，而不会让图片变得模糊或怪异。

总结

该论文指出，图像转视频模型对其输入图像“过于客气”，导致视频枯燥且静止。他们通过 DyMoS 解决了这一问题。这是一个简单的工具，就像一个音量旋钮，只需将 AI 对起始照片的痴迷程度稍微调低，就能让运动发生，而无需更改模型或原始图像。

技术摘要：通过重新平衡参考帧主导性以改善图像到视频模型的运动表现

问题陈述

图像到视频（I2V）模型虽然能够保留参考图像的外观，但经常遭受“静态运动偏差”的影响。与文本到视频（T2V）模型相比，I2V 模型生成的视频往往运动过于受限或微弱，即使文本提示明确描述了动态动作。现有的缓解这一问题的方法通常涉及修改图像条件路径（例如添加噪声或重新设计流匹配）或削弱条件信号。然而，这些方法通常需要额外的训练，或者引入一种权衡，即改善运动是以牺牲参考图像的保真度为代价的。

方法论：DyMoS（动态运动滑块）

作者提出了 DyMoS，这是一种无需训练且与模型无关的方法，通过在推理过程中直接干预自注意力机制来解决静态运动偏差，而无需改变模型权重或输入图像。

核心洞察：参考帧主导性

通过对配对 T2V 和 I2V 生成中的自注意力图进行分析，作者识别出一种他们称为参考帧主导性的现象。在 I2V 模型中，非参考帧中的查询令牌（query tokens）分配给参考帧（第一帧）键令牌（key tokens）的注意力，显著多于其 T2V 对应物。这种过度的注意力将参考信息沿时间轴传播，抑制了帧间动态，导致输出静态化。

技术实现

DyMoS 通过在初始去噪步骤中重新平衡注意力对数（attention logits）来减轻这种主导性。该方法向与参考帧键令牌相关的注意力对数引入一个标量偏置偏移。

调制按如下方式应用：

对数调整：对于关注参考键令牌（ $j \in I_{f0}$ ）的非参考查询令牌（ $i \notin I_{f0}$ ），在 softmax 操作之前，从注意力对数 $L[i, j]$ 中减去一个正标量 $\gamma$ ：
$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$
其中， $\gamma$ 控制干预的强度， $\phi(\cdot)$ 是逐帧调度（默认为均匀分布）。
时间范围：调制仅应用于前 $\lambda$ 比例的去噪步骤。这针对的是决定全局运动的早期阶段，同时允许后续步骤利用标准注意力来细化外观和时间连贯性。
无分类器引导（CFG）：调制仅应用于 CFG 方程的文本条件分支，保持空文本分支不变。这将引导更新从参考帧主导性中偏离，同时保持生成过程的结构完整性。

主要贡献

机制识别：该论文确定了自注意力中的“参考帧主导性”是 I2V 模型中静态运动的主要驱动因素，将其与简单的输入条件问题区分开来。
无需训练的干预：DyMoS 提供了一种简单、与模型无关的解决方案，无需微调、重新训练或修改输入图像。它仅通过在推理过程中调整注意力对数来运行。
连续控制：该方法引入了一个标量参数（ $\gamma$ ），允许用户连续控制从严格参考图像保留（静态）到高度动态运动的频谱，有效地弥合了 I2V 和 T2V 运动动态之间的差距。
保真度保持：与之前为了增强运动而牺牲视觉质量或参考一致性的方法不同，DyMoS 在改善运动动态的同时，保持了对参考图像的高保真度和视觉质量。

实验结果

作者在多个最先进的 I2V 骨干网络上验证了 DyMoS，包括 Wan 2.2、Wan 2.1、HunyuanVideo-1.5 和 CogVideoX-5B。

运动动态：在所有骨干网络上，与 vanilla 基线和最先进的方法 ALG 相比，DyMoS 始终实现了更高的动态程度分数（由 VBench 和 VideoScore 测量）。例如，在 Wan 2.2 上，动态程度从基线的 51.7 增加到 DyMoS 的 64.8，显著优于 ALG 的 55.3。
视觉质量：至关重要的是，DyMoS 保持了与基线和 ALG 相当的视频质量分数，证明了增强的运动不会降低视觉保真度。
文本对齐：该方法在比较的方法中取得了最高的 ViCLIP 分数，表明减少参考帧主导性使模型能够更好地遵循文本提示中的运动描述。
人类偏好：在用户研究中，DyMoS 在所有标准（运动动态性、参考帧保真度、文本对齐和整体偏好）下被选为最佳视频的频率高于基线或 ALG。
效率：该方法产生的推理时间开销微乎其微（例如在 Wan 2.2 上为 1.2%），因为它仅涉及对注意力对数的轻量级逐元素操作，而不需要额外的前向传播。

意义与主张

该论文声称，I2V 生成中的静态运动偏差并非条件机制本身的固有局限，而是参考信息如何通过自注意力路由的结果。通过在注意力对数层面进行干预，DyMoS 有效地重新平衡了模型的焦点，在不妨碍 I2V 模型核心优势（参考保真度）的情况下实现了动态运动。

作者将 DyMoS 定位为面向用户和开发者的实用工具，通过单个参数提供运动的“滑动刻度”控制。他们指出，虽然该方法有效，但过大的调制强度可能会降低外观一致性，未来的工作可以探索基于特定提示或运动类型自动调整调制强度。这项工作表明，在注意力机制中进行简单、有针对性的干预，可以在没有重新训练的计算成本的情况下，带来生成视频质量的显著改进。