💻 computer science

DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion

DynamicRad 提出了一种基于径向局部先验的自适应稀疏注意力范式，通过结合静态比例与动态阈值双模式策略及离线贝叶斯优化语义运动路由，在 HunyuanVideo 和 Wan2.1-14B 等模型上实现了 1.7 至 2.5 倍的推理加速与超过 80% 的有效稀疏度，同时保持了长视频生成的质量与连贯性。

原作者： Yongji Long, Shijun Liang, Jintao Li, Yun Li

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongji Long, Shijun Liang, Jintao Li, Yun Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DynamicRad 的新方法，旨在解决当前 AI 生成长视频时遇到的一个核心难题：“既要跑得快，又要画质好”。

为了让你轻松理解，我们可以把生成视频的过程想象成导演指挥一场超大型的电影拍摄。

1. 核心难题：导演太累了（计算量爆炸）

现在的 AI 视频模型（比如 HunyuanVideo 或 Wan2.1）就像一位才华横溢但有点“强迫症”的导演。

传统做法（稠密注意力）： 导演在拍摄每一帧画面时，都要把所有之前的画面（比如前 100 秒的所有镜头）都拿出来，和当前这一帧进行“一对一”的仔细比对，看看哪里需要衔接，哪里需要呼应。
问题： 如果视频只有 10 秒，导演还能应付；但如果视频要拍 2 分钟（几百帧），导演就要比对几万次。这就像让导演在 100 万张旧照片里找一张和当前画面最像的，速度极慢，内存爆炸，而且电脑容易死机。

2. 旧方案的缺陷：要么太死板，要么太累赘

为了解决这个问题，以前的方法主要有两种，但都有毛病：

方案 A（静态掩码）： 导演规定：“我只看最近 5 秒的画面，其他的都不看。”
- 缺点： 太死板了！如果视频里有一个人在远处挥手（长距离依赖），或者物体在画面外转了一圈又回来，这种“只看最近”的规则就会让导演漏掉关键信息，导致视频里的人物突然瞬移或动作断裂。
方案 B（动态筛选）： 导演规定：“我要根据画面内容，实时决定看哪些帧。”
- 缺点： 虽然灵活，但导演每拍一帧都要停下来“思考”和“计算”看哪几帧，思考的时间比拍的时间还长，反而更慢了。

3. DynamicRad 的绝招：聪明的“智能剪辑师”

DynamicRad 就像给导演配了一位拥有“预知能力”和“智能直觉”的剪辑师。它结合了上述两种方案的优点，核心思想是：“大部分时间按规矩办，关键时刻灵活变通。”

核心比喻：径向注意力（Radial Attention）

想象视频的时间轴是一条河流。

近处（近场）： 水流湍急，变化快。导演必须仔细看每一滴水（每一帧）。
远处（远场）： 水流平缓，变化慢。导演可以粗略地看，甚至跳过一些不重要的部分。
DynamicRad 的做法： 它画了一个以当前帧为中心的“同心圆”。离得越近，看得越细；离得越远，看得越粗（稀疏）。这符合物理规律（视频里的能量通常是随时间衰减的）。

两大模式：双模态策略

DynamicRad 有两种工作模式，像汽车的**“经济模式”和“运动模式”**：

静态比例模式（Economy Mode / 经济模式）：
- 场景： 拍风景、静态人像等动作缓慢的视频。
- 做法： 剪辑师直接按预设规则：“不管内容，直接砍掉 80% 的远距离镜头，只保留最近的。”
- 效果： 速度极快，因为不需要思考，直接执行。
动态阈值模式（Sport Mode / 运动模式）：
- 场景： 拍赛车、爆炸、快速转场等动作激烈的视频。
- 做法： 剪辑师会快速扫一眼当前的“提示词”（比如“赛车”），然后智能判断：“哦，这里动作快，不能随便砍！我要保留那些虽然远但很重要的镜头（比如远处的赛车突然冲过来）。”
- 效果： 画质更好，虽然比经济模式慢一点点，但比传统方法快得多，而且不会漏掉关键动作。

4. 如何做到“不思考”也能变聪明？（离线优化 + 语义路由）

你可能会问：“剪辑师怎么知道什么时候该用经济模式，什么时候该用运动模式？难道每次都要先算一遍吗？”

DynamicRad 的答案是：不用现场算，提前算好！

离线贝叶斯优化（Offline BO）： 在真正拍视频之前，研究团队先在电脑上用“模拟数据”跑了几百次实验，把各种情况（慢动作、快动作、静止）对应的最佳参数都算出来了，做成了一张**“速查表”**。
语义运动路由器（Semantic Motion Router）： 这是一个超级轻量的“小助手”。当用户输入提示词（比如“一个老人在读书”vs“一辆 F1 赛车在飞驰”）时，小助手只需要0.002 秒就能读懂文字，然后从“速查表”里直接调出对应的参数。
- 比喻： 就像你点外卖，系统根据你的地址（提示词），直接告诉你该选“普通配送”还是“极速达”，完全不需要你重新规划路线。

5. 最后的“补妆”：Mask-Aware LoRA

有时候，为了追求速度，剪掉的镜头太多，画面可能会有一点点不连贯（比如人物眨眼有点卡顿）。

做法： DynamicRad 加了一个小小的“补丁”（LoRA），专门针对被剪掉的部分进行微调。
效果： 就像给视频做最后的**“美颜”和“平滑处理”**，确保即使剪掉了 80% 的数据，画面依然流畅自然，不会穿帮。

总结：它带来了什么改变？

通过这套组合拳，DynamicRad 实现了：

速度快： 推理速度提升了 1.7 倍到 2.5 倍。以前生成一个长视频要等很久，现在快了一倍多。
画质好： 在长视频生成中，它的画质甚至能超过那些慢吞吞的传统全量方法。
省资源： 不需要重新训练庞大的 AI 模型，直接给现有的模型“打补丁”就能用。

一句话总结：
DynamicRad 就像给 AI 视频导演装上了一个**“智能导航仪”**。它知道什么时候该“抄近道”（静态模式）来赶时间，什么时候该“走大路”（动态模式）保质量，而且不用现场查地图，直接看路标（提示词）就能瞬间做出最佳决策，让长视频生成变得既快又好。

1. 研究背景与问题 (Problem)

核心挑战：
基于扩散模型（Diffusion Models）的视频生成技术在视觉保真度和时间连贯性方面取得了显著进展，但将其扩展到长序列（Long Horizons）和高分辨率时面临巨大的计算瓶颈。

二次方复杂度： 自注意力机制（Self-Attention）的计算和内存消耗随时空 Token 数量呈二次方增长（ $O(N^2)$ ），导致长视频生成极其昂贵且缓慢。
现有方法的局限性：
- 静态稀疏（Static Sparsity）： 如 Radial Attention，虽然硬件友好，但缺乏适应性。在复杂运动或长序列中，固定的掩码模式容易丢失关键的长程依赖信息，导致伪影或连贯性下降。
- 动态稀疏（Dynamic Sparsity）： 虽然能根据内容自适应，但通常引入额外的在线搜索开销、不稳定，或在大规模长视频场景下效率低下。
关键痛点： 如何在保持硬件友好的结构化稀疏（Structured Sparsity）的同时，实现针对视频内容的自适应调整，以平衡效率与质量。

2. 方法论 (Methodology)

作者提出了 DynamicRad，一种统一的稀疏注意力范式，旨在将结构化稀疏与内容自适应相结合。其核心架构包含以下三个主要组件：

2.1 径向邻域划分与参数空间 (Radial Neighborhood Partitioning)

DynamicRad 基于视频扩散中注意力能量随时空距离衰减的自然规律，构建了一个多维参数空间：

对数分组与衰减： 定义时间距离 $t$ 的对数分组，窗口宽度 $L(t)$ 随距离呈幂律衰减（由衰减因子 $\gamma$ 控制）。
长程分裂规则： 引入长程因子 $\lambda$ 控制长距离帧的采样频率，以捕捉周期性运动（如重复动作）。
块级密度控制： 通过列密度阈值 $\theta_c$ 和掩码阈值 $\theta_m$ ，将 Token 级链接聚合为块级掩码，确保与 FlashAttention 等硬件内核兼容。

2.2 双模式选择策略 (Dual-Mode Selection)

在共享的候选集（Candidate Set）基础上，DynamicRad 提供两种互斥的选择模式，以适应不同的部署需求：

静态比率模式 (Static-Ratio)：
- 目标： 吞吐量优先（Throughput-first）。
- 机制： 根据衰减状态（近场/远场）直接设定保留比例（ $\rho$ ），均匀采样。
- 优势： 无内容评分开销，推理速度极快。
动态阈值模式 (Dynamic-Threshold)：
- 目标： 质量优先（Quality-first）。
- 机制： 利用预 Softmax 的注意力 logits 作为重要性代理，计算归一化分数，并保留超过动态阈值（ $\tau$ ）的 Token 对。
- 优势： 能够过滤无关 Token，保留关键长程依赖，甚至在长序列中超越稠密基线。
- 安全机制： 若阈值过滤导致无 Token 保留，强制保留最高分 Token 以防止信息丢失。

2.3 离线贝叶斯优化与语义运动路由 (Offline BO & Semantic Motion Router)

为了消除在线搜索的开销并实现自适应：

离线贝叶斯优化 (Offline BO)： 在基于物理的代理任务（Proxy Task，模拟特征漂移）上最小化注意力重建误差（MSE）。通过 TPE 优化器在几分钟内完成参数搜索，生成针对不同运动 regime（低/中/高）的最优配置查找表（Lookup Table）。
语义运动路由 (Semantic Motion Router)： 一个轻量级的 2 层 MLP，直接利用预计算的文本提示（Prompt Embeddings）预测全局运动强度（0-1 分数），将其离散化为运动等级（Low/Mid/High），从而在推理时毫秒级（<2ms）检索对应的最优稀疏配置。
Mask-Aware LoRA： 针对稀疏性导致的时序一致性下降，引入参数高效微调（PEFT）。仅对受稀疏掩码影响的投影层（Q/K 层）进行 LoRA 微调，以补偿信息损失，提升长程连贯性。

3. 主要贡献 (Key Contributions)

统一框架 (Core Framework)： 提出了 DynamicRad，通过共享的块稀疏候选集和双模式选择，桥接了刚性先验方法（如 Radial Attention）和高开销动态方法（如 SVG, STA）。引入了连续长程因子 $\lambda$ 等参数，无需辅助网络即可统一静态效率与动态灵活性。
鲁棒部署 (Robust Deployment)： 设计了“离线 BO 配置 + 轻量级语义路由”的流水线。
- 在代理任务上优化 MSE，搜索过程仅需几分钟。
- 路由模块在推理时 <2ms，无需手动调参即可适配不同提示词。
实证收益 (Empirical Gains)：
- 在 HunyuanVideo 和 Wan2.1-14B 上实现了 1.7× 至 2.54× 的推理加速。
- 有效稀疏度超过 80%。
- 在动态模式下，长序列生成的质量甚至超越了稠密注意力基线（Dense Baseline）。
- Mask-Aware LoRA 进一步提升了极端稀疏下的时序连贯性。

4. 实验结果 (Results)

实验在 HunyuanVideo 和 Wan2.1-14B 模型上进行，涵盖了 72 帧到 241 帧（>200k tokens）的长序列场景。

效率提升：
- HunyuanVideo-241f： 静态模式加速 2.54× (324s vs 824s)，动态模式加速 2.17×。
- Wan2.1-14B (145f)： 静态模式加速 2.25×，动态模式加速 1.81×。
- 相比原始稠密基线，推理时间减少了一半以上。
质量表现：
- 动态模式优势： 在 HunyuanVideo-241f 上，动态模式的 VisionReward 分数 (0.131) 高于原始稠密基线 (0.116)，证明了其“去噪”效应（过滤 OOD Token）。
- 连贯性： 引入 Mask-Aware LoRA 后，VBench 时序一致性分数 (S.C.) 提升至 0.977，显著优于未微调的稀疏模型。
开销分析：
- 语义路由和动态评分带来的额外开销极低（每层约 0.37ms - 0.5ms），相对于节省的 GEMM 计算（每层节省 >15ms），净加速比非常显著。
消融实验： 证明了离线预测器能有效降低延迟并提升质量；双模式设计能根据运动强度自动切换策略（低运动用静态，高运动用动态）。

5. 意义与总结 (Significance)

DynamicRad 为长视频扩散模型的推理效率与质量平衡提供了新的范式：

理论突破： 证明了通过结合物理先验（能量衰减）和语义理解（Prompt 路由），可以在不牺牲质量的前提下实现极高的稀疏度。
工程价值： 提出的“离线优化 + 在线路由”策略解决了动态稀疏方法通常伴随的在线搜索开销问题，使其具备实际部署的可行性。
性能突破： 在保持甚至提升生成质量的同时，将长视频生成的推理成本降低了 2-2.5 倍，使得在消费级或单卡集群上生成高质量长视频成为可能。
未来方向： 该方法为处理极端快速运动（如 FPV 无人机视角）和复杂多阶段提示词提供了基础，未来可进一步探索帧级动态路由及图像到视频的扩展。

代码开源地址： https://github.com/Adamlong3/DynamicRad