技术摘要：Kaleido

问题陈述

视频扩散 Transformer (vDiT) 已成为高保真视频生成领域的最先进架构，但它们面临着严重的计算瓶颈。推理过程涉及在多个时间步长上的迭代去噪，其中自注意力机制占据了执行时间的绝大部分，约占总运行时间的 68%。随着视频分辨率和持续时间的增加，Token 序列长度也随之增长，导致自注意力复杂度呈二次方增长 ($O(N^2 \times d)$)。

现有的加速策略主要是在适配来自大语言模型 (LLM) 的稀疏注意力技术，这些技术依赖于基于语义稀疏性来剪枝不重要的注意力分数。然而，这些方法与视频数据本质上是不匹配的。与文本不同，视频 Token 携带的是稠密且连续的视觉语义，每个 Token 都在为空间相干性和时间一致性做出贡献。盲目地剪枝注意力相关性会导致运动不连续和闪烁伪影。此外，随着通过蒸馏减少扩散时间步长，自注意力成为了唯一的决定性瓶颈，使得仅靠减少时间步长的技术难以为继。

方法论

Kaleido 通过一种算法-硬件协同设计来解决这些挑战，该设计利用了 vDiT 潜空间内通道维度的时空相关性 (channel-wise spatio-temporal correlations)，而非依赖于 Token 级别的稀疏性。

1. 算法：通道级复用 (Channel-Wise Reuse)

核心洞察在于 vDiT 模型利用了旋转位置嵌入 (RoPE)，它将 Token 通道划分为三个不同的组：时间 ($t$)、水平 ($x$) 和垂直 ($y$)。这些组以不同的频率编码位置信息，从而诱发了特定的注意力模式。

• 相关性发现： 作者证明，在特定通道组内的相邻 Token 在与其编码方向正交的维度上表现出高度相似性。例如，$t$ 通道在空间维度（$x$ 和 $y$）上高度相关，而 $x$ 通道在时间维度上高度相关。
• 复用机制： Kaleido 并非跳过计算（如稀疏注意力），而是复用部分结果。
  • 相似度检查： 在计算之前，系统会计算沿预定义轴的相邻 Token 之间的相似度 ($\Delta$)。
  • 阈值判定： 两个阈值 $\theta_{th1}$ 和 $\theta_{th2}$ 决定了复用策略：
    • 如果 $\Delta < \theta_{th1}$：全量复用 (Full Reuse)。当前 Token 完全复用前一个 Token 的部分注意力得分。
    • 如果 $\theta_{th1} \le \Delta < \theta_{th2}$：部分复用 (Partial Reuse)。当前 Token 复用前一个结果的最显著位（例如，前 3 个 bit），并仅计算剩余的低位部分。
    • 如果 $\Delta \ge \theta_{th2}$：全量计算 (Full Computation)。
  • 适用性： 该策略应用于自注意力、交叉注意力和 MLP 层。对于 MLP，复用应用于激活值而非权重。

2. 硬件：可重构脉动阵列加速器

由复用算法引入的不规则数据访问模式与标准的脉动阵列不兼容。Kaleido 引入了一种定制硬件架构来支持这一点：

• 可重构处理单元 (PE)： PE 阵列通过增加额外的寄存器和多路复用器进行了增强，以支持四种执行模式。这些模式允许 PE 在单个 Tile 内动态处理全量计算、全量复用和部分复用（半比特计算）。PE 可以累积来自前一帧的部分结果，而无需从片上存储器中重新加载。
• 数据调度器 (Data Dispatcher)： 为了缓解导致 PE 利用率低下的不规则稀疏性，引入了专门的数据调度器。它由以下部分组成：
  • 调度器 (Scheduler)： 将具有相似复用模式（以二进制字符串表示）的 Token 分组为簇 (clusters)。
  • 匹配器 (Matcher)： 将簇内兼容的输入通道进行配对以合并数据流，确保喂入 PE 阵列的相邻行可以同时进行处理，从而实现利用率最大化。

核心贡献

1. 对 vDiT 的系统性表征： 本文首次系统地解释了 vDiT 潜空间中的时空相关性，确定了基于 RoPE 的通道划分是产生独特注意力模式的根源。
2. 通道级复用算法： 一种轻量级算法，通过在通道层面复用部分结果来跳过冗余计算。与 Token 级别的合并不同，它保留了像素级的精度，实现了显著更高的生成质量（比之前的协同设计方案 PSNR 提升 >17 dB）。
3. 协同设计的加速器架构： 一个带有定制 PE 和数据调度器的可重构脉动阵列，能够处理不规则稀疏性，将 PE 利用率从 ~69% 提高到 ~85%。
4. 全面评估： 在四个主流 vDiT 模型（HunyuanVideo, Wan, CogVideoX, TurboDiffusion）上针对最先进的 GPU 和加速器进行了广泛评估。

结果

在 16nm 工艺节点、128x128 PE 阵列配置下进行评估：

• 性能： Kaleido 相比最先进的加速器（如 AdapTiV, Exion）实现了高达 5.9 倍的加速，相比 Nvidia A100 GPU 实现了 6.6 倍的加速。
• 能效： 系统相比 A100 基准实现了高达 16.0 倍的节能。
• 生成质量： Kaleido 保持了卓越的视频质量，其 PSNR 得分（HunyuanVideo 为 29.9 dB，Wan 为 24.5 dB）比 Cambricon-D 等基于近似的基准方案高出 >17 dB。它在图像质量指标（PS%，SSIM, LPIPS）上也优于软件优化的稀疏注意力方法（如 MInference, SVG）。
• 可扩展性： 随着视频分辨率从 480p 增加到 720p，性能差距进一步扩大，因为更高的分辨率强化了算法所利用的时空相关性。

意义

本文将 Kaleido 定位为视频生成加速领域的一次必要演进。文章指出，由于视觉数据的连续性，简单地将基于 LLM 的稀疏注意力技术转移到视频领域是无效的。通过将重点从“剪枝”转向基于 vDiT 独特的通道级相关性的“复用”，Kaleido 提供了一种原则性的方法，在解决计算瓶颈的同时，满足了高保真生成的需求。这项工作证明，算法-硬件协同设计对于在不牺牲输出质量的前提下，释放下一代视频扩散模型的效率至关重要。