🤖 machine learning

TMPDiff: Temporal Mixed-Precision for Diffusion Models

本文提出了 TMPDiff，一种针对扩散模型的时序混合精度框架，通过为不同去噪步分配不同的数值精度并采用自适应二分搜索算法，在显著降低推理延迟的同时，相比统一精度基线实现了感知质量的显著提升。

原作者： Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TMPDiff 的新技术，旨在解决当前 AI 绘画（文生图）模型“画得慢”和“画得差”之间的矛盾。

为了让你轻松理解，我们可以把 AI 绘画的过程想象成一位画家在画一幅复杂的油画。

1. 背景：画家的困境

现在的 AI 绘画模型（扩散模型）非常强大，但画一幅画需要反复修改很多次（比如 20 次）。

现状：为了画得快，我们通常会让画家全程使用“简易工具”（低精度计算，比如 4 位或 8 位数字）。这就像让画家全程用铅笔画画，速度很快，但画出来的细节可能模糊、有噪点。
问题：如果全程用“精密仪器”（高精度计算，比如 16 位或 32 位），画出来的画非常完美，但速度太慢，等得让人着急。
旧方法的局限：以前的优化方法要么全程用铅笔，要么全程用精密仪器，或者只是把画布上某些区域（比如天空）用精密仪器，其他地方用铅笔（这叫“空间混合精度”）。但这忽略了时间上的变化：画家在画的不同阶段，对工具的依赖程度是不一样的。

2. 核心发现：画画的“节奏感”

TMPDiff 的研究人员发现了一个有趣的规律：画画的不同阶段，对精度的要求是不同的。

起稿阶段（早期步骤）：这时候画家在勾勒大轮廓、定构图。这时候如果手抖一下（精度低），整个画的构图就歪了，后面怎么改都救不回来。所以，早期必须用“精密仪器”。
上色修饰阶段（后期步骤）：这时候轮廓已经定好了，只是在细化纹理、调整颜色。这时候稍微用点“简易工具”（低精度），对最终效果影响不大，而且能省很多时间。

之前的错误做法：就像让画家全程用铅笔，或者全程用精密仪器，没有根据画画的节奏来切换工具。

3. TMPDiff 的解决方案：智能切换工具

TMPDiff 就像给画家配了一位聪明的“艺术总监”。这位总监会告诉画家：

“前 5 笔，请用精密仪器，因为这时候定生死；中间 10 笔，你可以用铅笔，随便画，反正大局已定；最后 5 笔，再切回精密仪器做最后的点睛之笔。”

它是怎么做到的？

误差累加理论：研究人员发现，每一步画错一点点，这些错误会像滚雪球一样累积。但是，早期的错误滚得最大，后期的错误滚得小。
二分法搜索（像找宝藏）：要找出哪几步最重要，如果一个个试（比如试第 1 步、第 2 步...），就像在 20 个盒子里找宝藏，试的次数太多（指数级增长）。TMPDiff 发明了一种“二分法”策略：先试开头、中间和结尾，发现哪里“误差最大”（也就是最需要精密仪器），就重点检查那个区域，迅速锁定关键步骤。这就像在找书时，先翻中间，根据目录快速定位，而不是从头一页页翻。

4. 效果：又快又好

实验结果表明，TMPDiff 非常成功：

速度提升：在 FLUX.1-dev 这个顶级模型上，它让生成速度提升了 2.5 倍（相当于原来画 1 分钟，现在 24 秒就搞定）。
质量保持：虽然速度快了，但画出来的图质量几乎没有下降，甚至保留了 90% 的原始画质（SSIM 指标）。
对比优势：在同样的速度下，它比那些“全程用铅笔”或“全程用精密仪器”的方法，画出来的图在视觉感知上提升了 10% 到 20%。

5. 总结：一个生动的比喻

想象你在长途驾驶：

旧方法：要么全程开在拥堵的市区（高精度，慢但稳），要么全程在崎岖的土路上飙车（低精度，快但容易翻车）。
TMPDiff：它像是一个智能导航。它知道在起步和变道（早期步骤）时，必须小心驾驶（高精度）；而在高速巡航（中期步骤）时，可以稍微放松油门（低精度）；到了下高速和停车（后期步骤）时，又需要小心控制（高精度）。

结论：TMPDiff 不需要换车（不需要换模型），也不需要修路（不需要改算法），它只是更聪明地分配了精力。它让 AI 绘画在保持高质量的同时，飞一般地快。这对于未来让 AI 在手机、平板等普通设备上流畅运行，具有非常重要的意义。

1. 研究背景与问题定义 (Problem)

背景：
扩散模型（Diffusion Models）已成为文本生成图像（Text-to-Image, T2I）的主流方法。然而，其推理过程涉及大量的迭代去噪步骤（通常数十步），且模型参数量巨大（数十亿参数），导致推理延迟高，难以在资源受限的设备上实时部署。

现有方案及其局限性：

量化（Quantization）： 通过降低数值精度（如从 FP16 降至 INT4/INT8）来加速推理。
固定精度（Uniform Precision）： 现有的量化方法通常在所有去噪步（timesteps）上使用固定的精度。
问题核心： 扩散模型在不同去噪步对量化的敏感度（Sensitivity）是不同的。早期的步数负责构建图像的全局布局，对误差更敏感；后期的步数负责细化纹理，对误差相对不敏感。现有的固定精度策略忽略了这一**时间轴（Temporal Axis）**上的差异，导致要么为了速度牺牲了过多质量，要么为了质量保留了不必要的计算开销。

目标：
探索时间混合精度（Temporal Mixed-Precision），即为不同的去噪步分配不同的数值精度，在保持推理速度提升的同时，最小化量化误差对最终图像质量的影响。

2. 方法论 (Methodology)

作者提出了 TMPDiff 框架，其核心包含三个主要部分：

2.1 误差累加模型 (Additive Error Model)

理论推导： 基于去噪扩散隐式模型（DDIM）的更新规则，作者推导了量化误差在时间步上的传播公式。
核心假设： 假设量化误差在最终潜在空间（Latent Space）中是**近似可加（Approximately Additive）**的。即，最终输出的总偏差 $\delta_0$ 可以表示为各个时间步引入的局部量化误差 $\epsilon_t$ 的加权和。
数学表达：
$\boldsymbol{\delta}_0(Z) = \sum_{t=1}^{T} \left( \prod_{j=1}^{t-1} \mathbf{A}_j \right) B_t \boldsymbol{\epsilon}_t (1 - z_t)$
其中 $z_t=1$ 表示该步使用全精度（无误差）， $z_t=0$ 表示量化（引入误差）。
验证： 实验表明，单个时间步的量化误差贡献与最终误差之间存在极强的线性相关性（Pearson $r > 0.94$ ），证明了该加性假设的有效性。

2.2 自适应二分搜索算法 (Adaptive Bisectioning Algorithm)

挑战： 如果直接搜索所有可能的精度分配组合，搜索空间是指数级的（ $2^T$ ），对于长序列去噪过程不可行。
解决方案： 利用误差曲线的平滑性和早期步数误差贡献大的特性，提出了一种自适应二分搜索策略。
1. 锚点初始化： 首先计算第一个、中间和最后一个时间步的“上采样增益”（即从量化转为全精度带来的误差减少量 $\Delta^\uparrow_t$ ）。
2. 稀疏采样与插值： 将未采样的时间步分组，根据端点的平均增益评分。
3. 迭代细化： 优先采样评分最高的区间的中点，重复此过程直到达到采样预算。
4. 贪心选择： 根据插值后的增益曲线，选择增益最大的 $K$ 个时间步分配全精度，其余分配量化精度。
复杂度： 将原本指数级的搜索问题降低为线性时间复杂度，仅需少量校准步骤即可找到最优调度。

2.3 延迟预算与调度 (Latency-Aware Scheduling)

根据阿姆达尔定律（Amdahl's Law），在给定目标加速比 $r$ 下，可以计算出允许使用全精度的最大步数 $K$ 。
TMPDiff 在满足 $K$ 的约束下，自动选择对图像质量影响最大的 $K$ 个时间步使用全精度。

3. 主要贡献 (Key Contributions)

加性误差模型与验证： 首次提出了针对扩散模型时间混合精度的加性误差模型，并在多个模型和数据集上通过实验验证了量化误差在时间轴上的近似可加性。
TMPDiff 框架： 提出了一种新的时间精度调度框架，包含一个自适应二分搜索算法。该算法能以线性时间复杂度找到最优的每步精度分配方案，避免了昂贵的暴力搜索。
时间敏感性评分的通用性： 证明了基于时间步的敏感性评分不仅适用于量化，还适用于混合不同大小的模型（如将大模型用于关键步，小模型用于非关键步），其效果优于基于进化搜索的启发式方法。

4. 实验结果 (Results)

实验在四个最先进的扩散模型（FLUX.1-dev, PixArt-Σ, Sana, StableDiffusion XL）和三个数据集（COCO, DCI, MJHQ）上进行。

性能提升：
- 在匹配加速比的情况下，TMPDiff 相比均匀精度基线（Uniform-precision baselines），在感知质量指标（SSIM, LPIPS, PSNR）上提升了 10% 到 20%。
- FLUX.1-dev 案例： 在 2.5 倍 加速比下（相比 16-bit 推理），TMPDiff 实现了 90% 的 SSIM（相对于全精度模型），相比 16-bit 基线延迟降低了 60%，且质量下降极小。
- SDXL 案例： 在 1.33 倍加速比下，SSIM 从 TensorRT 8-bit 基线的 0.42 提升至 0.85。
帕累托最优（Pareto Optimality）： TMPDiff 成功填补了“全精度（慢但高质量）”和“均匀量化（快但低质量）”之间的空白，提供了更灵活的质量 - 速度权衡选择。
通用性验证： 在混合不同规模模型（Sana 1.6B 和 600M）的实验中，TMPDiff 的调度策略优于基于人工启发式或进化搜索的方法，且校准成本更低。

5. 意义与影响 (Significance)

开辟新的优化维度： 现有的混合精度研究主要集中在空间维度（不同层/模块分配不同精度），而 TMPDiff 首次系统性地探索了时间维度（不同去噪步分配不同精度），为扩散模型推理优化提供了新的视角。
理论指导实践： 通过建立加性误差模型，将复杂的组合优化问题转化为可解的贪心问题，使得在大规模模型上进行精细化的精度调度成为可能。
实际应用价值： 该方法无需重新训练模型，仅通过离线校准即可部署，能够显著降低扩散模型的推理延迟，使其更适用于移动端、边缘设备或对延迟敏感的应用场景，同时保持极高的图像生成质量。
未来方向： 论文指出了未来工作方向，包括在硬件层面优化精度切换的 Kernel 实现，以及通过权重卸载（Weight Offloading）或嵌套量化技术进一步降低内存开销。

总结： TMPDiff 通过发现并利用扩散过程中误差随时间步累积的规律，提出了一种高效、通用的时间混合精度调度框架，显著解决了扩散模型推理中速度与质量的矛盾。