🤖 AI

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

本文提出了基于两阶段训练和 Kolmogorov-Arnold 网络（KAN）的 LESA 框架，通过多阶段多专家架构实现了对扩散模型特征的精准学习，在 FLUX.1-dev、Qwen-Image 和 HunyuanVideo 等多个模型上实现了显著加速（最高 6.25 倍）的同时保持了高保真生成质量，甚至超越了现有最先进方法。

原作者： Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peiliang Cai, Jiacheng Liu, Haowen Xu, Xinyu Wang, Chang Zou, Linfeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 LESA 的新方法，它的核心目标是让 AI 画图和视频的速度变得飞快，同时还能保持画得好看。

为了让你轻松理解，我们可以把 AI 生成图像的过程想象成一位画家在画一幅复杂的油画。

1. 现在的痛点：画家太累了

目前的 AI 模型（比如 Diffusion Models）画一幅画，需要走很多步（比如 50 步）。

传统做法：画家每一步都要重新思考、重新调色、重新下笔。这就像画家每画一笔，都要把整张画重新看一遍，非常慢，电脑也很累。
现有的加速方法：为了快一点，以前的方法有两种：
1. 直接复用（Cache-Then-Reuse）：就像画家偷懒，觉得“刚才那笔和现在差不多”，直接拿刚才的笔触盖上去。但这在画细节时容易出错，画面会糊掉。
2. 简单预测（TaylorSeer 等）：就像画家根据前几笔的走势，用简单的数学公式猜下一笔。但这有个问题：画画的节奏不是均匀的！ 刚开始画大轮廓时变化剧烈，最后画细节时变化很细微。简单的公式猜不准这种“忽快忽慢”的节奏，导致画出来的东西变形或失真。

2. LESA 的解决方案：请了一位“懂节奏的超级助手”

LESA 的核心思想是：不要用一个死板的公式去猜，而是请一个聪明的助手，根据画画的不同阶段，用不同的策略来预测。

核心比喻：分阶段的“智能导航”

想象你在开车去一个陌生的地方，路程分为三个阶段：

起步阶段（高噪声期）：车子刚发动，方向乱晃，变化剧烈。这时候你需要反应极快、频繁调整的导航。
巡航阶段（中噪声期）：车子上了高速，路况平稳。这时候导航可以稍微放松，预测未来几公里。
进站阶段（低噪声期）：车子要进小区停车了，需要极其精准地微调方向，不能乱猜。

LESA 就是这样一个“分阶段导航系统”：

它把画画的过程切分成三个阶段（起步、巡航、进站）。
每个阶段都配了一个专门的专家（Expert）。
- 起步专家：专门处理剧烈变化，猜得准。
- 巡航专家：专门处理平稳变化，效率高。
- 进站专家：专门处理细节微调，保质量。

核心技术：KAN（柯尔莫哥洛夫 - 阿诺德网络）

这个“专家”的大脑里装了一种叫 KAN 的新技术。

以前的 AI（MLP）：像是一个只会用固定公式算数的计算器，不管情况多复杂，都硬套同一个公式。
LESA 的 KAN：像是一个会变形的橡皮泥。它不仅能算数，还能根据数据的样子，自动调整自己的“形状”和“逻辑”。它能更灵活、更精准地学会“画画时特征是如何随时间变化的”，而且用的参数很少，计算很快。

3. 它是如何训练的？（两步走战略）

为了让这个助手真正学会，作者设计了两个训练阶段：

看老师示范（Ground-Truth Training）：先让助手看着画家（AI 模型）一步步画，老师手把手教它：“这一步应该变成什么样”。这时候助手学的是标准答案。
自己开车（Closed-Loop Training）：然后让助手自己开车。如果它猜错了，它会根据自己猜错的结果，继续猜下一步。这就像在模拟真实驾驶中遇到的“误差累积”，让助手学会即使前面有点小偏差，后面也能把路修回来，变得非常稳健。

4. 效果有多好？（成绩单）

论文在几个最火的 AI 模型（FLUX, Qwen-Image, HunyuanVideo）上做了测试，效果惊人：

速度提升：
- 在 FLUX 模型上，速度提升了 5 倍，画质几乎没掉（只掉了 1%）。
- 在 Qwen-Image 上，速度提升了 6.25 倍，而且画质比之前的“最强加速法”（TaylorSeer）还要好 20% 以上！
- 在视频生成上，速度也提升了 5 倍，画面更清晰，没有乱跳。
简单说：以前画一张图要等 10 秒，现在用 LESA 可能只要 1-2 秒，而且画出来的东西依然清晰、漂亮，不会像以前那样糊成一团或长歪了。

总结

LESA 就像给 AI 画家配了一位“懂节奏、会变形、能纠错”的超级副驾驶。
它不再用“一刀切”的笨办法去加速，而是根据画画的不同阶段，灵活切换策略。这让 AI 既能跑得飞快，又能画得漂亮，真正解决了 AI 生成内容“太慢”和“太贵”的难题。

1. 研究背景与问题 (Problem)

核心挑战：
扩散模型（特别是基于 Transformer 的 DiT 架构，如 FLUX.1, Qwen-Image, HunyuanVideo）在图像和视频生成任务中表现卓越，但其推理过程需要大量的迭代去噪步骤，导致极高的计算成本和延迟，限制了实际部署。

现有方法的局限性：
为了加速推理，研究者提出了**特征缓存（Feature Caching）**技术，主要分为两类：

缓存后重用 (Cache-Then-Reuse)： 直接复用上一时刻的特征。假设相邻步特征变化极小，但忽略了时间演化，导致误差快速累积。
缓存后预测 (Cache-Then-Forecast)： 假设特征随时间平滑演化，使用无训练（Training-free）的泰勒展开（Taylor expansion）或多项式外推来预测未来特征。

关键发现：
论文通过实验分析（如图 2 所示）发现，扩散过程的特征演化具有强烈的阶段依赖性（Stage-dependent）：

高噪阶段（早期）： 特征变化剧烈、不稳定（Oscillatory/Drastic Change）。
中噪阶段（中期）： 特征演化相对稳定、连续（Stable/Smooth）。
低噪阶段（晚期）： 特征进入细节微调，变化收敛（Convergent）。

现有的单一固定预测策略（无论是简单重用还是全局泰勒展开）无法适应这种非均匀、分阶段的动态变化，导致在加速比高时生成质量严重下降（如结构扭曲、语义不一致）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 LESA (Learnable Stage-Aware) 框架，其核心思想是**“分阶段建模”与“可学习预测”**相结合。

2.1 核心架构：多阶段多专家机制 (Multi-Stage Multi-Expert)

LESA 将去噪轨迹根据噪声水平划分为不同的阶段，并为每个阶段部署专用的预测器（Expert Predictor）：

高噪专家 (High-noise Expert)： 处理早期剧烈变化的特征，采用较短的时间窗口（ $K=4$ ）以适应快速转换。
中噪专家 (Mid-noise Expert)： 处理中期稳定的去噪过程。
低噪专家 (Low-noise Expert)： 处理晚期细节微调，采用较长的时间窗口（ $K=8$ ）以捕捉历史依赖。

2.2 预测器设计：基于 KAN 的时序建模

每个专家预测器采用 Kolmogorov-Arnold Network (KAN) 作为基础架构，而非传统的 MLP。

输入： 过去 $K$ 步的特征序列 $\{h_{t}, \dots, h_{t-K+1}\}$ 和时间步偏移量 $\Delta t$ 。
机制：
1. 线性投影： 将历史特征序列映射为特征表示 $z$ 。
2. KAN 调制： 利用 KAN 网络处理时间步偏移量，学习一个标量调制因子 $\alpha$ 。KAN 的优势在于其使用可学习的样条函数（Learnable Spline Functions）而非固定激活函数，能更灵活、高效地拟合复杂的非线性时序动态。
3. 残差更新： 预测特征 $\hat{h}_{t-1} = h_t + \alpha \cdot z$ 。
优势： KAN 能够以极少的参数精确捕捉扩散过程中细微的、非线性的时间演化规律，克服了泰勒展开等固定公式的局限性。

2.3 训练策略：两阶段训练 (Two-Stage Training)

为了应对推理时的误差累积（Drift），LESA 采用了两阶段训练策略：

真值引导训练 (Ground-Truth Guided Training)：
- 输入：过去 $K$ 步的真实（Ground Truth）特征。
- 目标：最小化预测特征与真实特征的 L1 损失。
- 目的：让预测器学习去噪动力学的基本规律。
闭环自回归训练 (Closed-Loop Autoregressive Training)：
- 输入：过去 $K$ 步特征中混合了预测器自身的历史预测值和模型的真实输出。
- 目的：模拟真实推理场景，让模型学习在存在累积误差（Drift）的情况下如何保持鲁棒性，防止误差发散。

3. 主要贡献 (Key Contributions)

可学习的时序预测框架： 首次将 KAN 引入扩散模型加速，直接学习激活值中的时序动态，突破了无训练预测方法（如泰勒展开）的精度瓶颈。
阶段感知的多专家架构： 提出根据噪声水平划分阶段并分配专用预测器的机制，显式建模了扩散过程的非均匀动态特性，显著提升了预测的保真度。
鲁棒的训练策略： 设计了“真值引导 + 闭环自回归”的两阶段训练流程，有效解决了加速推理中的误差累积问题，确保了高加速比下的稳定性。

4. 实验结果 (Results)

LESA 在多个主流模型（FLUX.1-dev/schnell, Qwen-Image, HunyuanVideo）上进行了广泛验证，表现出 SOTA 性能：

FLUX.1-dev (文生图)：
- 实现了 5.00× 加速，PSNR 仅下降 1.0%（保持高质量）。
- 在 6.25× 加速下，ImageReward 和感知指标依然保持竞争力。
Qwen-Image (文生图)：
- 实现了 6.25× 加速。
- 相比之前的 SOTA 方法 TaylorSeer，质量提升了 20.2%（在 ImageReward 等指标上），显著减少了伪影和结构失真。
HunyuanVideo (文生视频)：
- 实现了 5.00× 加速。
- 相比 TaylorSeer，PSNR 提升了 24.7%，在保持时间一致性和动态过程流畅性方面表现优异。
消融实验： 证明了“阶段分割”和"KAN 模块”的结合是性能提升的关键，特别是在大加速比（如 $N=10$ ）下，LESA 比基线模型在 ImageReward 上高出 3.4%。
资源效率： 在显存占用（VRAM）和计算量（FLOPs/MACs）方面，LESA 优于或持平于其他缓存方法，且无需额外的模型微调（仅训练轻量级预测器）。

5. 意义与总结 (Significance)

LESA 的核心价值在于：
它打破了传统扩散模型加速中“固定规则（如泰勒展开）”或“简单重用”的局限，通过数据驱动的可学习机制，精准捕捉了扩散过程在不同阶段的复杂动态特性。

理论突破： 证明了扩散过程的特征演化并非简单的平滑曲线，而是具有阶段性的非线性动态，需要针对性的建模。
技术落地： 提供了一种通用、高效且高质量的加速方案，能够在大幅降低推理延迟（最高 6.25 倍）的同时，几乎不牺牲生成质量，甚至在某些指标上优于原始模型或现有加速方法。
通用性： 该方法不仅适用于图像生成，也成功扩展到了视频生成领域，展示了其在多模态生成任务中的强大泛化能力。

综上所述，LESA 为扩散模型的高效部署提供了一条新的技术路径，即通过**“分而治之”的阶段感知策略结合“可学习函数逼近”的 KAN 架构**，实现了速度与质量的最佳平衡。