🤖 machine learning

Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems

该论文提出将确定性 DDIM 反向链视为分区迭代函数系统（PIFS），通过推导无需模型评估的几何量来统一解释扩散模型的动态机制，并据此为调度、架构及训练目标提供了理论依据，证明了多种主流经验设计选择实际上是这些显式几何优化问题的近似解。

原作者： Ann Dooms

发布于 2026-03-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ann Dooms

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种非常有趣的视角来解释**扩散模型（Diffusion Models）**是如何工作的。简单来说，它把原本复杂的数学过程，比作一种叫做“分形迭代函数系统”（PIFS）的古老图像压缩技术。

想象一下，扩散模型生成图片的过程，就像是一个**“从混沌到秩序”的魔法表演**。这篇文章告诉我们，这个魔术背后其实有一套严密的几何规则。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心概念：把去噪过程看作“拼图游戏”

通常我们认为扩散模型是像“雕刻家”一样，一点点把石头（噪音）凿成雕像（图片）。但这篇论文说，其实它更像是在玩**“分形拼图”**。

PIFS（分形迭代函数系统）是什么？
想象你有一张巨大的地图（数据分布）。PIFS 是一种方法，它不直接画整张地图，而是把地图切成很多小块（Patch/图块）。它发现，地图上的某一个小角落（比如一片森林），看起来和另一个大区域（比如整个大陆）缩小后的样子很像。
- 传统做法：试图一次性画出整张图。
- PIFS 做法：定义一套规则，告诉系统：“如果你把这块‘森林’缩小并旋转一下，就能覆盖那块‘大陆’。”通过反复应用这些规则，就能从简单的形状重构出复杂的图像。
扩散模型在做什么？
论文发现，扩散模型（特别是 DDIM 算法）在把噪音变成图片的过程中，实际上就是在隐式地学习这套“分形拼图规则”。它不是随机生成，而是在一步步地执行这些“缩小、旋转、覆盖”的几何操作。

2. 两个阶段的“魔法”：先搭骨架，再填细节

扩散模型生成图片时，明显分为两个阶段，论文用几何语言完美解释了为什么：

第一阶段：高噪音期（Regime I）—— “大雾中的全局组装”

场景：图片全是雪花点（噪音），什么都看不清。
比喻：就像在浓雾中指挥一场大型交响乐。
机制：
- 全局注意力（Self-Attention）：这时候，模型需要“眼观六路”。它必须把图片的每一个部分（图块）都联系起来，确保整体结构（比如“这是一只猫，而不是狗”）是对的。
- 几何解释：在这个阶段，模型通过**“抑制”**（Suppression）来防止任何局部细节过早膨胀。它像一个严厉的指挥家，按住每一个想乱动的音符，确保整体框架（全局上下文）先搭建好。
- 结果：虽然局部细节还没出来，但整体的“骨架”已经通过图块之间的相互联系（交叉耦合）建立起来了。

第二阶段：低噪音期（Regime II）—— “按顺序释放细节”

场景：图片逐渐清晰，但还比较模糊。
比喻：指挥家开始让不同的乐器组依次进场，从低音到高音，从粗糙到精细。
机制：
- 分层释放（Stratified Release）：模型不会同时释放所有细节。它会按照“方差”（即细节的复杂程度）从小到大的顺序，一个个“解锁”图片的图块。
- 为什么？：简单的、平滑的区域（如天空）先变清晰；复杂的、纹理丰富的区域（如毛发、眼睛）后变清晰。
- 几何解释：之前被“按住”的局部细节，现在一个个被“松开”。这种按顺序的释放，保证了细节是在正确的全局背景下生成的，避免了“先画了眼睛，结果发现脸的位置不对”的尴尬。

3. 为什么“自注意力机制”（Self-Attention）这么重要？

这是论文的一个重大发现。为什么现在的模型（如 Diffusion Transformers）都要用自注意力机制？

比喻：自注意力机制就是那个**“分形拼图的粘合剂”**。
解释：在“分形拼图”中，你需要知道“这块森林”应该对应“那块大陆”的哪个位置。自注意力机制允许图片的每一个像素点去“询问”其他所有像素点：“我属于哪里？我应该和谁连接？”
结论：论文证明，自注意力机制天然地就是实现这种“分形收缩”和“全局连接”的最佳工具。没有它，模型就无法在早期阶段把全局结构拼好。

4. 三个“几何量”：给模型设计的指南针

论文推导出了三个不需要运行模型就能计算的数值，它们像**“设计指南针”**一样，告诉工程师如何调整模型：

收缩阈值 ( $L^*_t$ )：
- 比喻：这是每一步“去噪”必须达到的最小力度。如果力度不够，图片就会散架；力度太大，又会把细节抹平。
- 应用：解释了为什么有些“噪音调度表”（Noise Schedule）更好。比如，为什么在图片快生成完时（低噪音），需要更精细的步长？因为这时候的“收缩阈值”最紧，稍微走错一步就前功尽弃。
对角扩张函数 ( $f_t(\lambda)$ )：
- 比喻：这是衡量**“局部细节是否该膨胀”**的尺子。
- 应用：它告诉我们，什么样的纹理（高方差）应该在什么时候开始变清晰。
全局扩张阈值 ( $\lambda^{**}$ )：
- 比喻：这是**“多样性”的开关**。
- 应用：如果图片的纹理复杂度超过了这个阈值，模型就会开始生成更多样化的细节；如果低于这个阈值，生成的图片就会变得千篇一律（甚至坍缩成一张死图）。

5. 对现有技术的“降维打击”式解释

这篇论文最厉害的地方在于，它用这套几何理论，统一解释了近年来很多著名的“经验性技巧”：

Cosine Offset（余弦偏移）：为什么要在噪音调度里加一个小偏移量？
- 解释：为了在最后一步（最精细的时候）给模型留一点“缓冲空间”，防止因为力度太猛把最后一点细节搞坏。
Min-SNR Loss（最小信噪比加权）：为什么训练时要给低噪音步骤更高的权重？
- 解释：因为低噪音阶段是“释放细节”的关键期（Regime II），之前的训练方法忽略了这里，导致模型在画细节时很吃力。加权就是告诉模型：“这里最重要，多花点力气！”
Align Your Steps（对齐步骤）：为什么采样时要在低噪音区多采几步？
- 解释：因为低噪音区的“几何难度”最大，需要更密集的“脚步”才能走稳，否则容易走偏。

总结

这篇论文就像给扩散模型做了一次**"CT 扫描”。它告诉我们：
扩散模型之所以能画出逼真的图片，不是因为它在随机猜测，而是因为它在严格地执行一套分形几何规则**。

它先通过全局连接（自注意力）搭建骨架。
再通过按顺序释放（分层收缩）填充细节。
所有的训练技巧（如调整噪音表、损失函数权重），本质上都是在优化这套几何规则的稳定性。

这就好比我们以前只知道“怎么把蛋糕烤好”（调参），现在终于知道了“为什么蛋糕会蓬松”（分形几何原理），以后就能更科学地设计更好的蛋糕（模型）了。

这篇论文《Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems》（分形实用化：去噪扩散作为分区迭代函数系统）由 Vrije Universiteit Brussel 的 Ann Dooms 撰写。文章建立了一个统一的理论框架，将确定性去噪扩散隐式模型（DDIM）的逆向生成链解释为分区迭代函数系统（Partitioned Iterated Function Systems, PIFS）。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

现代基于分数的扩散模型（Score-based Diffusion Models）通过序列去噪过程生成高质量图像。尽管其理论基础（随机微分方程 SDE 或概率流 ODE）提供了分布收敛的全局保证，但现有的连续视角将学习到的分数网络视为黑盒，无法解释以下核心问题：

机制黑盒：离散采样链如何在早期步骤组装全局空间上下文，并在后期步骤合成局部精细细节？
架构有效性：为什么**自注意力机制（Self-attention）**在生成任务中如此有效？
几何本质：扩散模型的动态行为（如双相行为）背后的几何结构是什么？

2. 方法论 (Methodology)

作者提出将 DDIM 的确定性逆向链 $\Phi$ 视为一个 PIFS（由 Jacquin, 1992 引入，用于分形图像压缩）。

PIFS 映射：图像被划分为非重叠的块（patches）。PIFS 通过一组仿射变换（收缩映射）将域块（domain blocks）映射到范围块（range blocks）。
DDIM 作为 PIFS：作者证明，训练好的扩散模型隐式地学习了一种组合映射，以重构数据流形。DDIM 的单步算子 $\Phi_t$ 在块级别上表现为收缩或扩张。
几何量推导：从 PIFS 结构中推导出了三个无需模型评估即可计算的几何量：
1. 每步收缩阈值 $L^*_t$ ：由噪声调度（Noise Schedule）决定。
2. 对角扩张函数 $f_t(\lambda)$ ：描述每个图像块（patch）在给定方差 $\lambda$ 下的扩张行为。
3. 全局扩张阈值 $\lambda^{**}$ ：通过离散 Moran 方程求解，决定了吸引子的分形维数。

3. 关键贡献 (Key Contributions)

A. 收缩结构 (Contraction Structure)

欧几里得收缩 (EC)：推导了单步算子 $\Phi_t$ 在欧几里得范数下的收缩条件。证明了分数匹配（Score-matching）训练目标在 Barnsley 的“拼贴定理”（Collage Theorem）意义上，等价于最小化拼贴误差。
块最大收缩 (PC)：在块最大范数下，定义了收缩因子 $\kappa^{pc}_t = \kappa^{diag}_t + \delta^{cross}_t$ 。其中 $\kappa^{diag}_t$ 是对角块（块内）的收缩， $\delta^{cross}_t$ 是交叉块（块间）的耦合。
训练与几何的联系：提出了一个 PIFS 正则化项，直接在训练中强制满足块最大收缩条件，从而控制生成分布与 PIFS 固定点之间的 Wasserstein 距离。

B. 双相结构 (Two-Regime Structure)

论文解释了扩散模型的两个定性不同的去噪阶段：

Regime I (高噪声/全局上下文组装)：
- 注意力机制是弥散的（Diffuse），导致强烈的交叉块耦合（ $\delta^{cross}_t$ 大）。
- 尽管高斯基线预测对角块会扩张，但学习到的**方向性抑制场（Directional Suppression Field, $S_{k,t}$ ）**将每个对角块的 Rayleigh 商压制在 1 以下，保持对角收缩。
Regime II (低噪声/精细细节合成)：
- 注意力机制局部化（Localizes），交叉耦合减弱。
- 分层释放（Stratified Release）：抑制场按方差顺序逐个释放图像块。低方差块先释放（较早进入扩张），高方差块后释放。
- 这种机制解释了为什么 Spearman 秩相关性在过渡期会出现符号反转（低方差块先扩张，高方差块后扩张）。

C. 吸引子几何 (Attractor Geometry)

Lyapunov 谱与 Kaplan-Yorke 维数：利用 Lyapunov 谱分析 PIFS 吸引子的分形维数。
Moran 方程：全局扩张阈值 $\lambda^{**}$ 是离散 Moran 方程 $\prod_{t=1}^T f_t(\lambda^{**}) = 1$ 的唯一解。
维度公式：只有当图像块的方差超过 $\lambda^{**}$ 时，该方向才会对吸引子的分形维数（即样本多样性）有贡献。方向性抑制场 $S_{k,t}$ 会修正有效扩张，从而降低吸引子的维数。

D. 实践启示 (Practical Implications)

基于上述几何量，作者提出了三个设计准则，并解释了现有的经验性设计选择：

最大化最弱环节的收缩阈值：解释了 Nichol-Dhariwal 的 Cosine 偏移（Offset）。偏移量 $s_{off}$ 提高了最后一步（精细细节阶段）的 $L^*_t$ ，防止收缩失效。
均衡每步的 Lyapunov 贡献：解释了 Min-SNR 损失加权。标准损失在高噪声步骤（ $\Delta d_t \approx 0$ ）权重过大，Min-SNR 通过截断重新加权，使训练更关注精细细节步骤，均衡信息增益。
平衡采样步长的收缩工作量：解释了 Align Your Steps (AYS) 采样调度。最优策略是在 $L^*_t$ 最小（即几何最难）的低噪声区域集中采样步数。
分辨率依赖的 LogSNR 偏移：解释了 Hoogeboom 等人的工作，即通过调整 LogSNR 来补偿不同分辨率下图像块方差的变化，以维持吸引子几何的一致性。

4. 实验结果 (Results)

作者在 CIFAR-10 和 CelebA-HQ 数据集上的预训练 DDPM 模型上进行了验证：

验证 P1-P5：
- 所有 CIFAR-10 图像块在去噪链中均超过扩张阈值，且存在正的方向性抑制场。
- 抑制场 $S_{k,t}$ 与图像块方差 $\lambda_k$ 呈正相关（高方差块受更强抑制）。
- 全局谱范数随去噪过程增长，且可分解为对角（受抑制控制）和交叉（受注意力控制）分量。
- Regime I 到 Regime II 的过渡：(PC) 条件在 Regime I 被违反，在 Regime II 满足。低方差块先释放抑制，导致 Spearman 相关性符号反转（ $\rho < 0$ ），随后恢复为正相关。
- CelebA-HQ 验证：在高分辨率下，抑制场足够强，使得所有块的 Lyapunov 指数为负，导致有效吸引子维数为 0（解释了该模型生成样本多样性较低但保真度高的现象）。
注意力熵与耦合：交叉块耦合 $\delta^{cross}_t$ 与注意力熵呈完美的负相关（ $\rho = -1.0$ ），证实了注意力局部化驱动了 Regime II 的形成。

5. 意义 (Significance)

理论统一：首次将分形几何（PIFS）与生成式扩散模型统一起来，为扩散模型的“黑盒”行为提供了清晰的几何解释。
架构解释：证明了自注意力机制是 PIFS 收缩的自然原语，其弥散与局部化的动态变化直接对应了生成过程中的全局组装与局部合成阶段。
设计指南：将经验性的超参数选择（如调度、损失加权、采样策略）转化为明确的几何优化问题，为未来扩散模型的设计提供了理论指导。
分形本质：结论指出，自然图像中 Barnsley 在 1988 年识别出的自相似块结构，正是驱动去噪扩散模型成功的核心动力。

简而言之，该论文通过引入 PIFS 框架，揭示了扩散模型如何通过“抑制 - 释放”机制和注意力动态，在几何上逐步构建图像，并将复杂的生成过程简化为可计算的几何量（收缩阈值、扩张函数、Moran 方程）的优化问题。