🤖 machine learning

DiffATS: Diffusion in Aligned Tensor Space

本文介绍了 DiffATS，这是一个生成框架，它直接在源自 Tucker 分解和正交 Procrustes 对齐的紧凑、数据自适应张量原语上训练扩散模型，从而能够在不依赖预训练深度自编码器的情况下实现高效的高分辨率时空生成。

原作者： Jinhua Lyu, Tianmin Yu, Brian Kim, Lizhuo Zhou, Chanwook Park, Naichen Shi

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinhua Lyu, Tianmin Yu, Brian Kim, Lizhuo Zhou, Chanwook Park, Naichen Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DiffATS：对齐张量空间中的扩散》的通俗解释，辅以日常类比。

核心难题：试图用大锤绘制杰作

想象一下，你想教机器人绘制一幅复杂的高分辨率视频，内容可能是暴风雨中的海洋或旋转的星系。这些场景的数据量极其庞大——就像一块巨大的三维数字块（即“张量”）。

标准的 AI 模型试图通过观察这块巨大数字块中的每一个数字来学习。这就像试图通过盯着沙滩上的每一粒沙子来学习如何绘制一幅杰作。这种方法既缓慢又昂贵，甚至需要一台房屋大小的超级计算机来进行数学运算。

为了解决这个问题，其他方法尝试先对数据进行“压缩”。它们使用一个预训练的“挤压机器”（即自编码器）将巨大的数字块转换为更小、更简单的版本，让 AI 在这个简化版本上学习，稍后再将其“解压”还原。但这里有个关键问题：对于科学数据（如天气模式或流体动力学），我们通常没有现成的预训练“挤压机器”。为每一个具体问题构建一个新的“挤压机器”既昂贵又困难。

论文的解决方案：一个智能、定制的归档系统

作者提出了 DiffATS。他们不使用预训练的“挤压机器”，而是为手头的数据构建一个定制的数学归档系统。他们称该系统为对齐张量基元（Aligned Tensor Primitives）。

这就像整理一个杂乱的图书馆。

1. “ Tucker"理念：化整为零

论文始于一种名为 Tucker 分解 的数学技巧。想象你有一个巨大而复杂的三维拼图。与其保留整个拼图，不如将其分解为：

一个包含主要形状的微小“核心”部分。
若干“因子”矩阵，告诉你如何拉伸和旋转该核心以重建拼图。

这很棒，因为它使用的数字数量远少于原始拼图。然而，这里有一个巨大的问题：拼图具有歧义性。

2. “歧义”问题：旋转的拼图

想象你有一个方形的拼图块。你可以将其旋转 90 度，它仍然能嵌入同一个位置。或者你可以将其翻转。从数学上讲，存在无数种旋转这些“因子矩阵”的方式，同时仍能构建出完全相同的图像。

如果你试图教 AI 生成这些拼图，AI 会感到困惑。它看到同一幅图像以百万种不同的旋转方式呈现。这就像试图教一个孩子识别狗，但有时狗是站着的，有时是倒立的，有时在旋转。AI 会浪费精力去学习所有的旋转方式，而不是学习狗实际上长什么样。

3. “OP 对齐”修复：锚点

这是论文的秘诀所在。他们使用了一种名为 正交 Procrustes（OP）对齐 的技术。

想象你有一把“主钥匙”（即锚点），它代表了拼图块最典型的朝向。在将任何拼图块展示给 AI 之前，你强制将其旋转，直到它完美匹配主钥匙。

之前： AI 看到一个拼图块指向北方，然后是东方，接着是南方。
之后： AI 总是看到拼图块指向北方，因为你已先将其与主钥匙对齐。

通过这样做，AI 不再需要学习如何旋转物体。它只学习实际内容。这使得学习过程更快、更准确。

DiffATS 的工作原理（流程）

选择锚点： 系统查看大量训练数据，并选择一个“代表性”朝向（即 Medoid）作为主钥匙。
对齐所有数据： 每一块数据都在数学上被旋转以匹配该主钥匙。
训练 AI： AI 学习生成这些“已对齐”的块。因为它们都朝向同一方向，AI 能更好地学习模式。
重建： 当 AI 完成生成新块后，系统只需将其“反向旋转”（利用数学规则），即可构建出最终的高分辨率图像或视频。

结果：更小、更快、更好

论文在三种类型的数据上测试了该方法：

图像： 高分辨率人脸（CelebA-HQ）。
视频： 移动的数字（Moving MNIST）。
科学： 流体流动和天气模拟（偏微分方程 PDEs）。

主要成果：

压缩： DiffATS 将数据压缩了 3.9 倍至 210 倍。这就像将一部 100GB 的电影压缩成 1GB 的文件，却未丢失任何故事内容。
无需预训练： 与其他方法不同，它不需要预训练的“挤压机器”。它即时构建自己的归档系统。
更高质量： 在每一项测试中，DiffATS 生成的图像和视频都比其他“无自编码器”方法更清晰、更准确。即使在其他方法使用相同压缩空间的情况下，DiffATS 依然胜出。

总结

DiffATS 是一种教 AI 生成复杂数据的新方法。它不再强迫 AI 去学习如何旋转和翻转数据（这既令人困惑又浪费资源），而是首先强制数据排成一条直线。这使得 AI 的工作更轻松，训练更快速，最终结果更清晰，且无需昂贵的预训练工具。

技术摘要：DiffATS：对齐张量空间中的扩散

1. 问题陈述

直接对高分辨率时空场（例如视频、气象数据、流体动力学和偏微分方程 (PDE) 解）进行扩散建模在计算上是不可行的。标准扩散模型 (DMs) 需要在完整数据维度上进行重复的函数评估，导致巨大的训练和采样成本。例如，在大小为 $84 \times 720 \times 1440$ 的张量上训练一个天气预报模型，需要数十个 TPU 运行数天。

为了缓解这一问题，潜在扩散模型 (LDMs) 通常采用变分自编码器 (VAEs) 将数据压缩到更低维的潜在空间。然而，对于科学数据，现成的预训练自编码器往往不可用，而训练特定任务的自编码器既昂贵又需要复杂的优化。虽然基于离散余弦变换 (DCT) 或固定 Tucker 分解的无自编码器基元存在，但它们依赖于预定义的基，这些基可能无法最优地近似原始数据的固有结构。

本文提出了以下问题：我们能否通过利用高分辨率时空数据的固有低秩结构，构建数据依赖的、参数高效的基元，从而在不依赖预训练自编码器的情况下改进生成建模？

2. 方法论

所提出的框架对齐张量空间中的扩散 (DiffATS) 通过基于 Tucker 分解和正交 Procrustes (OP) 对齐的张量基元的新颖构建，解决了计算和表征方面的挑战。

2.1 自然 Tucker 基元的退化性

作者指出，直接将标准 Tucker 分解因子（核心张量和模态因子矩阵）用作扩散训练的基元并非最优。Tucker 分解具有非唯一性：单个张量可以由无限多种核心张量和因子矩阵的组合表示，这些组合通过正交旋转相互关联。这种“规范模糊性”导致基元空间分散，破坏了映射的连续性，并增加了扩散模型学习得分函数的难度。

2.2 正交 Procrustes (OP) 对齐

为了解决这种退化性，DiffATS 引入了正交 Procrustes (OP) 对齐。

锚点选择：该方法从训练数据中选择“中位”锚点矩阵。这些锚点代表了因子矩阵经验分布中最中心或最具代表性的子空间。
对齐：对于每个数据样本，通过寻找最小化 Frobenius 范数距离的最优正交旋转，将因子矩阵对齐到相应的锚点矩阵。这从每个 Grassmann 等价类中选择一个唯一的规范代表。

2.3 Grassmann 基元

基于 OP 对齐，本文定义了两类基元：

矩阵 Grassmann 基元 (MGPs)：适用于低秩矩阵（例如 1-D PDE 或图像块）。基元由对齐的奇异向量和变换后的奇异值组成。
张量 Grassmann 基元 (TGPs)：适用于低多线性秩张量（例如视频或 2-D PDE）。基元由核心张量和选定模态的对齐因子矩阵组成。

这些基元是数据自适应的（源自特定数据集的结构）且参数高效的，将原始数据压缩了 $3.9\times$ 到 $210\times$ 倍。

2.4 理论保证

作者证明，在特定的“锚点重叠”条件下（即数据的子空间与锚点具有非平凡的重叠），从原始张量空间到基元空间的映射是一个同胚。这一理论结果证实了：

映射是双射的（一对一且满射）。
映射是连续的，保留了数据分布的局部拓扑结构。
表征是非退化的，确保扩散模型学习到的基元分布是忠实的。

2.5 DiffATS 流程

预处理：通过 HOOI（高阶正交迭代）或 SVD 分解高维张量。
对齐：通过 OP 将因子矩阵对齐到中位锚点。
训练：直接在基元（核心张量和对齐因子）上训练扩散模型（使用 DiT 骨干网络）。
推理：模型在基元空间中生成样本，然后通过显式多线性重建（将核心乘以对齐因子）将其重建回原始数据空间。

3. 主要贡献

新颖基元：引入了 MGPs 和 TGPs 作为数据自适应、参数高效的表征，既保留了 Tucker 分解的表现力，又通过锚定的 OP 对齐解决了旋转模糊性。
理论基础：证明了在重叠条件下，所提出的基元映射是同胚，为用于生成建模的低秩基元族提供了首个形式化的同胚保证。
无自编码器框架：提出了 DiffATS，这是一个端到端框架，直接在基元空间中进行训练和采样，无需依赖预训练的深度压缩自编码器。
实证性能：证明了 DiffATS 在图像、视频和 PDE 解方面优于现有的无自编码器基线（DCTDiff, SDIFT, AvgPool）和有竞争力的神经算子（FNO），在相当或更高的压缩率下实现了更优的生成质量。

4. 实验结果

作者在六个基准数据集上评估了 DiffATS：

图像：CelebA-HQ ( $1024 \times 1024$ )。
视频：Moving MNIST。
PDEs：1-d Burgers、1-d 反应 - 扩散、2-d Burgers 和 2-d 卡门涡街。

主要发现：

生成质量：DiffATS 在 CelebA-HQ 上取得了最佳的 Fréchet Inception Distance (FID)（23.57，而 AvgPool 为 32.89），在 Moving MNIST 上取得了最佳的 Fréchet Video Distance (FVD)（415.42，而 AvgPool 为 487.82）。
PDE 预测：在条件生成任务（给定初始条件预测未来轨迹）中，DiffATS 显著优于所有基线。例如，在 1-d 反应 - 扩散数据集上，与最佳基线 (SDIFT) 相比，其相对 $\ell_2$ 误差降低了约 $9\times$ 。
压缩：该方法在保持高保真度的同时，实现了 $3.9\times$ 到 $210\times$ 的压缩率。
消融实验：实验证实，使用带有 OP 对齐的数据依赖基至关重要；移除对齐或使用共享基会显著降低性能。

5. 意义与主张

本文主张，DiffATS 为科学和高分辨率时空数据的基于自编码器的潜在扩散提供了一种稳健的替代方案，特别是在预训练自编码器不可用或难以训练的情况下。通过利用此类数据的固有低秩结构，并通过几何对齐解决张量分解的非唯一性，DiffATS 实现了高效且高质量的生成建模。

作者将其工作定位为针对生成任务中标准张量分解“退化”问题的解决方案，提供了一种理论上可靠的方法来创建稳定、低维的表征。他们强调，他们的目标并非超越依赖大规模预训练自编码器（如 Stable Diffusion）的最先进图像合成模型，而是针对时空物理场这一特定领域，在该领域中缺乏此类资源，且低秩结构是主导特征。

作者建议的未来方向包括探索多锚点 OP 对齐和动态秩选择，以放宽同胚保证所需的假设。