技术摘要：谱生成流模型 (Spectral Generative Flow Models, SGFMs)

1. 问题陈述

本文指出了当前占主导地位的生成式建模范式——基于 Transformer 的向量化大语言模型 (vLLMs) ——存在的根本性局限。尽管 vLLMs 在经验上取得了成功，但它们依赖于离散的符号本体论以及一种在处理长程连贯性、多模态统一和相干时空生成时显得结构约束过强的注意力机制。

作者认为 vLLMs 存在四个主要问题：

1. 离散性： 分词（Tokenization）破坏了语义和视觉数据中固有的连续性、拓扑结构和几何结构，迫使模型必须隐式地学习平滑性。
2. 二次方缩放： 全局注意力机制需要 $O(N^2)$ 的时间和内存复杂度，这为长上下文和高分辨率视频带来了计算瓶颈。
3. 静态参数化： 生成过程是通过静态的条件分布进行的，缺乏对动力学状态演化的明确概念，导致不确定性是逐步坍缩而非传播。
4. 模态碎片化： 不同的模态（文本、图像、视频）需要不同的分词方案和架构适配，缺乏统一的生成原则。

本文认为，这些问题源于离散的、以注意力为中心的架构与物理生成系统组织原则之间的错位，而在后者中，连贯性是从局部动力学下的连续场演化中涌现出来的。

2. 方法论

作者提出了 谱生成流模型 (SGFMs)，该框架将生成重新定义为受约束随机偏微分方程 (SPDEs) 控制的连续场演化，而非符号序列预测。

2.1 场论本体

SGFMs 不使用离散的 token，而是将文本和视频建模为可分希尔伯特空间（例如 $L^2(\Omega)$）中连续向量场 $u(x, t)$ 的轨迹。

• 文本： 被建模为二维场 $(x, t)$，其中 $x$ 是语义位置，$t$ 是生成时间。
• 视频： 被建模为三维场 $(x, y, t)$，其中 $(x, y)$ 是空间坐标。
• 统一动力学： 相同的控制方程适用于所有模态；仅领域维度（Domain dimensionality）发生变化。

2.2 控制动力学

生成过程由类纳维尔-斯托克斯 (Navier–Stokes-like) 的 SPDE 定义：
$$\partial_t u + (u \cdot \nabla)u = -\nabla p + \nu \Delta u + f_\theta(u) + \sigma \xi$$
受限于不可压缩约束 $\nabla \cdot u = 0$。

• 非线性平流 $(u \cdot \nabla)u$： 模拟语义或视觉信息的传输，使长程依赖能够通过随时间的局部相互作用而涌现。
• 耗散 $\nu \Delta u$： 控制平滑度和稳定性，抑制高频噪声（幻觉）。
• 压力 $p$： 作为拉格朗日乘子来强制执行不可压缩约束，从而在没有显式全局耦合的情况下确保全局一致性。
• 随机强迫 $\xi$： 代表不确定性和创造性多样性，建模为柱状维纳过程 (Cylindrical Wiener process)。

2.3 谱小波表示

为了确保可处理性和数据效率，场 $u$ 在正交多分辨率小波基中进行展开：
$$u(x, t) = \sum_{j,k} c_{j,k}(t) \psi_{j,k}(x)$$

• 尺度分离： 粗尺度系数 ($c^{coarse}$) 编码全局语义和结构，呈确定性演化或在弱噪声下演化。细尺度系数 ($c^{fine}$) 编码局部细节、语法和纹理，呈随机演化。
• 稀疏性： 小波系数表现出重尾分布，允许模型将容量集中在活跃系数上，从而降低有效维度。
• 局部性： 与全局傅里叶基不同，小波提供了谱局部性，使得交互可以通过局部算子（$O(N)$ 或 $O(N \log N)$）进行建模，取代了二次方的注意力成本。

2.4 通过扩散进行生成

生成过程是在小波系数空间内通过基于评分的扩散过程进行的：
$$dc = \sqrt{2} dW_\tau + s_\theta(c, \tau) d\tau$$
其中 $s_\theta$ 是以粗尺度系数和物理参数为条件的学习评分函数。

• 物理引导修正： 在逆时间采样期间，模型根据物理残差 $E(u) = \|P(\partial_t u + (u \cdot \nabla)u - \nu \Delta u - f)\|^2$ 应用修正步骤。这确保了生成的样本保持在物理上可容许的流形上。
• 约束强制： 通过 Helmholtz–Hodge 投影算子 $P$ 强制执行不可压缩约束，该算子会移除对应于压力场的梯度分量。

2.5 训练目标

模型使用复合损失函数进行训练：
$$\mathcal{L} = \mathcal{L}_{diff} + \lambda_R \|P(\mathcal{R}(u))\|^2 + \lambda_B \mathcal{L}_{BC}$$

• $\mathcal{L}_{diff}$：去噪评分匹配损失，用于学习生成分布。
• $\mathcal{L}_{phys}$：物理残差损失，惩罚违反控制 SPDE 的行为。
• $\mathcal{L}_{BC}$：边界/条件损失，用于强制执行提示词和初始条件。

3. 主要贡献

本文声称了四个主要贡献：

1. 受物理启发的生成本体： 将文本和视频生成公式化为函数空间中的受约束随机流，取代了离散的自回归。
2. 多尺度谱表示： 引入了小波域参数化，诱导了稀疏性、局部性和尺度分离，从而在无需注意力的条件下实现高效的长程生成。
3. 统一的多模态框架： 证明了文本 (2D)、视频 (3D) 和物理过程可以由同一个动力系统控制，消除了对特定模态分词的需求。
4. 原则性的连贯性与不确定性： 通过动力学传播不确定性，并通过物理约束（不可压缩性、守恒定律）而非统计注意力来强制执行全局一致性。

4. 结果与主张

本文主要是一个理论性提议，并未在标准任务上展示大规模经验基准测试或与最先进的 vLLMs 进行实验结果对比。相反，它提供了一个关于所提框架优越性的概念性和数学性论证：

• 复杂度： SGFMs 声称通过局部算子和谱变换，将计算复杂度从 $O(N^2)$（全局注意力）降低到 $O(N \log N)$ 或 $O(N)$。
• 归纳偏置： 通过将守恒定律和多尺度结构直接嵌入架构，SGFMs 声称与弱偏置、渴求数据的 Transformer 相比，学习连贯性和稳定性所需的数据更少。
• 连贯性： 作者认为，长程连贯性是从局部动力学集成和约束强制中自然产生的，避免了与自回归解码相关的误差累积和脆弱性。
• 模态统一： 该框架声称将文本和视频视为同一底层动力系统的实例，区别仅在于领域维度。

5. 重要性与局限性

重要性：
本文将 SGFMs 定位为一种“后 Transformer”范式的转变。它认为注意力是信息在结构化场中传播的一种更通用的概念的计算近似。通过用连续场动力学取代符号操作，SGFMs 旨在提供一种在数学上完备、可扩展且统一的方法，使生成式建模与流体力学和随机分析的原理保持一致。

局限性（如作者所述）：

• 数学复杂性： 该框架涉及复杂的数值工具（SPDEs、投影算子、小波变换），这使得实现和调试比标准 Transformer 更具挑战性。
• 限制性约束： 受物理启发的约束（如不可压缩性）对于某些可能不适用严格守恒定律的创意或语言任务来说可能过于严格。
• 经验验证： 本文明确指出，在现实世界基准测试上进行大规模经验验证仍是一个开放性挑战，目前尚未进行。
• 可解释性： 虽然动力学层面提供了新的可解释性，但其抽象概念（函数空间动力学）可能对于习惯于 token 级调试的从业者来说较为陌生。

总之，本文提出了对生成式 AI 的基础性重新思考，认为下一代模型可能围绕着结构化场的动力学而非注意力机制来构建，为实现长程连贯性和多模态统一提供了一条有原则的路径。