💻 computer science

Structured State-Space Regularization for Compact and Generation-Friendly Image Tokenization

本文提出了一种基于结构化状态空间（SSM）动态的新的正则化方法，通过引导图像 Tokenizer 学习 SSM 的频率感知特性，在保持高重建保真度的同时显著提升了潜在空间的紧凑性与生成友好性，从而优化了扩散模型的生成质量。

原作者： Jinsung Lee, Jaemin Oh, Namhun Kim, Dongwon Kim, Byung-Jun Yoon, Suha Kwak

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinsung Lee, Jaemin Oh, Namhun Kim, Dongwon Kim, Byung-Jun Yoon, Suha Kwak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让 AI“画”得更好的新方法。为了让你轻松理解，我们可以把整个过程想象成教一个艺术家（AI）如何高效地记忆和创作一幅画。

1. 核心问题：AI 画画时的“记忆”太乱

现在的 AI 绘画模型（比如 Stable Diffusion）通常不直接处理像素（像马赛克一样的点），而是先通过一个“翻译器”（Tokenizer），把图片压缩成一个潜空间（Latent Space）。

理想状态：这个潜空间应该像是一个既紧凑又有条理的笔记本。
- 紧凑：把图片的核心信息（比如“这是一只猫”）记下来，扔掉无关紧要的杂音（比如纸张的纹理瑕疵）。
- 好记（生成友好）：AI 在创作时，能顺着这个笔记的逻辑，从模糊的轮廓慢慢画出细节。
现实问题：以前的翻译器往往只顾着“还原图片”（压缩得准不准），导致生成的潜空间虽然能还原图片，但结构混乱。AI 在创作时，就像在乱糟糟的笔记里找线索，很难画出高质量的新图。

2. 解决方案：引入“状态空间模型”的魔法

作者发现，有一类叫**状态空间模型（SSM）的算法（比如 Mamba），特别擅长处理信号，并且天生就懂得“频率”**的概念。

什么是频率？ 想象一张图片：
- 低频：是大轮廓、大色块（比如猫的整体形状、背景颜色）。
- 高频：是细节、边缘、纹理（比如猫毛的尖尖、胡须）。
SSM 的特长：它能把信号自动拆解成“低频”和“高频”，并且知道它们之间的动态关系。

3. 核心创意：给 AI 的“笔记本”定个规矩

这篇论文提出了一种新的**“结构化状态空间正则化”**（Structured State-Space Regularization）。

用个比喻来解释：
想象你在教一个学生（AI 编码器）如何记笔记。

以前的方法：你只要求他“把图画得一模一样”。结果他可能把背景的一粒灰尘也记下来了，导致笔记很乱，而且很难用来创作新图。
现在的方法（本文）：你告诉学生：“在记笔记时，你要模仿**‘慢慢模糊’**的过程。”

具体操作是这样的：

模糊实验：拿一张清晰的照片，慢慢给它加高斯模糊（就像把照片放在毛玻璃后面看，越来越糊）。
观察规律：随着照片变糊，细节（高频）先消失，轮廓（低频）后消失。这是一个非常自然的物理规律（就像热量扩散一样）。
强制对齐：作者设计了一个规则，强迫 AI 的“潜空间笔记”也要遵循这个规律：
- 当输入变模糊时，AI 笔记里的“细节通道”应该迅速变小。
- “轮廓通道”应该保持得更久。
- 这就好比给笔记里的每一页都贴上了标签：“这是大轮廓”、“这是中等细节”、“这是微小纹理”。

4. 这样做有什么好处？

通过这种“强迫症”式的训练，AI 的潜空间变得井井有条：

更紧凑：因为它学会了只记录重要的频率信息，不再浪费空间去记那些无用的噪点。
更好画：当 AI 要生成新图时，它就像是在玩“从模糊到清晰”的游戏。因为它知道先画大轮廓（低频），再慢慢加细节（高频），所以生成的图片质量更高，更自然。

5. 实验结果：双赢

论文在著名的 ImageNet 数据集上测试了两种流行的 AI 模型（Flux 和 Cosmos）：

还原度：把压缩后的图还原回去，清晰度几乎没有损失（甚至更好）。
生成力：用这个新的潜空间去生成新图，效果显著提升。生成的图片更逼真，细节更丰富。

总结

简单来说，这篇论文就是给 AI 的“记忆方式”加了一个“物理滤镜”。
它不再让 AI 死记硬背像素，而是教它像人类观察世界一样：先看清大局（低频），再关注细节（高频）。这种符合自然规律的记忆方式，让 AI 既能把图片存得小巧，又能画得栩栩如生。

一句话概括：作者教 AI 像“慢慢变模糊”一样去整理记忆，结果 AI 不仅记性变好了，画画水平也突飞猛进。

1. 研究背景与问题 (Problem)

现代视觉模型（如生成模型、世界模型）正逐渐从像素空间转向**潜在空间（Latent Space）**进行建模。图像 Tokenizer（编码器 - 解码器）负责将图像压缩为潜在表示，其质量直接决定了下游任务的性能。一个理想的图像 Tokenizer 需要同时满足两个看似矛盾的目标：

紧凑性 (Compactness)：能够高效地压缩图像内容，保留关键信息，避免在潜在维度上浪费容量于非关键细节。
生成友好性 (Generation-Friendliness)：潜在空间的结构应易于被生成模型（如扩散模型）建模。研究表明，如果潜在空间缺乏特定的结构（如频率感知），扩散模型的生成质量会下降。

核心痛点：现有的 Tokenizer 往往在重建保真度（Reconstruction Fidelity）和生成能力（Generative Capability）之间存在权衡（Trade-off）。增强重建能力往往会导致生成性能下降，反之亦然。目前缺乏一种理论指导的方法，能同时优化这两个目标。

2. 核心方法论 (Methodology)

本文提出了一种名为结构化状态空间正则化 (Structured State-Space Regularization, SSSR) 的新方法。其核心思想是将状态空间模型 (State-Space Models, SSMs) 的隐藏状态动力学特性（特别是频率感知能力）迁移到图像 Tokenizer 的潜在特征中。

2.1 理论洞察：SSM 的广义视角

作者重新审视了 SSM 的机制，将其解构为两个核心组件：

基投影 (Basis Projection, $c(\cdot)$ )：将输入信号投影到一组基函数（如正交多项式或傅里叶基）上，得到系数。
输入变换 (Input Transformation, $\theta(\cdot)$ )：定义输入随时间（或步骤）的演变方式。

SSM 的隐藏状态之所以具有频率感知能力，是因为它被训练去模拟基系数在特定输入变换下的动态演化。

2.2 正则化设计

为了将这一特性引入图像 Tokenizer，作者设计了以下正则化框架：

基投影选择 ( $c(\cdot)$ )：采用 2D 正交基函数（如傅里叶基、切比雪夫多项式等）。这使得潜在特征能够对应图像的不同频率分量。
输入变换选择 ( $\theta(\cdot)$ )：采用 高斯模糊 (Gaussian Blurring) 过程。
- 原理：高斯模糊在数学上对应于热方程的解，它会按频率从高到低逐渐衰减图像分量。
- 推导：通过推导基系数在模糊过程中的演化规律，作者发现其满足一个线性微分方程 $\frac{d}{d\tau}c(I_\tau) = \mathbf{A} c(I_\tau)$ ，其中 $\mathbf{A}$ 是由基函数拉普拉斯算子内积构成的矩阵。
正则化损失函数：
对于输入图像 $I$ $I$ ，定义一系列模糊程度递增的图像序列 $\{I_t\}$ ${I_{t}}$ 。
1. 编码器 $E$ 将较清晰的图像 $I_{t-1}$ 编码为潜在向量 $z_{t-1}$ 。
2. 利用推导出的状态转移矩阵 $\bar{\mathbf{A}}$ （离散化后的 $\mathbf{A}$ ），计算理论上的下一个潜在状态： $\hat{z}_t = \bar{\mathbf{A}} z_{t-1}$ 。
3. 同时，将模糊后的图像 $I_t$ 编码得到真实潜在向量 $z_t$ 。
4. 损失目标：最小化 $\hat{z}_t$ 与 $z_t$ 之间的距离，强制编码器学习到的潜在特征遵循 SSM 的系数动力学演化规律。

2.3 实现细节

空间均值中心化 (Spatial Mean-Centering)：由于模糊过程会导致信号能量衰减（范数减小），直接正则化可能导致清晰图像的潜在表示范数过大，破坏训练稳定性。作者引入了空间均值中心化函数 $\mathcal{C}$ ，对潜在特征进行去均值处理，以稳定训练。
训练策略：以概率 $\alpha$ 应用该正则化，其余情况仅使用重建损失。

3. 主要贡献 (Key Contributions)

提出新型正则化器：首次提出了一种理论驱动的正则化方法，通过模仿 SSM 的隐藏状态动力学，将“频率感知”特性赋予图像 Tokenizer。
建立理论框架：构建了将 SSM 原理（基投影 + 输入变换）应用于 2D 图像 Tokenization 的理论框架，推导了基于高斯模糊和正交基的状态更新规则。
性能突破：在广泛使用的 Tokenizer（Flux 和 Cosmos）上验证了该方法，证明了其能在最小牺牲重建质量的前提下，显著提升扩散模型的生成质量。

4. 实验结果 (Results)

作者在 ImageNet-1K 数据集上，基于 Flux (8x 下采样) 和 Cosmos (16x 下采样) Tokenizer 进行了实验，并训练了 Latent Diffusion Model (DiT-B/2) 进行评估。

生成性能提升：
- 在 Flux Tokenizer 上，相比基线，生成 FID (gFID) 从 16.08 降至 13.33，Inception Score (IS) 从 89.32 提升至 106.61。
- 在 Cosmos Tokenizer 上，gFID 从 13.52 降至 11.20，IS 从 112.48 提升至 128.91。
- 相比其他旨在提升生成友好性的方法（如 EQVAE, FT-SE），本文方法在生成指标上表现更优。
重建质量保持：
- 重建指标（PSNR, SSIM, LPIPS, rFID）仅出现极微小的下降或保持持平，证明了该方法没有破坏图像的重建保真度。
潜在空间分析：
- 频率分层：可视化显示，经过正则化的 Tokenizer，其潜在通道呈现出清晰的从低频到高频的有序结构。仅使用低频通道即可重建出可识别的图像轮廓，随着高频通道加入，细节逐渐丰富。
- 动力学一致性：潜在特征在图像模糊过程中的变化轨迹与理论推导的傅里叶系数演化轨迹高度一致，证明了 SSM 动力学被成功迁移。

5. 意义与影响 (Significance)

解决生成与重建的权衡：该方法提供了一种新的视角，证明通过引入特定的归纳偏置（频率感知/SSM 动力学），可以同时优化 Tokenizer 的紧凑性和生成友好性，打破了以往认为两者必须此消彼长的观念。
连接 SSM 与视觉表示：首次将状态空间模型（通常用于序列建模，如 Mamba）的核心机制（基投影与状态演化）系统地引入到图像 Tokenization 领域，为视觉表示学习开辟了新的研究方向。
工业价值：由于图像 Tokenizer 是现代生成式 AI 系统（如文生图、视频生成）的基础组件，该方法能直接提升现有扩散模型的生成效率和画质，具有显著的工业应用潜力。

总结：这篇论文通过理论推导和实验验证，成功地将状态空间模型的“频率感知”特性转化为一种正则化手段，使得图像 Tokenizer 能够学习到更符合生成模型需求的潜在结构，从而在保持高重建质量的同时，大幅提升了生成模型的性能。