🤖 machine learning

SESaMo: Symmetry-Enforcing Stochastic Modulation for Normalizing Flows

本文介绍了 SESaMo，这是一种利用随机调制来引入对称性归纳偏置的新型归一化流框架，能够有效地学习不同物理和统计模型中的精确对称性与破缺对称性。

原作者： Janik Kreit, Dominic Schuh, Kim A. Nicoli, Lena Funcke

发布于 2026-07-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Janik Kreit, Dominic Schuh, Kim A. Nicoli, Lena Funcke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测天气，但你观察的不是云朵，而是试图弄清楚化学反应中或一块金属中的一百万个微小粒子将如何排列。在物理学和化学中，这些粒子并不仅仅静止不动；它们在混乱的纠缠中翩翩起舞，试图寻找最舒适的位置。科学家们称之为“从玻尔兹曼分布中采样”。这是一种高级的说法，意思是：“这些粒子所有可能的排列方式有哪些，以及每种方式发生的概率是多少？”问题在于，可能性的数量如此之大，以至于就像试图同时在地球上每一片沙滩上找到一颗特定的沙粒一样。

为了解决这个问题，科学家们使用了“生成模型”，它们就像超级聪明的 AI 画家。这些画家学习如何画出粒子最可能的排列方式。一种流行的艺术家类型被称为“归一化流”（Normalizing Flow）。把归一化流想象成一张神奇的、具有弹性的橡胶片。你从一个简单的、单调的模式（比如一圈完美的圆点）开始，然后 AI 会拉伸和挤压这张片子，直到它看起来完全像你要研究的那些复杂且混乱的粒子模式。这种方法的精妙之处在于，它可以准确地告诉你任何特定排列的可能性，这对于科学家来说是一种超能力。

然而，这里有一个陷阱。许多物理系统具有“对称性”。这意味着如果你把系统颠倒过来，或者旋转它，或者交换两个相同的粒子，物理特性不会改变。这就像一片雪花：如果你将其旋转 60 度，它看起来仍然一样。如果你的 AI 画家不知道这些规则，它就会浪费时间去学习那些它本不需要学习的东西，或者更糟的是，它可能会感到困惑，只学习图像的一部分，而忽略了其余部分。这被称为“模式崩塌”（mode collapse），即 AI 陷入了思维定式，忘记了还有其他同样有效的排列方式。

新技巧：对称性增强随机调制器

在这篇论文中，作者介绍了一种名为 SESaMo（Symmetry-Enforcing Stochastic Modulation，对称性增强随机调制）的新方法。他们想要解决 AI 画家在处理具有对称性的系统（尤其是当这些对称性被“打破”时，即系统看起来几乎是对称的，但并不完全是）时陷入思维定式的问题。

以下是 SESaMo 如何工作的，我们用一个有趣的类比来解释：

想象你正在绘制一幅蝴蝶的壁画。蝴蝶的两只翅膀是彼此的镜像。

旧方法（规范化）： 你强迫艺术家只画左边的翅膀。然后，你拿一面镜子对着左边的翅膀，从而创造出右边的翅膀。如果蝴蝶是完美对称的，这效果很好。但如果这只蝴蝶生病了，左边的翅膀很大，而右边的翅膀很小呢？如果你只是镜像左边的翅膀，你的画作就会出错。旧方法在两侧不对等时会表现挣扎。
SESaMo 的方法： SESaMo 不再强迫艺术家只画其中一侧，而是给了艺术家一个“魔法骰子”。首先，艺术家完美地画出一只翅膀（假设是左边那只）。然后，掷出魔法骰子。
- 如果骰子掷出了“正面”，艺术家就保持左边翅膀的原样。
- 如果骰子掷出了“反面”，艺术家就把翅膀翻转过来变成右边。
- 秘诀所在： 这个骰子是不公平的。AI 学习如何“灌铅”（控制概率）。如果蝴蝶是完美对称的，骰子就是公平的（50/50）。但如果蝴蝶生病了，一侧的翅膀比另一侧大，AI 会学习如何通过“灌铅”让“反面”出现的次数更多或更少，从而匹配真实世界的情况。

这种“随机调制”（即灌铅的骰子）使得模型即使在翅膀大小不等的情况下，也能学习到蝴蝶的精确形状。它迫使 AI 遵守对称规则（你不能随便画一个翅膀，它必须是另一个翅膀的翻转），同时又允许模型学习到其中一侧可能更常见这一事实。

他们的发现

作者在多个挑战中测试了这一新技巧，涵盖了从简单的数学谜题到复杂的物理模拟。

数学谜题： 他们从一个“高斯混合模型”开始，这就像一幅由几个不同大小的色块组成的图像。他们让这些色块的大小各异（打破了对称性）。旧方法要么会感到困惑而只画出最大的色块，要么试图画出所有色块但做得非常粗糙。然而，SESaMo 却能完美地画出所有的色块，捕捉到它们精确的大小和形状。
物理模拟： 他们转向了现实世界的物理问题：
- $\phi^4$ 理论： 这模拟了粒子在场中的相互作用。他们用一种“打破”的对称性进行了测试，即粒子更倾向于某种状态。SESaMo 比旧方法更快、更准确地学习到了正确的粒子分布。
- 哈伯德模型（Hubbard Model）： 这是一个关于电子如何在材料中运动的著名模型，对于理解超导体等现象至关重要。这是一个非常困难的问题。作者展示了 SESaMo 可以处理大型网格电子（高达 $18 \times 100$ 个位点）并正确学习破缺的对称性，而其他方法则失败或崩溃了。

底线结论

这篇论文表明，SESaMo 是科学家手中的一个强大新工具。它不仅强迫 AI 遵循对称规则，还教会了 AI 如何处理规则被轻微打破的情况。在他们的模拟中，SESaMo 始终优于现有方法，实现了更高的准确度，并且收敛（完成学习）得更快。它成功地学习并捕捉到了系统的所有不同“模式”或可能性，避免了陷入单一模式的陷阱。虽然目前的结果是基于计算机模拟和数学模型的，但作者表明，这种方法可以成为理解复杂物理和化学系统（从药物折叠到新材料的导电性）的变革性工具。

技术摘要：SESaMo：用于归一化流的对称性增强随机调制

问题陈述
从非归一化玻尔兹曼类分布 $p(x) = \exp(-f[x])/Z$ 中进行采样是物理学、化学和经济学中的一个基本挑战。传统的马尔可夫链蒙特卡洛（MCMC）方法通常由于自相关以及分隔亚稳态的高能垒而面临收敛缓慢的问题，从而导致遍历性问题。虽然深度生成模型（特别是归一化流，NFs）提供了一种变分推理方法，通过闭式似然函数来逼近这些分布，但它们面临着显著的训练挑战。具体而言，标准的归一化流往往难以处理“模式崩塌”（mode collapse）问题，即无法捕捉目标分布中的所有模式，特别是在分布表现出对称性或对称性破缺（即概率质量在对称扇区中分布不均）的情况下。此外，如何将对称性等先验知识引入归一化流架构以加速收敛并确保物理一致性，仍然是一个开放性的挑战，尤其是在标准等变方法可能不足以处理对称性破缺的情况下。

方法论：对称性增强随机调制 (SESaMo)
本文提出了 SESaMo，这是一个旨在将精确对称性和破缺对称性（连续和离散）引入流式生成模型的框架。与依赖于刚性架构约束或规范化（canonicalization）的以往方法不同，SESaMo 引入了一种新颖的随机调制机制。

核心机制： SESaMo 通过学习一个流 $g_\theta$ ，将简单的先验分布 $q_0$ （例如高斯分布）映射到定义好的“规范单元”（canonical cell） $\Omega$ 内的一个单一模式（或特定扇区）的的目标分布。这种对齐通过损失函数中的惩罚项 $\Lambda$ 来强制执行，该项确保流不会将样本映射到规范单元之外，从而保持双射性。
随机调制： 一旦流捕捉到了单个模式，就会应用随机调制映射 $S_u$ $S_{u}$ 。该映射由一个学习到的随机变量 $u$ $u$ 进行调节，其中 $u$ $u$ 来自由参数 $b$ $b$ 参数化的分布 $p_{S,b}(u)$ $p_{S, b} (u)$ 。映射 $S_u$ $S_{u}$ 将样本从规范单元转换为配置空间中的其他对称区域。
- 对于精确对称性，调制概率是均匀的（例如，对于 $Z_2$ 对称性， $u \sim \text{Bernoulli}(0.5)$ ）。
- 对于破缺对称性，参数 $b$ 在训练期间被学习，允许模型推断不同模式之间正确的概率质量分布（例如， $u \sim \text{Bernoulli}(e^b)$ ，其中 $b \in \mathbb{R}^-$ ）。
训练目标： 模型通过最小化反向 Kullback-Leibler (KL) 散度进行训练。损失函数包括标准的 KL 项、目标的非归一化对数概率以及双射惩罚项。由于调制变量 $u$ 是离散且随机的，因此采用 REINFORCE 估计器来计算关于调制参数 $b$ 的梯度。
双射性强制执行： 本文的一项关键技术贡献是在损失函数中引入了正则化项 $\Lambda(\tilde{z}_c)$ （公式 10），该项惩罚那些映射到规范单元 $\Omega$ 之外的样本，从而确保变换保持双射，这是有效归一化流的严格要求。

主要贡献

新颖框架： 引入了 SESaMo，它能够通过随机调制而非固定的架构等变性，将任意对称性（包括连续和破缺对称性）整合进归一化流中。
处理破缺对称性： 能够学习对称模式间的概率质量分布，解决了规范化方法中常见的假设等质量或难以处理不对称性的局限性。
数值双射性： 提出了在损失函数中通过特定惩罚项来数值化地强制执行流的双射性，防止样本逃逸出规范单元。
广泛基准测试： 在玩具问题（高斯混合模型）和具有物理意义的格点量子场论（包括复杂的 $\phi^4$ 理论和哈伯德模型）上验证了该方法。

结果
作者进行了数值实验，将 SESaMo 与流退火重要性采样自助法 (FAB)、变分混合归一化流 (VMoNF) 以及带有规范化的 RealNVP 进行对比。

高斯混合模型： 对于精确 $Z_8$ 对称性，SESaMo 实现了 0.9986 的有效样本量 (ESS)；对于破缺 $Z_8$ 对称性，实现了 0.9947 的 ESS，显著优于出现模式崩塌的 VMoNF 和规范化方法。
复 $\phi^4$ 理论： 在 $8 \times 8$ 格点上的精确和破缺 $U(1)$ 对称性测试中，SESaMo 分别达到了最高的 ESS 值（0.9472 和 0.941），而 FAB 和 VMoNF 的 ESS 值仅在 0.22–0.28 左右。规范化方法无法应用于该设置下的连续对称性。
哈伯德模型： 在小体积（ $2 \times 1$ ）下，SESaMo 对于破缺 $Z_4$ 对称性实现了 0.996 的 ESS，优于规范化方法 (0.839) 和 VMoNF (0.37)。至关重要的是，SESaMo 展示了向大体积（ $18 \times 100$ ）扩展的能力，实现了 0.74 的 ESS，而 FAB 无法处理，且规范化方法的 ESS 降至 0.024。
收敛性： 在所有基准测试中，SESaMo 比基准方法表现出更快且更稳定的收敛，有效地缓解了模式崩塌。

意义与主张
本文声称 SESaMo 提供了一个灵活且强大的工具，用于将归纳偏置（对称性）整合到生成模型中，特别是在目标分布表现出破缺对称性或复杂模式结构的场景下。通过将流的学习（捕捉单个模式）与概率质量的重新分配（由可学习的随机调制处理）解耦，该方法克服了变分推理中的基本挑战，如模式崩塌。作者将 SESaMo 定位为处理格点量子场论采样的一种最先进的方法，能够处理以往方法（如规范化）面临限制的离散和连续对称性。这项工作表明，这种方法对于对称性固有但经常破缺的物理和化学应用特别有价值，能够更准确、更高效地对复杂的玻尔兹曼分布进行采样。

类似论文