⚛️ lattice

Symbolic Density Estimators for Unnormalized Distributions

本文提出了一个将深度生成模型与符号回归相结合的框架，用于从观测样本中估计非归一化概率分布的可解释符号形式，并证明了其在多元玩具数据以及如 XY 模型和 $\phi^4$ 理论等复杂计算物理系统上的有效性。

原作者： Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

发布于 2026-10-09

📖 1 分钟阅读🧠 深度阅读

原作者： Vikas Kanaujia, Riyansha Singh, Shashank Sharma, Vipul Arora

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在物理科学领域，理解世界是如何运作的，往往归结为描述事物的可能行为方式。想象一个由无数微小部分组成的系统，比如固体中的原子或磁性材料中的自旋。这些部分并非随机运动；它们遵循某些规则，使得系统中的某些排列方式比其他排列方式更有可能发生。科学家使用被称为概率分布的数学地图来描述这些可能性。在这张地图中，隐藏着一个能量景观，系统自然会趋向于落入其中的最低谷底。这个能量景观（通常称为哈密顿量）是预测系统如何对热、压力或时间做出反应的关键。几十年来，物理学家一直依赖于自身的直觉和深厚的理论知识来编写描述这些能量景观的方程。他们会猜测方程的形式，然后调整数值以拟合观察到的数据。虽然这种方法效果良好，但过程缓慢、耗时，且完全依赖于人类的专业知识。如果底层规则过于复杂，或者系统的行为超出了简单的猜测范围，传统方法就会遭遇瓶颈。

来自印度理工学院坎普尔分校（IIT Kanpur）和鲁汶大学（KU Leuven）的研究团队开发了一种新方法，旨在绕过这一人类瓶颈。他们创建了一个框架，允许计算机观察复杂系统的原始数据，并自动编写出描述其能量的数学方程。这不仅仅是寻找一条拟合数据点的曲线；这是在发现物理学本身的符号语言。研究人员结合了两种强大的人工智能技术。首先，他们使用了深度生成模型，这类模型擅长学习复杂数据云的形状，并告诉我们任何特定粒子排列方式的可能性。其次，他们使用了符号回归，这是一种搜索简单、可读的数学公式而非仅仅是黑盒预测的技术。通过将第一种 AI 获得的见解输入到第二种 AI 中，该系统可以将物理系统杂乱的高维数据转化为简洁、可解释的方程。

研究人员在多个具有挑战性的场景中测试了这种方法，从简单的玩具分布到计算物理中使用的复杂模型。在一组实验中，他们研究了具有许多“势阱”（即深层能量谷）的系统，由于数据散布在许多不同的状态中，这类系统极难进行映射。他们还研究了 XY 模型（一个描述网格上自旋如何相互作用的经典物理问题）以及 $\phi^4$ 理论（用于研究场在粒子物理中如何表现）。在每种情况下，该框架都成功地直接从数据中恢复了底层的能量方程。对于较简单的系统，计算机找到了人类专家会编写的公式的符号近似形式，但无需预先知道这些公式应该长什么样。它正确识别了变量之间的关系以及支配它们的特定数值，即使在数据具有高维性和噪声的情况下也是如此，尽管其结果最好被理解为紧凑的符号近似而非精确的恒等式。

这项工作的特别之处在于它如何处理问题中最困难的部分：变量的数量。在拥有数千个相互作用部分的系统中，寻找数学公式的搜索空间变得极其庞大。为了解决这个问题，研究人员引入了一种将系统分解为微小局部区域的策略。与其试图为整个系统寻找一个巨大的方程，不如让 AI 观察相互作用的小型邻域，找到该微小部分的规则，然后将这些规则缝合在一起。这种方法结合了一种向数据中添加受控噪声的技术，以确保 AI 能够观察到罕见但重要的高能状态，从而使该系统即使在高维环境下也能有效工作。结果表明，所提出的框架可以估算出不仅准确而且具有物理意义的紧凑符号近似能量函数。

团队还将该方法应用于被称为“重整化”的问题，这类似于在地图上放大或缩小以观察宏观全貌，同时忽略微小的细节。在物理学中，这涉及将细粒度的系统转化为一个在更大尺度上表现相同的更简单的有效版本。在处理复杂的非微扰机制时，传统推导该尺度版本方程的方法是一个巨大的解析挑战，往往无法通过手工完成。研究人员将来自粗粒化晶格的数据输入该框架，并要求它寻找新的能量方程。该系统成功产生了与原系统在不同尺度下行为一致的符号表达式。这些表达式与已知的物理规律相符，并重现了系统的正确统计特性，证明了该框架即使在传统的解析方法难以处理的情况下，也能直接从数据中揭示有效的自然法则。

该研究明确排除了这仅仅是一个曲线拟合练习的观点。研究人员将他们的方法与现有方法进行了比较，那些方法试图基于一组固定的构建模块来猜测方程的形式。那些旧方法往往无法收敛，或者会产生错误的系数以及不属于该系统的冗余项。相比之下，通过整合深度学习与符号搜索并使用局部因子化，新框架始终能找到正确的结构。研究人员指出，虽然该方法依赖于一些先验知识（例如知道哪些类型的数学函数在物理上是相关的），但它不需要预先知道最终答案。结果在多次随机试验中表现稳健，表明该框架能够可靠地发现正确的相互作用并抑制无关的相互作用。

最终，这项工作为科学发现提供了一条新路径。它表明，在制定治理复杂系统的规律时，我们可以超越人类直觉的局限性。通过自动化寻找自然界数学语言的过程，该框架使科学家能够利用机器学习的力量来分析庞大的数据集，同时仍保留人类可读方程的清晰度与洞察力。研究人员证明，这种方法适用于各种系统，从简单的统计分布到粒子物理中复杂的晶格，为估算那些此前难以通过解析手段建模的能量函数提供了工具。研究结果表明，通过结合深度学习与符号推理，我们可以直接从数据留下的痕迹中揭示宇宙的隐藏规则。

技术摘要：用于未归一化分布的符号密度估计器

问题陈述
从观测样本中估计概率密度函数（PDF）的符号或解析形式是统计与计算建模中的一个基本挑战。虽然深度生成模型（如归一化流和基于评分的模型）在从复杂分布中采样方面表现出色，但它们作为“黑盒”估计器运行，无法提供底层能量函数或哈密顿量（ $H(x)$ ）的可解释解析表达式。相反，传统的符号回归（SR）方法在处理高维数据时难以扩展，并且在分布未归一化或搜索空间过大时往往会失败。本文解决的核心问题是如何直接从观测数据中自动推断出未归一化分布的解析符号表示，而无需过度依赖人工领域专业知识来选择函数形式。

方法论
作者提出了一个两阶段框架，通过将深度生成模型与符号回归相结合，将无监督密度估计问题转化为有监督的符号回归问题。

生成建模阶段： 框架首先在观测样本上训练深度生成模型。作者使用了两类模型：
- 基于似然的模型（归一化流）： 这些模型提供负对数似然（ $-\log p_\theta(x)$ ），在常数项意义上作为能量函数的目标。
- 基于评分的模型： 这些模型估计评分函数 $s(x) = \nabla_x \log p(x)$ 。为了解决复杂符号评分带来的积分挑战，作者建议通过神经网络直接对能量函数 $H_\theta(x)$ 进行建模，并通过自动微分获取评分（ $s_\theta(x) = -\nabla_x H_\theta(x)$ ）。此外，采用了去噪评分匹配（denoising score matching）以改善低密度区域的估计。
数据增强： 为了确保符号估计的鲁棒性，该框架通过引入噪声扰动（ $x' = x + \epsilon$ ）来增强原始高密度样本。这确保了 SR 模型能够看到来自高密度和低密度区域的样本，这对于实现稳定的估计至关重要。
符号回归（SR）阶段： 来自生成模型的输出（对数似然或评分场）作为 SR 算法的标签。SR 任务是寻找一个简洁的闭式表达式 $\hat{H}(x)$ 来逼近这些标签。该框架采用了两种 SR 后端：
- PySR： 一种基于遗传规划（genetic programming）的算法。
- EQL (Equation Learner)： 一种带有稀疏正则化的深度神经网络方法。
关键归纳偏置： 为了使该方法适用于高维系统（例如晶格模型），框架引入了三种特定的策略：
- 局部因子化： 利用物理系统的空间局部性，将全局哈密顿量分解为局部补丁（例如 $2\times2$ 或 $3\times3$ ）。SR 估计小规模变量上的局部能量函数 $\hat{h}(x_p)$ ，然后通过求和来重建全局能量。
- 特定任务的算子库： 通过包含领域特定的原语函数（例如用于 XY 模型的三角函数、用于 $\phi^4$ 理论的多项式）来约束搜索空间。
- 多尺度扰动： 如前所述，通过添加噪声来增加样本覆盖范围，从而改善状态空间的覆盖。

核心贡献

框架集成： 本文引入了一个模块化框架，连接了深度生成模型与 SR，使得能够直接从未归一化分布中发现可解释的能量函数，而无需预先假设参数形式。
通过因子化实现可扩展性： 通过采用哈密顿量的局部因子化，该方法有效地降低了符号搜索空间的维度，从而实现了对高维晶格系统（在重整化背景下高达 $d=64$ 及以上）的能量函数估计，而标准的 SR 在此类场景下会失效。
处理非微扰机制： 该框架成功估计了强耦合系统（特别是 $\phi^4$ 理论的重整化）的有效哈密顿量，而在这些系统中，传统的微扰或解析推导通常是困难或难以实现的。
对误设的鲁棒性： 实验表明，即使当原语库被误设时（例如在 XY 模型中移除了三角算子），该框架仍能恢复出有意义的多项式近似。

实验结果
该框架在从低维玩具分布到高维晶格物理模型等多个数据集上进行了评估：

玩具分布： 对于多元高斯分布和多阱分布，该框架在维度 $d=2$ 到 $d=64$ 之间实现了近乎完美的真实哈密顿量恢复（ $R^2 \approx 1.0$ , MSE $\approx 0$ ）。PySR 通常比 EQL 需要更少的样本（ $10^3$ 对比 $10^5$ ）即可达到相当的结果。
XY 模型： 在 $8\times8$ 晶格（ $d=64$ ）上，该框架成功恢复了基于余弦的相互作用项。基于流的模型结合 PySR 在性能上优于基于评分的方法和 EQL，实现了高精度和高召回率，且没有产生伪项。
标量 $\phi^4$ 理论： 该方法准确估计了弱耦合和强耦合机制下的局部哈密顿量。值得注意的是，即使使用较大的补丁尺寸（引入更多变量），PySR 也能一致地识别出正确的最近邻相互作用，有效地抑制了无关的长程依赖。
重整化： 在非微扰设置下，该框架估计了粗粒化晶格（从 $32\times32$ 到 $8\times8$ ）的有效哈密顿量。估计的哈密顿量能够高保真地重现物理观测值（磁化强度、磁化率，直方图重叠度 $>98\%$ ），验证了该方法在没有解析推导的情况下捕捉粗粒化动力学能力。
对比： 所提出的方法显著优于基准方法 MeSSY，后者在维度 $d>2$ 时难以收敛，且经常产生带有伪项的表达式。

意义与主张
作者将这项工作定位为一种用于科学发现的实用框架，而非一种新型的 SR 算法。其主要意义在于能够直接从数据中自动推导出复杂、高维系统的可解释能量函数。论文声称，这种方法为劳动密集型、由专家驱动的模型构建提供了一种可行的替代方案，特别是在解析解不存在的非微扰机制中。

作者谦虚地指出，该框架依赖于物理动机的归纳偏置（补丁大小、原语库），且估计的表达式是“紧凑且可解释的符号近似”，而非底层动力学的精确表示。他们承认，由于 SR 组件处理大量变量的能力有限，其扩展性目前受限于能否发现需要极大补丁的远程或非局部相互作用。未来的工作建议解决生成模型中的模式覆盖行为，并将框架扩展到非平衡系统。

类似论文