🤖 machine learning

Data-Driven Energy-Based Learning via Gibbs Measures on Hierarchical Structures

本文引入了一种数据驱动的概率框架，将经验损失转化为层次结构上的能量模型，建立了经验损失景观与吉布斯测度之间的严密联系，从而揭示了数据如何定义一个能够展现相变和多种推理机制的平衡学习状态景观。

原作者： L. U. Abdullaev, F. Herrera, U. A. Rozikov, M. V. Velasco

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： L. U. Abdullaev, F. Herrera, U. A. Rozikov, M. V. Velasco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：从“寻找唯一最佳答案”到“绘制可能性的景观图”

想象一下，你正在试图教一个机器人识别猫。

旧方法（标准机器学习）： 你向机器人展示数千张猫的照片。它犯错，调整设置，并不断调整，直到找到那个能使误差最小化的单一完美设置。一旦它找到了这个“金发姑娘”（恰到好处）的设置，它就会将其锁定并永久使用。目标是找到那个唯一的最佳答案。
新方法（本文研究）： 作者们提出了另一种方法。他们不再仅仅寻找一个完美的设置，而是将数据视为一种物理景观。他们会问：“所有可能设置的整个地形看起来是什么样的？”

在这种全新的视角下，数据不仅仅指向一个赢家。它创建了一幅包含许多可能“平衡态”的概率地图。其中一些状态可能非常相似，而另一些则可能是理解数据的完全不同的方式。目标不仅仅是找到地图上的最低点，而是要理解地图本身的形状。

核心隐喻：无限树与天气

为了实现这一点，作者们使用了一个被称为**凯莱树（Cayley Tree）**的数学结构。

树：想象一棵无限的树，每一条分支都会永远分裂成 $k$ 个新分支。它没有回路。
叶子： 树上的每个位置都承载着一段信息（一个“参数”）。
天气（吉布斯测度/Gibbs Measures）： 把数据想象成天气。“温度”决定了树的行为。
- 高温（低数据置信度）： 树是混乱的。一切都在摇晃。树在平均意义上只有一种行为方式（一种“对称”状态）。
- 低温（高数据置信度）： 随着“温度”下降（意味着数据变得非常强有力且清晰），树可能会突然“冻结”成一种特定的模式。

“相变”：系统发生分裂时

论文中最令人兴奋的发现是被称为**相变（Phase Transition）**的现象。

想象一场派对上的拥挤人群。

相变前： 每个人都在自由地交往。存在一种普遍的氛围。如果你询问人群，他们都会达成共识。这就是唯一状态（Unique State）。
临界时刻： 随着音乐的变化（数据变得更加具体或“温度”下降），人群突然分裂了。
相变后： 房间分裂成了两个截然不同的群体。一组人在跳爵士乐；另一组人在跳摇滚乐。两组人都很开心且处于稳定状态，但他们做着不同的事情。

用论文中的语言来说：

“音乐变化”是一个被称为临界逆温度（ $\beta_c$ ）的特定点。
在此点之下，学习系统只有一种趋于稳定的方式（一种预测规则）。
在此点之上，出现了多种趋于稳定的方式（多种预测规则）。系统可以存在于“对称”状态（中立）或“对称性破缺”状态（向其中一方倾斜）。

这意味着，对于同一个数据集，根据其趋于稳定的方式不同，系统可能会有多个有效的“真相”。

他们是如何做的：将误差转化为能量

通常，机器学习试图最小化误差（使损失函数尽可能小）。

论文中的技巧： 他们将那个误差函数转化为了一个能量函数（类似于重力）。
他们不再说“寻找误差最低的点”，而是说“让系统沉降到一个最低能量的状态，但要记住，可能存在好几个深度相等的谷底”。

他们使用从物理学中借鉴的**吉布斯测度（Gibbs Measures）**这一数学工具，来描述系统处于这些谷底中任何一个的概率。

如果“谷底”深而窄，系统就会陷入一种特定的学习方式。
如果存在多个谷底，系统就有了选择。论文证明了在某些条件下，这些多个谷底是确实存在的。

“预测”部分：猜测未来

一旦系统沉降到其中一个状态（其中一个谷底）后，我们如何对新数据进行预测？

标准方法： 你使用你找到的那个单一的“最佳”设置。
本文方法： 你观察系统所处的特定“谷底”。
- 如果系统处于对称谷底，你的预测是一个平衡的平均值。
- 如果系统处于对称性破缺谷底，你的预测可能会偏向于对数据的某种特定解释。

论文表明，如果你处于“多谷底”区域，你必须选择你处于哪一个谷底才能做出预测。不同的谷底会导致不同的预测，尽管它们基于相同的数据在数学上都是有效的。

“总结性结论”

数据是一种景观： 数据不仅仅指向一个答案；它创造了一个复杂的、由多种可能答案组成的景观。
温度至关重要： 取决于数据的“强度”（温度），系统可能有一个稳定的答案，也可能有多个相互竞争的答案。
相变： 存在一个临界点，系统在此点之后突然获得了以多种截然不同的状态存在的各种能力（就像人群分裂成两组一样）。
全新的视角： 我们不再仅仅追问“什么是最好的模型？”，我们现在可以追问“这些数据可以创造出所有哪些可能的稳定模型，它们之间又有何不同？”

作者们提供了关于这些“多个稳定状态”确实存在的数学证明，并展示了如何计算它们，为我们思考机器如何从数据中学习提供了一种全新的方式。

技术摘要：基于分层结构上吉布斯测度的数据驱动能量学习

问题陈述
传统的机器学习被表述为一个优化问题，即利用数据集来识别一个单一的最优参数 $\theta^*$ ，以最小化经验损失函数。虽然这种范式取得了成功，但在处理复杂的非凸景观、不确定性以及存在多个竞争解的情景时却显得力不从心。作者提出了一种范式转变：不再将学习视为寻找单一极小值的过程，而是将其视为一种概率结构的生成过程。其核心解决的问题是：如何构建一个严谨的统计力学框架，使得数据集不仅是选择一个参数，而是定义了一整套由吉布斯测度（Gibbs measures）构成的平衡学习状态族，且这些状态存在于分层结构之上。

方法论
本文引入了一种在 Cayley 树（分层格点）上构建数据驱动吉布斯测度的方法。该方法论通过以下步骤进行：

哈密顿量构建： 学习问题的经验损失函数 $L_N(t, u)$ （定义在数据集 $D = \{(x_i, y_i)\}$ 和预测函数 $F(x; t, u)$ 之上）被解释为一种相互作用势。具体而言，损失函数被映射为一个相互作用核 $\xi_{tu} = L_N(t, u)$ 。该核定义了能量模型的哈密顿量：
$H(\sigma, \phi) = -\sum_{\langle x,y \rangle \in L} \xi_{\sigma(x)\sigma(y)} \phi(x)\phi(y)$
其中 $\sigma(x) \in [0, 1]$ 代表局部参数， $\phi(x) \in \{-1, 1\}$ 代表自旋变量。
吉布斯测度公式化： 学习系统由给定逆温度 $\beta$ 下与该哈密顿量相关的吉布斯分布进行描述。研究的主要对象是满足 DLR（Dobrushin-Lanford-Ruelle）方程的吉布斯测度 $\mu$ 。
相容性方程： 作者推导了 Cayley 树上有限体积吉布斯分布的相容条件。这些条件简化为关于边界律（boundary laws） $f(t, x)$ 和 $g(t, x)$ 的非线性积分不动点方程组（方程 7）。对于平移不变解，这些方程刻画了系统的平衡态。
谱分析： 对于平移不变解，问题被简化为分析由数据依赖核（具体涉及 $\cosh(\beta L_N)$ 和 $\sinh(\beta L_N)$ ）诱导的正紧算子。吉布斯测度的存在性、唯一性和多重性与这些算子的谱性质（特征值和特征函数）密切相关。

主要贡献与结果

统计力学形式化的学习： 本文建立了一个框架，在该框架下，经验损失函数定义了能量模型的相互作用势。数据集生成的是参数配置空间上的吉布斯概率分布，而非单个最优点。
存在性与唯一性（阶数 $k=1$ ）： 对于阶数为 $k=1$ 的 Cayley 树（同构于一维整数格点），作者证明了如果经验损失严格为正，则存在唯一的正平移不变吉布斯测度。这是利用 Krein-Rutman 定理对相关积分算子的谱半径进行的论证。
相变与多重性（阶数 $k=2$ ）： 本文展示了对于更高阶的树（特别是 $k=2$ $k = 2$ ）以及非可分核，系统可以表现出相变现象。
- 对于特定核（例如 $\eta_{tu} = e^{\beta(t+u)}$ ）的解析结果表明，当逆温度 $\beta$ 跨越临界值 $\beta_c$ 时，平移不变吉布斯测度的数量从一个（对称解）增加到三个（一个对称解和两个非对称解）。
- 这种转变对应于对称性破缺状态的出现，代表了不同的平衡预测机制。
数值实验： 作者使用源自合成双高斯数据的非可分核进行了数值实验。这些实验证实了理论预测的相变，观察到随着 $\beta$ 增加，解的分支数量从 2 跳变为 3，说明了多个数据诱导的学习状态的共存。
预测规则： 作者基于构建的吉布斯测度推导了预测规则。对于未观测到的顶点，通过基于吉布斯分布的条件期望（后验概率）进行预测。在非对称机制下，不同的吉布斯测度会产生不同的预测规则，这意味着学习系统可以支持多种竞争的潜在表示。

意义与主张
本文声称为能量学习提供了一个新视角，即数据定义了一个可能的推理状态的“概率景观”，而非单一的最优模型。

理论桥梁： 它在经验损失景观、树上的概率推理与吉布斯理论之间建立了严谨的联系。吉布斯测度的相容性方程被证明与机器学习中使用的消息传递和置信传播算法密切相关。
相变作为学习机制： 多个吉布斯测度的出现被解释为学习系统中的相变。在临界逆温度以下，系统具有唯一的稳定表示；在临界值以上，多个竞争机制共存。这为描述分层模型中的多模态学习、聚类和对称性破缺提供了数学框架。
概率扩展： 吉布斯测度作为有限数据集向整个树的概率扩展，允许通过条件分布（而非单个参数向量）对观测不到的部分进行推理。

作者强调，该框架并非要取代标准优化，而是提供了一种替代性的概率观点，其中学习问题的“解”是一组受数据依赖算子的谱性质支配的平衡状态集。