🔢 mathematics

Variational inference and density estimation with non-negative tensor of hierarchical tucker format

本文提出了一种两阶段、线性复杂度的算法方法，通过先进行插值随后进行定制的二阶优化，将高维离散概率张量压缩为非负分层 Tucker 格式，从而实现在高维设置下高效的变分推理与密度估计。

原作者： Xun Tang, Haoxuan Chen, Lexing Ying

发布于 2026-06-24

📖 1 分钟阅读🧠 深度阅读

原作者： Xun Tang, Haoxuan Chen, Lexing Ying

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、多维的信息图书馆。在概率论的世界里，这个图书馆是一个“张量”（tensor）——一个代表所有可能事件组合发生概率的巨大数字网格。如果你只有 10 个变量，每个变量有 100 种可能性，那么你的图书馆就有 $100^{10}$ 页。这太大了，无法存储，更不用说阅读了。

这篇论文提出了一种巧妙的方法，将这个巨大的图书馆缩减为一个微小的、易于携带的背包，且不丢失其核心故事。他们称这种方法为基于非负分层塔克格式（Non-Negative Hierarchical Tucker Format）的变分推理与密度估计。

以下是他们如何实现这一目标的简单拆解，使用了日常类比。

问题所在：“符号”之扰

在数学中，当你试图压缩这些巨大的图书馆时，通常会使用一种将数据分解为较小部分（因子）的技术。然而，标准的数学允许这些部分包含“负数”。

把概率想象成一堆沙子。你不能拥有“-5 粒沙子”。如果你的压缩方法产生了负数，你得到的就是一个“带符号”的沙堆——有些部分是沙子，有些部分是“反沙子”。这破坏了概率的规则。你无法计算沙堆的总重量，也无法利用它来进行预测。

作者的目标是在压缩数据的同时，确保每一个数字都保持为正数，就像真实的沙子一样。

解决方案：两阶段建设工程

作者构建了一个两阶段机器来解决这个问题。把它想象成在装修房子。

第一阶段：草稿（插值）

首先，他们从巨大的、未压缩的图书馆中创建一个“草稿”版本。

做法： 他们使用一种类似于拍摄几张风景照片来推测整个景观的技巧。他们选取特定的“枢轴点”（库中的关键页面），并使用一种称为“分层塔克”（Hierarchical Tucker, HT）的方法将它们缝合在一起。
代价： 这个草稿制作速度很快，但它是“带符号的”。它可能含有那些有问题的负数。它只是一个很好的素描，但还不是一个完成的、可用的房子。

第二阶段：装修（拟合）

现在，他们拿着那个草稿，强行将其转化为一个“非负”版本。这是本文的核心创新。

目标： 他们希望将那个草稿重塑为一个新的结构（称为 NHT），其中每一个数字都是正数，但它看起来仍与原始草稿完全一致。
窍门： 他们使用了一种“二阶”方法。想象你正试图把一个拼图块塞进一个孔里。简单的办法可能只是盲目地推。而本文使用了一种“智能推力”（牛顿步/Newton step），它能精确计算出应该推多少以及向哪个方向推，从而在不违反“无负数规则”的前提下达到完美的契合。
秘诀（热启动）： 通常，当你尝试修复一个拼图时，你可能会陷入局部陷阱（一个看起来还可以但并非最优的契合点）。作者发明了一种“热初始化”（Warm Initialization）策略。在开始艰苦的工作之前，他们先进行一次快速、智能的预演，将碎片排列在一个良好的位置。这防止了他们陷入困境，并帮助他们更快地找到完美解。

为什么要使用“树”结构？

该论文使用的**分层塔克（Hierarchical Tucker）**格式是基于二叉树（类似于家谱或决策树）的。

旧方法（火车）： 以前的方法使用“火车”结构（张量列/Tensor Train），其中变量通过一条长线连接。这对于那些只受相邻项影响的数据（比如排队传递消息的人）非常有效。
新方法（树）： 作者的“树”结构更适合处理那些以复杂二维模式相互影响的数据（比如一个房间里的网格人群，每个人都与四面八方的邻居交谈）。树状结构能够自然地捕捉这些复杂的“二维晶格”关系，而“火车”结构在处理这些关系时显得力不从心。

结果

作者在两类问题上测试了该方法：

变分推理： 其中他们有一个公式，可以直接对其进行提问。
密度估计： 其中他们只有一个随机样本包，必须据此推测分布的形状。

在这两种情况下，他们的方法：

高效地压缩了数据（保持文件体积很小）。
保持所有数字为正（确保其为一个有效的概率模型）。
收敛（完成了任务）得比旧方法更快、更准确，尤其是在复杂的二维网格问题上。

总结

你可以把这篇论文看作是发明了一种更聪明的方法，能将一张巨大且复杂的地图折叠进你的口袋。

他们首先绘制了一张快速的、粗略的地图草图（第一阶段）。
然后，他们使用了一种特殊的、智能的折叠技术（第二阶段），确保地图折叠得完美无瑕，没有任何“负向”褶皱，并使用了一种比传统的直线折叠法更能处理复杂形状的树状折叠模式。
他们还找到了在正确的位置开始折叠过程的方法，这样就不会在后期浪费时间去修复一个错误的折叠。

其结果是一种高效且符合数学逻辑的方法，用于存储和理解海量的概率数据。

技术摘要：基于非负分层层次结构（Hierarchical Tucker）格式的变分推理与密度估计

问题陈述
本文解决了将高维离散概率分布（表示为张量 $P: [n]^d \to \mathbb{R}_{\geq 0}$ ）压缩为易于处理的低秩格式的挑战。直接存储此类张量需要 $O(n^d)$ 的复杂度，即使对于中等维度（例如数十个变量）也是不可行的。目标是将 $P$ 近似到一个允许高效存储、采样和似然评估的参数族中。本文考虑了两种访问模型：

变分推理 (VI)： 通过一个提供（在常数因子内的）未归一化值 $P(i_1, \dots, i_d)$ 的算子来访问 $P$ 。
密度估计 (DE)： 通过从该分布中抽取的样本集来访问 $P$ 。

现有的张量网络模型（如张量列（Tensor-Train, TT）格式）对于满足“面积律”的分布非常有效，但在处理不满足面积律的 2D 格点模型或复杂相互作用结构的场景时表现不佳。此外，标准的张量网络本身并不保证非负性，这对于概率分布至关重要，以避免在下游任务（如计算 Kullback-Leibler 散度或采样）中出现“符号问题”。

方法论
作者提出了一个两阶段端到端的算法，将 $P$ 压缩为非负分层层次结构 (Non-Negative Hierarchical Tucker, NHT) 格式。

第一阶段：分层层次结构插值（参考构造）
- 目标： 构建一个有符号的层次结构 (HT) 近似 $\tilde{P} \approx P$ 。
- VI 情况： 使用基于插值分解（类似于 CUR 分解）的现有插值方法来查询 $P$ 的条目并重建 $\tilde{P}$ 。
- DE 情况： 使用现有的密度估计算法从样本中构建 $\tilde{P}$ 。
- 输出： 一个带有符号分量的参考张量 $\tilde{P}$ 。此阶段不强制执行非负性。
第二阶段：非负分层层次结构拟合
- 目标： 将非负拟设（由非负张量因子 $G = \{G_q\}$ 参数化）拟合到有符号参考 $\tilde{P}$ 。
- 优化： 该问题被公式化为最小化一个损失函数 $\ell(G)$ ，该函数由 $\tilde{P}$ 与 $P_G$ 之间的 Frobenius 范数平方以及用于强制非负性的对数屏障惩罚项组成：
  $\ell(G) = \|P_G - \tilde{P}\|_F^2 + \sum_q \mu_q \phi_q(G_q)$
  其中 $\phi_q$ 是针对 $G_q$ 条目的对数屏障。
- 算法： 采用交替最小化方法。对于每个张量分量 $G_q$ $G_{q}$ ，算法使用二阶牛顿步来更新变量。
  - 梯度/海森矩阵 (Hessian)： 通过在二叉树结构上进行消息传递，利用克罗内克积（Kronecker products）的 Gram 矩阵进行计算。
  - 效率： 为了避免反转稠密海森矩阵带来的 $O(\rho^9)$ 代价，该方法对中间节点使用共轭梯度法 (CG)，对叶节点使用解耦求解。
- 热启动初始化 (Warm Initialization)： 这是一个关键组件，采用了“规范热启动”（gauge warm initialization）策略（算法 2.3）。该方法并非对有符号参考进行朴素的阈值处理，而是利用了张量网络中的规范自由度（gauge freedom）。它通过一个解耦扫描过程（从叶到根）来寻找正的组件 $G_q$ 和正交的规范矩阵 $Q$ ，从而以“留一法”（leave-one-out）的方式最好地拟合参考分量 $F_q$ 。这显著提高了收敛性并避免了陷入局部最优。

核心贡献

用于高维分布的 NHT 格式： 本文引入了非负分层层次结构格式的使用，与张量列 (TT) 格式相比，该格式更适合 2D 格点模型和复杂的相互作用结构，同时保持了概率分布所需的非负性。
二阶拟合程序： 作者为 NHT 拟合阶段设计了一种定制的二阶优化方法。这包括一种新型的热启动初始化策略，该策略解决了在高维设置下难以达到局部最优的问题，通常能比标准初始化提高一个数量级的拟合精度。
计算复杂度： 所提方法的两个阶段都具有 $O(d)$ 的计算复杂度，使其能够扩展到高维设置。
端到端算法： 本工作为变分推理和密度估计两种场景提供了一个完整的流水线，弥合了构建有符号参考与拟合物理有效的非负模型之间的差距。

实验结果
在两种访问模型上进行了数值实验：

变分推理： 在 2D Ginzburg-Landau 模型（ $d=32$ ）和重尾模型（ $d=30$ ）上进行了测试。自适应屏障预处理牛顿迭代显著优于乘性更新基准，在相同的墙钟时间内实现了更低的相对平方 Frobenius 损失。
密度估计： 在 2D Ising 模型（ $d=32$ ）和 2D 横场 Ising 模型（ $d=64$ ）上进行了测试。该方法成功近似了真实分布，其负对数似然 (NLL) 值接近精确值。
消融研究：
- NHT vs. NTT： 在 2D Ginzburg-Landau 模型中，即使 NTT 模型拥有两倍的参数，NHT 拟设也比 NTT 拟设实现了更好的拟合精度。
- 初始化： 提出的规范热启动（算法 2.3）在拟合结果上始终优于使用乘性更新算法（算法 3.1）的初始化。

意义与主张
本文声称，所提出的 NHT 方法为压缩由于结构约束（如 2D 格点）导致传统张量列模型失效的高维离散分布提供了一个鲁棒的解决方案。通过通过拟设确保非负性，并利用精密的二阶拟合程序及专门的热启动，该方法实现了准确的密度估计和变分推理，且不会产生与无约束张量网络相关的符号问题。作者指出，虽然该方法是在完整的二叉树上展示的，但代码支持不完整的树结构，未来的工作可以将其扩展到函数式分层张量拟设，或纳入矩守恒约束。