🤖 machine learning

Bayesian Tensor Decomposition with Diffusion Model Prior

本文介绍了 DiffBCP，这是一种贝叶斯张量分解框架，它将预训练扩散模型作为数据先验，并结合累积收缩过程进行自动秩选择，利用分裂吉布斯采样器实现可处理的推理，并在严重损坏情况下的图像修复和去噪任务中取得了卓越性能。

原作者： Zerui Tao, Qibin Zhao

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Zerui Tao, Qibin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个巨大的、三维的拼图（一个“张量”），它代表了一张复杂的图像，比如一张城市或人脸的照片。不幸的是，有人撕掉了其中巨大的碎片，剩下的部分还布满了噪点和划痕（噪声）。你的目标是弄清楚原始图像原本是什么样子的。

这篇论文介绍了一种名为 DiffBCP 的新方法来解决这个拼图问题。以下是它的工作原理，通过简单的概念进行拆解：

1. 旧的方法：“低秩性”猜测

传统上，计算机尝试通过假设图像具有某种简单的底层结构来解决这个问题。他们称之为 “低秩性”（Low-Rankness）。

类比： 想象这张照片是一幅由仅有的几种独特笔触构成的画作。如果你知道了这几种笔触的模式，你就可以猜出缺失的部分。
问题： 如果图像很干净，这种方法效果很好。但如果图像受损严重或缺失了巨大块的内容，仅仅假设它是“简单”的就远远不够了。计算机会陷入困境，产生模糊且怪异的结果。

2. 新的成分：“扩散模型”（艺术专家）

作者意识到，虽然“低秩性”是一个很好的经验法则，但对于杂乱的现实世界数据来说还不够。他们决定加入第二个更聪明的助手：一个 扩散模型（Diffusion Model）。

类比： 把扩散模型想象成一位看过数百万张照片的世界级艺术专家。这位专家不仅懂数学，还对真实的脸部、树木或建筑“应该”长什么样有一种直觉上的“感觉”。
创新之处： 通常，这些艺术专家很难与数学解题器结合在一起。作者找到了一种方法，让这位专家在不破坏数学逻辑的前提下，引导整个解题过程。

3. 混合团队：DiffBCP

新方法 DiffBCP 是“低秩”数学与“艺术专家”的联手协作。

他们如何协作：
1. 数学（低秩性）： 保持结构的有序，并确保拼图碎片能够符合逻辑地拼接在一起。它还像一个智能过滤器，能自动决定实际需要多少种“笔触”，从而避免过度复杂化。
2. 专家（扩散模型）： 观察杂乱、不完整的拼图并说：“嘿，那个缺失的部分看起来应该是一个窗户，而不是一个随机的色块。”它用真实的纹理填充缺失的细节。

4. 秘诀：“分裂吉布斯采样器”（Split Gibbs Sampler）

将两者结合起来非常困难，因为它们使用的语言不同（一个使用严谨的数学，另一个使用概率）。为了让它们互相沟通，作者发明了一种特殊的通信协议，叫做 “分裂吉布斯采样器”。

类比： 想象两个人正在盖房子。一个是刻板的建筑师（数学），另一个是富有创造力的室内设计师（扩散模型）。
- 他们不是通过争吵，而是使用一个 翻译官（采样器）来协作。
- 建筑师搭建框架。
- 翻译官将框架交给设计师，设计师为其添加真实的壁纸和家具。
- 翻译官将它传回给建筑师，建筑师根据新的家具调整框架。
- 他们反复进行这种来回交替，直到房子完美无缺。
益处： 这使得计算机可以自动处理噪声。它不需要人类告诉它“噪声水平是 5%”。系统在工作时会自动计算出噪声水平。

5. 结果：他们发现了什么？

作者在以下领域测试了该方法：

图像修复（Image Inpainting）： 填补照片中缺失的部分（例如从人群中移除某人或修复破损的照片）。
去噪（Denoising）： 清理充满颗粒感和静态噪声的图像。
高分辨率与分布外数据（High-Resolution & Out-of-Distribution）： 即使在处理巨大的高分辨率图像，或者处理与训练数据完全不同的图像（例如用训练于人脸的模型去处理夜间城市景观）时，它的表现依然优于以往的方法。

简而言之： 他们构建了一个结合了数学的结构逻辑与 AI 艺术生成器创造性直觉的系统。这使得它能够比以往的方法更准确、更真实地重建受损图像，即使是在损坏严重或图像尺寸巨大的情况下。

技术摘要：结合扩散模型先验的贝叶斯张量分解

问题陈述

低秩张量分解（TD）是多维数据分析的标准工具，在数据洁净且完全观测的情况下非常有效。然而，在严重的缺失或噪声环境下，其性能会显著下降。虽然低秩假设可以作为一种结构性先验，但仅靠它往往不足以恢复复杂的真实世界数据。以往通过手工设计先验（如稀疏性、平滑性）来增强 TD 的尝试，无法捕捉复杂数据分布的丰富统计特性。相反，虽然最先进的扩散模型提供了强大的学习型数据先验，但它们与当前的 TD 框架并不兼容，且在结合低秩约束和自动秩选择时难以进行可解的后验推理。

方法论：DiffBCP

作者提出了 DiffBCP，这是一种混合先验的贝叶斯 CP 分解框架，旨在将学习到的扩散先验与结构化低秩约束相结合。

1. 概率公式化

该模型定义了观测数据 $Y$ 、重建张量 $X$ 以及潜在 CP 因子 ( $\lambda, A^{(1:N)}$ ) 的联合概率分布：
$p(Y, X, \lambda, A^{(1:N)}, \tau) \propto p(Y | X, \tau) \cdot p(X | A^{(1:N)}, \lambda) \cdot p(A^{(1:N)}) \cdot p(\lambda) \cdot p(X) \cdot p(\tau)$

核心组件包括：

似然函数（Likelihood）： 假设观测条目服从精度为 $\tau$ 的正态分布。
结构约束： $p(X | A^{(1:N)}, \lambda)$ 通过 Dirac $\delta$ 函数强制执行 CP 分解结构（即 $X = \text{CP}(\lambda, A^{(1:N)})$ ）。
潜在因子先验：
- CUSP 先验： CP 权重 $\lambda$ 服从累积收缩过程（CUSP）先验。这种层次化先验通过在秩增加时将冗余分量收缩至一个微小常数 $\theta_\infty$ ，实现了自动秩选择。
- 高斯先验： 因子矩阵 $A^{(n)}$ 服从标准高斯先验，以正则化范数。
扩散先验： 重建张量 $X$ 被赋予一个强大的、预训练的扩散模型先验 $p(X)$ 。这作为一个隐式的、数据驱动的正则化项，能够捕捉仅靠低秩假设无法捕捉的复杂纹理和结构。

2. 推理：分裂吉布斯采样（Split Gibbs Sampler, SGS）

由于似然函数、低秩约束与隐式扩散先验之间的耦合，直接进行后验推理是不可行的。作者采用了一种带有辅助变量 $Z$ 的分裂吉布斯采样器来解耦这些项：

增广（Augmentation）： 引入一个辅助变量 $Z$ 以及耦合项 $\phi(Z, X; \rho) = \frac{1}{2\rho^2}\|Z - X\|_F^2$ 。
潜在变量更新： 给定 $Z$ 后，CP 因子 ( $\lambda, A^{(n)}$ ) 和超参数 ( $\tau, \theta, \nu$ ) 具有闭式共轭更新形式（如高斯、Gamma、Beta 分布等）。
扩散块更新： 给定 $X$ 后，辅助变量 $Z$ 从由扩散先验和耦合项定义的分布中进行采样。这一过程被解决为一个去噪问题，通过预训练的评分网络 $s_\psi$ 在受低秩估计 $X$ 引导的随机微分方程（SDE）逆过程中完成。
噪声自适应耦合： 引入了一个调度机制，其中耦合参数 $\rho$ 根据推断出的噪声精度 $\tau$ 进行动态调整（具体为 $\tau\rho^2 = c$ ）。这降低了对手动退火调度的敏感性。

3. 秩自适应

该框架包含双向秩自适应方案。CUSP 先验会收缩不活跃的分量，同时另一个机制会在当前秩不足时添加新分量。这确保了针对初始秩误设（rank misspecification）的鲁棒性。

核心贡献

混合先验框架： 首个将现成的预训练扩散模型作为重建张量的学习型数据先验，并与结构化低秩 CP 先验相结合的贝叶斯张量分解模型。
可解的推理： 开发了一种分裂吉布斯采样器，使得尽管存在似然、低秩约束和扩散先验之间的复杂耦合，仍能进行后验推理。这包括潜在因子的闭式更新以及低秩引导的扩散块去噪。
自动秩与噪声推断： 利用 CUSP 先验和全贝叶斯噪声估计，消除了对手动调节秩和噪声水平的需求。
鲁棒性： 通过其自适应耦合调度，该方法展示了对初始秩误设和不同噪声水平的鲁棒性。

实验结果

该方法在 FFHQ 和 ImageNet 数据集上的图像修复（inpainting）和去噪任务，以及高分辨率分布外（OOD）图像上进行了评估。

性能表现： DiffBCP 一致优于基准模型，包括传统的贝叶斯 TD（BCP, BTR）、基于深度学习的 TD（HLRTF, DeepTensor）以及即插即用方法（GLON, PnP-DM）。
- 在 90% 缺失数据（均匀掩码）的 FFHQ 任务中，DiffBCP 达到了 28.28 dB PSNR，比表现最好的基准模型（DeepTensor）提升了 2.17 dB。
- 在不规则掩码下，提升更为显著（比 DeepTensor 高出 2.33 dB）。
OOD 与高分辨率： 该方法成功重建了使用在 256×256 图像上训练的扩散模型生成的 2048×2048 图像（如 Marseille, Tokyo），在其他方法（如 PuTT）引入伪影或失败的地方，仍能保持连贯性和细节。
消融实验：
- 移除扩散先验会导致在结构化掩码（条纹、不规则掩码）下的性能显著下降，证实了扩散先验在恢复空间连续性方面的作用。
- CUSP 先验在初始秩严重欠设（例如从秩 10 开始而非 200）时，对恢复至关重要。
与扩散采样器的比较： 与 PnP-DM 相比，DiffBCP 在噪声水平调度的稳定性以及高分辨率图像性能方面表现更优，尽管如果手动将 PnP-DM 的噪声参数调整至最优值，它也能取得具有竞争力的结果。

重要性与主张

论文声称 DiffBCP 成功弥合了低秩张量分解的结构归纳偏置与现代生成式扩散模型的表达能力之间的鸿沟。通过在全概率框架内实现这种集成，作者实现了：

针对噪声和不完整张量数据的最先进（SOTA）恢复能力。
对未知秩和噪声水平的自动适应，消除了对大量超参数调优的需求。
对分布偏移和高分辨率输入的鲁棒性，利用低秩结构作为扩散先验面对 OOD 数据时的稳定归纳偏置。

作者指出，该方法的性能依赖于底层信号是否具备有意义的低秩结构；如果该假设被违反，结构性贡献会减弱，但扩散先验依然有效。未来的工作建议将该框架扩展到其他逆问题（如压缩感知）和其他张量分解形式（如 Tensor Train, Tensor Ring）。