Contrastive Diffusion Guidance for Spatial Inverse Problems

该论文提出了一种名为 CoGuide 的对比扩散引导方法，通过在对比学习获得的平滑嵌入空间中重构似然引导，有效解决了前向算子非平滑、不可微且部分未知的空间逆问题（如从轨迹重建平面图），实现了比现有方法更稳定、鲁棒的生成式后验采样。

要点

这篇论文提出了一种名为 CoGuide 的新方法，用来解决一类非常棘手的“反推”问题。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成：“通过观察一个人在迷宫里的走路路线，反推出这个迷宫的墙壁长什么样。”

1. 这是一个什么难题？（反推问题）

想象一下，你走进一个陌生的房子，手里拿着手机，手机记录了你在房子里走了几分钟的路线（比如从卧室走到厨房，再走到阳台）。

• 已知： 你的走路路线（轨迹）。
• 未知： 房子的平面图（哪里是墙，哪里是门，房间多大）。

通常，如果我们知道房子的图纸，很容易算出你会怎么走（这是“正推”）。但反过来，只知道你走了哪条路，要猜出房子的样子，这就叫反推问题。

难点在哪里？
人的走路习惯很复杂：你会避开家具，走最短的路，可能会因为一扇小门的开关而突然改变路线。这种“人脑规划路线”的过程，在数学上是非常不光滑、不可预测的。

• 比喻： 就像你试图通过观察一只在迷宫里乱跑的蚂蚁，来反推迷宫的墙壁。如果墙壁上有一个小洞，蚂蚁的路线可能会发生翻天覆地的变化。传统的数学方法（梯度下降）在这种“稍微动一下墙壁，路线就完全乱套”的情况下，就像在冰面上开车，轮子打滑，根本开不动（无法收敛）。

2. 以前的方法为什么不行？

以前的科学家尝试用“扩散模型”（一种能生成高质量图片的 AI）来解决这个问题。它们通常的做法是：

1. 先猜一个房子图纸。
2. 用数学公式模拟“如果这是真房子，人该怎么走”。
3. 把模拟的路线和实际记录的路线对比，如果不一样，就修改图纸。

问题在于： 那个“模拟人怎么走”的公式（也就是论文里说的“前向算子”）太粗糙、太敏感了。就像上面说的，墙壁动一点点，模拟的路线就全变了。这导致 AI 在修改图纸时，不知道是该往左改还是往右改，因为反馈信号（梯度）是混乱的。

3. CoGuide 的绝招：换个“语言”来沟通

作者发现，既然直接在“图纸”和“路线”这两个原始数据上硬碰硬行不通，不如让它们换个“语言”交流。

核心创意：对比学习（Contrastive Learning）

想象一下，你有一个翻译官（也就是论文里的“嵌入空间”）：

• 这个翻译官能把“房子图纸”翻译成一种抽象的符号。
• 也能把“走路路线”翻译成同一种抽象的符号。

训练过程：
作者给翻译官看了成千上万对“正确的房子 + 正确的路线”。

• 如果房子和路线是匹配的（比如路线没穿墙），翻译官就把它们的符号变得非常相似（像磁铁吸在一起）。
• 如果不匹配（比如路线穿墙了），翻译官就把它们的符号推得远远的。

推理过程（反推时）：
现在，你只有一条真实的走路路线。

1. 翻译官先把这条路线翻译成“抽象符号”。
2. AI 开始猜房子图纸，每猜一张，翻译官也把它翻译成“抽象符号”。
3. 关键一步： AI 不需要去计算“如果这是真房子，路线该怎么走”这种复杂的数学题。它只需要看：“我猜的房子的符号，和真实路线的符号，靠得近不近？”
   • 如果靠得近，说明猜对了，继续优化。
   • 如果离得远，就调整图纸，让符号靠得更近。

为什么这招管用？
在这个“抽象符号空间”里，关系变得平滑了。就像在平滑的草地上走路，哪怕你稍微动一下，也不会像冰面那样突然滑倒。AI 可以稳稳地顺着“符号距离变近”的方向，一步步把错误的图纸修正成正确的。

4. 实验结果：真的有效吗？

作者在实验中测试了多种情况：

• 数据少（稀疏）： 人只走了很少的路，很难猜全房子。CoGuide 依然能猜出大概的轮廓，比以前的方法准得多。
• 数据多（密集）： 人走遍了整个房子。CoGuide 能还原出非常精确的墙壁和房间布局。
• 真实世界测试： 作者真的让人拿着手机在公寓里走了一圈，用 CoGuide 还原出的图纸，比那些直接硬算的方法要清晰、准确得多，甚至能猜出别人完全没走过的房间结构。

5. 总结与意义

一句话总结：
CoGuide 就像是一个聪明的侦探。以前侦探试图通过复杂的物理公式去模拟嫌疑人的每一步，结果因为变量太多而晕头转向。现在，CoGuide 学会了**“直觉”：它不直接算物理过程，而是通过大量学习，建立了一种“直觉空间”。在这个空间里，它只需要判断“这个房子和这条路线感觉**像不像”，就能一步步还原出真相。

更广泛的应用：
这种方法不仅限于画房子。任何“已知结果，反推原因，且原因和结果之间的关系很复杂、不可导”的问题，都可以用这种“对比学习 + 扩散模型”的思路来解决。比如：

• 通过听一段模糊的录音，还原出原本清晰的歌声（盲音频修复）。
• 通过观察分子的某些性质，反推它的化学结构。

这篇论文的核心贡献就是：当数学公式走不通时，用“对比学习”搭建一座平滑的桥梁，让 AI 能够稳稳地走过反推的难关。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 《Contrastive Diffusion Guidance for Spatial Inverse Problems》（用于空间逆问题的对比扩散引导）。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem Definition)

核心问题：
论文关注一类特殊的逆问题（Inverse Problems, IP），其特点是前向算子（Forward Operator）具有**部分指定、非平滑（non-smooth）且不可微（non-differentiable）**的特性。

具体应用场景：
作者以**从人类移动轨迹重建空间布局（如房屋平面图）**为例。

• 输入 ($y$)：用户在室内行走的轨迹序列（通过传感器记录）。
• 输出 ($x$)：房屋的平面图（墙壁尺寸和布局）。
• 前向算子 ($A$)：描述人类如何根据房屋布局规划路径的函数。这是一个复杂的策略，涉及避障、距离优化等。
• 挑战：
  1. 不可微性：人类路径规划（如 A* 算法）涉及离散决策（如 argmin），导致前向算子不可微。
  2. 非平滑性：微小的布局变化（如墙上开一个小门）可能导致规划路径发生剧烈跳变，使得基于梯度的优化极不稳定。
  3. 部分已知：真实的人类行走策略难以精确建模，通常只能使用近似的路径规划器（如 A*）作为代理。

现有的基于扩散模型（Diffusion Models）的逆问题求解器（如 DPS）依赖前向算子的梯度来引导去噪过程。当算子不可微或梯度不稳定时，这些方法会失效。

2. 方法论 (Methodology)

作者提出了 CoGuide（Contrastive Diffusion Guidance），一种基于**对比学习（Contrastive Learning）**的扩散引导方法，旨在解决上述梯度不稳定问题。

核心思想

不再直接在原始数据空间（平面图 $x$ 和轨迹 $y$）中计算似然分数 $\nabla_x \log p(y|x)$，而是将两者映射到一个**共享的嵌入空间（Embedding Space, $\mathcal{E}$）**中。在这个空间中，似然分数被重构为一个平滑的替代形式。

技术细节

1. 嵌入空间构建：

   • 使用两个编码器：$f_\phi$（编码平面图）和 $g_\psi$（编码轨迹）。
   • 目标是将匹配的 $(x, y)$ 对在嵌入空间中拉近，将不匹配的推远。

2. 对比似然替代（Contrastive Likelihood Surrogate）：

   • 利用 InfoNCE 损失函数的理论性质：在最优状态下，对比相似度与似然比（Likelihood-to-Evidence Ratio）成正比。
   • 推导得出：$\frac{1}{\tau} \nabla_x \langle f_\phi(x), g_\psi(y) \rangle \approx \nabla_x \log p(y|x)$。
   • 由于嵌入向量是单位范数的，内积可以转化为欧氏距离：$\langle u, v \rangle = 1 - \frac{1}{2}\|u - v\|^2_2$。
   • 引导公式：在扩散去噪过程中，使用以下平滑的梯度项替代传统的不可微似然梯度：
     $$\nabla_{x_t} \log p_t(x_t|y) \approx s_\theta(x_t, t) - \frac{1}{2\tau} \nabla_{x_t} \| f_\phi(\hat{x}_0) - g_\psi(y) \|^2_2$$
     其中 $s_\theta$ 是预训练的扩散先验，$\hat{x}_0$ 是通过 Tweedie 公式估计的原始数据。

3. 训练策略：

   • 对比损失：使用对称的有监督对比损失（Supervised Contrastive Loss），包含 $L_{f \to t}$ 和 $L_{t \to f}$，并引入对齐损失（Alignment Loss）进一步拉近正样本对。
   • 数据生成：使用 HouseExpo 数据集，利用 A* 算法在平面图上合成对应的轨迹数据来训练编码器。

4. 推理优化 (Inference Improvements)：

   • 交点惩罚 (Intersection Penalty)：在去噪过程中增加一项惩罚 $L_{intersect} = \| y \odot (1-\hat{x}_0) \|_1$，防止生成的轨迹穿过墙壁。
   • Adam 优化器：在 DDIM 采样步骤中，使用 Adam 优化器代替传统的梯度下降（GD/SGD），以更好地处理非凸后验分布并提高收敛性。
   • 学习率调度：采用余弦退火（Cosine Annealing）和硬截断（Hard-gating）策略，在去噪初期增强引导，后期让先验模型主导以稳定生成。
   • CFG+CoGuide：结合无分类器引导（CFG）和 CoGuide，进一步提升性能。

3. 主要贡献 (Key Contributions)

1. 提出了一种新的逆问题求解范式：针对前向算子不可微、非平滑的逆问题，提出将似然引导从原始空间转移到平滑的对比嵌入空间。
2. 理论证明：证明了基于 InfoNCE 的对比相似度可以作为真实似然分数的有效替代（Surrogate），并推导了其梯度形式。
3. CoGuide 模型：实现了首个能稳定处理路径规划类逆问题的扩散引导模型，解决了传统 DPS 方法在此类问题上的不稳定性。
4. 通用性验证：不仅在平面图重建任务上有效，还成功推广到了盲音频恢复（Blind Audio Restoration）任务，证明了该方法在完全未知前向算子情况下的泛化能力。

4. 实验结果 (Results)

数据集与基准：

• 数据集：HouseExpo（35,126 张平面图）。
• 基准方法：DPS + 各种可微路径规划器（Neural A*, TransPath, DiPPeR）、DiffPIR、DMPlug、CFG（无分类器引导）。

定量结果：

• 在稀疏、中等和密集三种轨迹密度下，CoGuide 的 F1 分数和 IoU（交并比）均优于或持平于所有基准方法。
• 特别是在稀疏轨迹（逆问题病态程度高）的情况下，CoGuide 表现显著优于 CFG 和其他 DPS 变体（例如稀疏下 F1 达到 0.91 vs CFG 的 0.86）。
• CFG+CoGuide 组合在所有指标上均达到最佳（稀疏 F1: 0.93, 密集 F1: 0.99）。

定性结果：

• 可视化显示，传统方法（DPS+ 规划器）常生成包含伪影或与轨迹冲突的平面图。
• CoGuide 生成的平面图与轨迹高度一致，墙壁结构清晰，且能处理真实世界采集的稀疏 UWB 轨迹数据。

消融实验：

• 验证了交点惩罚（Intersection Penalty）对提升指标的有效性。
• 证明了使用 Adam 优化器比 SGD 在 DDIM 采样中收敛更好。
• 展示了模型对测量噪声的鲁棒性。

5. 意义与展望 (Significance & Future Work)

学术意义：

• 突破了扩散模型在逆问题求解中必须依赖可微前向算子的限制。
• 为处理非平滑、黑盒、部分已知的逆问题提供了一条新路径，即通过对比学习在潜在空间构建平滑的引导信号。

实际应用：

• 室内导航与重建：仅凭手机传感器记录的行走轨迹即可重建房屋平面图，保护隐私（无需摄像头）。
• 盲逆问题：论文展示了该方法在音频去噪等完全未知退化算子场景下的潜力。

未来方向：

• 探索更多类型的非微分算子（如城市地图生成、分子结构合成、网络拓扑推断）。
• 引入家具等更复杂的室内元素。
• 研究在仅有部分前向算子信息时如何设计更好的嵌入空间。

总结：
CoGuide 通过巧妙地将不可微的逆问题转化为嵌入空间中的对比学习问题，成功利用扩散模型解决了空间逆问题中的梯度不稳定难题，在重建精度和鲁棒性上均取得了显著突破，并为更广泛的盲逆问题求解提供了通用框架。