💻 computer science

ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution

本文提出了 ConFi-GS，一种可靠性感知频率建模框架，该框架通过区分需要细节的区域与具有可靠高频内容的区域来增强 3D 高斯泼溅超分辨率，从而引导统一的优化方案注入一致且高保真的纹理，同时抑制视图不一致的伪影。

原作者： Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图重建一座城市的详细 3D 模型，但你只有几张模糊、低分辨率的照片。如果你试图猜测缺失的细节是什么样子的，你可能会无意中创造出原本不存在的东西——比如在一面实际上是实心的墙上画了一扇假窗户，或者让一棵树在一张照片中看起来清晰，在另一张照片中却显得模糊。这正是论文"ConFi-GS"试图为一种名为3D 高斯泼溅（3D Gaussian Splatting，一种从照片创建 3D 场景的方法）的技术解决的问题。

以下是他们解决方案的简单分解，使用了日常类比：

核心问题：“饥饿”与“信任”

当你试图修复模糊的 3D 模型时，你会面临两个不同的问题：

模型在哪里“渴望”细节？（哪些部分看起来模糊并需要帮助？）
我们即将添加的新细节可信吗？（我们所参考的“高分辨率”图像是否准确，还是仅仅是一种幻觉？）

现有的方法通常只是说：“这个区域看起来很模糊，所以让我们立即在那里粘贴高质量的细节。”问题在于，有时这些“高质量”的细节来自单张包含奇怪伪影或不一致性的照片。如果你将它们粘贴进去，你的 3D 模型在一个视角下会变得清晰，但从另一个角度观察时却看起来破碎或不一致。

解决方案：智能的“细节注入”系统

作者提出了一种名为ConFi-GS的系统，它就像一个非常严格、聪明的编辑。它不是盲目地粘贴细节，而是使用一个三步过滤器来决定什么内容被添加到 3D 模型中。

1. “饥饿图”（几何引导的需求）

首先，系统查看 3D 模型并询问：“我们实际上在哪里缺少信息？”

类比：想象一支建筑工人在查看一栋建筑。他们检查蓝图，发现北墙已经从多个角度拍摄，因此他们确切知道它长什么样。然而，南墙只从远处被看到，看起来很模糊。系统将南墙标记为“饥饿区”——一个真正需要更多细节的地方。

2. “信任过滤器”（频率感知的可靠性）

接下来，即使某个位置“渴望”细节，系统也会检查它即将添加的新细节是否可信。它会查看高分辨率参考图像并提出三个问题：

它在结构上合理吗？（细节是否与真实的边缘（如门框）对齐，还是仅仅是随机噪声？）
它真的缺失了吗？（当前的 3D 模型是否真的缺乏这种特定的高频模式，还是它已经存在？）
它一致吗？（如果我们从稍微不同的角度观察这个细节，它看起来仍然相同，还是会发生偏移和扭曲？）
类比：想象一名侦探试图破案。仅仅因为一名证人（高分辨率照片）说他们看到了一辆红色汽车，并不意味着他们应该立即将其写下来。侦探会检查：证人可靠吗？故事是否与其他证据相符？红色汽车的时间线是否一致？如果证人不可靠或故事说不通，侦探就会忽略该细节。

3. “注入图”（最终决定）

系统将“饥饿图”和“信任过滤器”结合起来，创建最终的细节注入图。

规则：只有当两个条件都满足时，我们才会在某个位置添加高质量细节：该位置渴望细节，并且新细节被证明是可靠的。
结果：这防止了 3D 模型“幻觉”出虚假的纹理，或者在不同角度观察时变得不一致。

系统如何学习（训练过程）

一旦系统知道在哪里添加细节，它就会使用一种智能训练策略来实际将它们放置到位：

由粗到细的学习：系统不是在第一天的时候就试图学习每一个微小的细节，而是首先学习大的形状和颜色（“粗糙”的部分）。只有在结构稳定后，它才开始添加精细、锐利的细节（“高频”部分）。
- 类比：想象画一幅肖像。你首先勾勒出轮廓并填充基本颜色。在面部形状完美之前，你不会尝试画每一根睫毛。如果你过早地尝试画睫毛，可能会搞砸整张脸。
智能扩展：如果系统发现一个可靠的细节，而当前的 3D 模型过于“粗糙”无法捕捉到它，它就会专门在该区域添加更多的“构建块”（高斯）。
- 类比：如果你试图描述一条凹凸不平的路，而你当前的描述太平滑，你不仅仅是让它更平滑。你会添加更多关于凹凸的具体说明，但仅限于凹凸实际存在且已验证的地方。

结果

通过使用这种“感知可靠性”的方法，该论文表明，他们可以将模糊、低分辨率的照片转化为清晰、高质量的 3D 模型。至关重要的是，这些模型从各个角度看都很清晰，并且不包含当你试图将细节强行添加到尚未准备好的模型中时会出现的奇怪、闪烁的伪影。

简而言之：他们建立了一个系统，该系统确切地知道在哪里寻找缺失的细节，以及如何在添加这些细节之前验证它们是真实的，从而确保最终的 3D 世界既清晰又稳定。

技术摘要：ConFi-GS：面向 3D 高斯泼溅超分辨率的置信度引导高频注入

问题陈述
利用 3D 高斯泼溅（3DGS）从低分辨率多视图图像中重建高质量 3D 场景，受限于高频观测不足，导致纹理模糊、边界微弱以及视图间细节不一致。尽管现有方法试图通过统一应用超分辨率（SR）引导或基于几何采样的局部增强来解决这一问题，但它们未能区分两个关键问题：何处需要额外细节，以及相应的候选高频内容是否足够可靠，能够被内化为多视图一致的 3D 表示。在不进行可靠性评估的情况下直接强制注入超分辨率细节，会引入视图特定的伪影、缺乏结构支撑的锐度以及幻觉纹理，从而破坏 3D 表示的一致性。

方法论
作者提出了 ConFi-GS，这是一个具备可靠性感知能力的高频建模框架，将低分辨率 3DGS 重建问题重构为选择性细节注入问题。该框架通过四个协同组件运行：

几何引导的细节需求估计：
该方法首先基于低分辨率输入预训练一个基础 3DGS 模型，以估计“细节需求先验”。它分析每个高斯原基的跨视图采样比率。如果一个高斯在所有视图中均以相似且不足的尺度被采样（低采样比率），则将其标记为细节不足。这生成了一个视图特定的细节需求图（ $D_t$ ），突出了可能缺乏可恢复细节的区域，且独立于候选细节的可靠性。
频率感知的可靠性评估：
为了确定来自超分辨率参考的候选高频细节是否可信，该框架基于三个线索计算可靠性图（ $C^t_{rel}$ ）：
- 结构支撑（ $E_t$ ）： 测量与超分辨率参考中局部边缘的对齐程度，以确保细节并非缺乏结构支撑。
- 未解析证据（ $G_t$ ）： 使用傅里叶域高通算子量化当前渲染与超分辨率参考之间的高频差异，识别缺失但潜在可恢复的频谱内容。
- 跨视图一致性（ $X_t$ ）： 惩罚在相邻视图间重投影时不稳定的细节，过滤掉视图特定的伪影。
  最终的细节注入图（ $M_t$ ）是需求图与可靠性图的逐元素乘积，确保监督仅应用于既需要细节又可靠的区域。
选择性渐进式频率正则化：
该方法不立即强制全频段频率匹配，而是采用由粗到细的调度策略。它仅对 $M_t$ 中高权重的区域应用图像块级别的幅度谱损失（ $L_{amp}$ ）和相位谱损失（ $L_{ph}$ ）。幅度损失在早期引入以稳定粗略外观，而更敏感的相位损失则在几何稳定后稍晚激活。这防止了模型在优化早期拟合不稳定的伪高频信号。
可靠性感知的高斯致密化：
为了确保表示具有吸收可靠细节的能力，作者引入了一种由联合分数（ $S_i$ ）引导的致密化策略，该分数结合了几何需求（ $U_i$ ）、可靠性加权的频谱残差（ $F_i$ ）以及局部结构复杂度（ $H_i$ ）。这将高斯分裂和克隆定向引导至存在未解析且可靠细节的区域，而不是仅仅依赖通用的图像空间梯度。

主要贡献

可靠性感知的问题表述： 本文明确将“细节需求”与“细节可靠性”分离，解决了低分辨率 3D 重建中的根本模糊性，即缺失细节并不保证超分辨率候选项是可信的。
双阶段估计： 它引入了一个几何引导的需求估计器，随后是一个频率感知的可靠性评估，该评估通过评估结构支撑、频谱分辨率和跨视图稳定性，生成精确的细节注入图。
统一优化方案： 该框架集成了选择性渐进式频率正则化和可靠性感知的高斯致密化，实现了可靠高频细节向 3D 表示的渐进式、结构化内化。

实验结果
该方法在Tanks & Temples、Deep Blending和Mip-NeRF 360等标准基准上进行了评估，测试条件包括 2 倍和 4 倍超分辨率设置。

定量性能： 与标准 3DGS（LR）、Mip-Splatting、SRGS（统一 SR）和 SplatSuRe（几何引导 SR）等基线相比，ConFi-GS 在多项指标（PSNR、SSIM、LPIPS、FID、CMMD、DreamSim）上均取得了最先进的性能。例如，在 Tanks & Temples（4 倍）上，其 PSNR 达到 24.08，LPIPS 为 0.270，优于 SplatSuRe（PSNR 23.84，LPIPS 0.273）。
定性改进： 视觉对比显示，该方法在薄边界和纹理区域周围实现了更锐利的重建，同时有效抑制了困扰其他方法的高频伪影和视图不一致细节。
消融研究： 移除任何组件（可靠性评估、渐进式正则化或可靠性感知致密化）都会导致性能显著下降，证实了每个模块的互补必要性。具体而言，移除可靠性评估会导致吸收视图不一致的细节，而移除渐进式调度则会使早期优化不稳定。

意义与主张
本文主张，ConFi-GS 将低分辨率 3DGS 增强的范式从“直接细节放大”转变为“可靠性感知细节内化”。通过在将高频信号内化到 3D 表示之前显式过滤掉不可靠的信号，该方法在高保真纹理恢复与多视图结构一致性之间取得了平衡。作者强调，他们的方法不仅仅是模仿超分辨率图像纹理，而是将可信细节逐步整合到稳定的 3D 场景表示中。尽管承认存在依赖外部 SR 质量和额外训练时间等局限性，但这项工作建立了一个证据感知的细节整合框架，解决了 3D 重建中细节需求与可靠性之间的核心模糊性。