技术摘要：CLEAR —— 基于证据引导自适应路由的冲突感知学习，用于统一稀疏视角 3D 高斯超分辨率

问题陈述

稀疏视角 3D 高斯泼溅（3DGS）超分辨率（SR）旨在从稀疏且低分辨率（LR）的输入视图中重建高质量、高分辨率（HR）的 3D 场景。由于输入缺乏足够的几何和高频信息，这一任务具有内在的挑战性。

现有方法通常遵循两阶段流水线：

1. 从稀疏输入中重建 LR 高斯场。
2. 将该场转移到 HR 表示中并进行精细化。

这种范式存在以下局限性：

• 误差累积： 来自初始 LR 重建的误差会传递到 HR 精细化阶段。
• 流水线复杂性： 两者的分离阻碍了端到端的优化。
• 梯度冲突： 当尝试在单个阶段统一 LR 和 HR 监督时（如本文所提），会出现梯度冲突。具体而言，随着输入视图数量的减少，LR 和 HR 梯度方向相反（即发生梯度冲突）的高斯比例显著增加，从而导致严重的视角合成伪影。

方法论：CLEAR 框架

作者提出了 CLEAR（基于证据引导自适应路由的冲突感知学习），这是首个用于稀疏视角 3D 高斯超分辨率的统一单阶段框架。CLEAR 不再使用分离的 LR/HR 表示，而是在整个训练过程中优化一个统一的单一高斯场，共同利用真实的 LR 观测数据和外部 HR 先验信息。

该框架由三个核心组件组成：

1. 高斯级冲突感知优化 (GCO)

为了解决真实 LR 监督与外部 HR 先验之间的梯度冲突，CLEAR 在单个高斯层面实施了冲突感知策略。

• 冲突检测： 对于每个高斯 $i$，计算 LR 梯度 ($g^{LR}_i$) 与 HR 梯度 ($g^{HR}_i$) 之间的余弦相似度 ($c_i$)。当 $c_i < -\tau_c$（其中 $\tau_c$ 为容差阈值）时，判定为发生冲突。
• 软校正： 该方法并非完全丢弃冲突的 HR 梯度（因为其可能包含有用的细节线索），而是应用了一种基于证据条件的软校正。LR 梯度作为可靠的锚点。如果检测到冲突，则通过自适应校正因子对 HR 梯度进行调整，使其与 LR 方向保持一致。这在抑制破坏性更新的同时，保留了有益的跨分辨率修正。

2. 证据引导的“块到高斯”路由 (P2G)

为了在不引入伪影的情况下恢复高频细节，CLEAR 引入了一种路由机制，有选择性地注入可信的细节。

• 块可靠性与需求： 该方法为每个 HR 图像块（Patch）估计两个指标：
  • 可靠性 ($R_p$)： 衡量下采样后的 HR 图像与原始 LR 图像之间的一致性。
  • 细节需求 ($A_p$)： 衡量 HR 块中的高频内容。
• 提升至高斯空间： 这些块级指标被投影到可见的高斯上，以生成联合证据得分 ($w_i$)。
• 选择性路由：
  • 梯度路由： 联合证据调节 HR 细节梯度，确保高频学习主要发生在 SR 证据可靠的区域。
  • 稠密化路由： 证据引导高斯稠密化（分裂/克隆），确保仅在需要细节恢复的区域添加新的高斯，从而抑制不可靠的 SR 伪影。

3. 稀疏视角稳定性 (SVS)

为了缓解稀疏视角优化中常见的过拟合和几何漂移问题，CLEAR 采用了两种稳定性策略：

• 共享高斯 Dropout： 在训练期间，对 LR 和 HR 渲染尺度应用共享的 Dropout 掩码。这防止了两个尺度之间出现人为的不一致，并减少了过拟合。
• 脱离式中途锚定： 一旦高斯结构在特定迭代次数 ($t_a$) 趋于稳定，便停止稠密化。随后引入一个“脱离锚点”（即 $t_a$ 时刻状态的梯度截断副本）。通过应用正则化损失使当前参数保持靠近该锚点，从而在允许有限外观精细化的同时，抑制后期的几何漂移。

核心贡献

1. 统一单阶段框架： CLEAR 是首个在统一单阶段优化中执行稀疏视角 3D 高斯超分辨率的方法，避免了两阶段流水线的误差累积和复杂性。
2. 冲突感知优化： 本文识别并量化了稀疏视角下 LR-HR 梯度冲突的严重程度。提出的高斯级策略利用 LR 梯度作为锚点，在抑制破坏性 HR 更新的同时，保留了兼容的修正。
3. 证据引导路由： 一种新颖的机制，将块级的 SR 可靠性和细节需求提升至高斯场，有选择地引导高频学习和稠密化，以实现可靠的细节重建。
4. 稳定性策略： 引入共享高斯 Dropout 和脱离式中途锚定，增强了稀疏视角下的几何一致性和泛化能力。

实验结果

CLEAR 在三个 4× 超分辨率基准测试上进行了评估：LLFF（真实场景，3 视图）、Blender（合成场景，8 视图）以及 Mip-NeRF 360（真实场景，24 视图）。

• 定量性能： CLEAR 在所有数据集上均取得了 SOTA（最先进）的结果，超越了现有的基于 3DGS 的方法（如 SRGS、SplatSuRe、DropGaussian）以及两阶段基线方法（S2Gaussian）。
  • 在 LLFF（3 视图）上，CLEAR 达到了 20.42 的 PSNR 和 0.266 的 LPIPS，大幅领先于之前的最优方法（S2Gaussian）。
  • 在 Blender 和 Mip-NeRF 360 上，CLEAR 也获得了最高的 PSNR 和 SSIM 分数以及最低的 LPIPS 分数。
• 定性性能： 视觉对比表明，与以往方法相比，CLEAR 能更好地保留场景几何结构，并重建更精细的纹理细节（如植被、栏杆），且产生的伪影显著减少。
• 效率： CLEAR 展示了卓越的训练效率，其训练时间明显短于两阶段 S2Gaussian 基线（在 LLFF 上平均分别为 612 秒和 1028 秒）。

意义与主张

本文声称 CLEAR 有效地调和了来自稀疏 LR 观测的结构线索与来自外部 HR 先验的高频信息之间的内在张力。通过在单个高斯场内统一这些目标，并采用冲突感知和证据引导机制，CLEAR 实现了：

• 卓越的渲染质量： 在几何和外观方面均具有更高的保真度。
• 几何保真度： 减少了新视角下的伪影和漂移。
• 高效性： 一个比多阶段替代方案更精简的单阶段优化过程。

作者将 CLEAR 定位为处理需要从有限、低分辨率数据进行高质量 3D 重建的应用（如虚拟/增强现实、机器人技术和数字孪生）的鲁棒解决方案。