💻 computer science

TRACE-GS: On-Policy Trajectory Distillation with Privileged Geometric Conditioning for Sparse-View 3DGS Restoration

TRACE-GS 引入了一种在策略轨迹蒸馏框架，该框架在训练过程中利用特权几何条件来对齐去噪方向并修正稀疏视图 3D 高斯泼溅恢复中的累积误差，从而在部署时无需额外视图即可实现卓越的泛化能力。

原作者： Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个完美的 3D 房间模型，但你手里只有从几个角度拍摄的少量模糊照片。在计算机视觉领域，这是一个经典的难题，被称为“稀疏视图 3D 重建”（sparse-view 3D reconstruction）。目标是填补所有缺失的部分——墙壁、家具、阴影——以便你可以走入模型并在任何角度观察它。最近，一种名为 3D 高斯泼溅（3D Gaussian Splatting, 3DGS）的技术成为了这项工作的明星，因为它能以极快的速度渲染 3D 场景，几乎就像玩电子游戏一样。然而，当你没有足够的照片时，计算机就会感到困惑。它可能会制造出漂浮的彩色斑块、模糊边缘，或者让几何结构看起来像融化的蜡。为了解决这个问题，科学家们开始使用“扩散模型”（diffusion models），它们就像是在数百万张图像上训练出来的 AI 艺术家。这些 AI 可以猜测缺失的部分应该长什么样，但当它们必须在缺乏足够线索的情况下进行逐步猜测时，往往会出错。

于是，TRACE-GS 登场了，它像是一位正在训练运动员的顶级教练。研究人员意识到，虽然 AI 模型变得越来越聪明，但它们仍在犯一种特定的错误：它们被教导根据随机、孤立的快照进行猜测，但随后却必须完成一段漫长且连贯的旅程来创建最终图像。这就像是教学生通过看一些无关问题的答案来解决数学题，然后期望他们在没有任何帮助的情况下解出一长串方程组。学生会在途中迷失方向。TRACE-GS 通过彻底改变训练方式解决了这个问题。它不再仅仅给学生提供随机的线索，而是使用了一个在训练期间可以接触到高质量完整 3D 模型的“特权”教师（因为训练数据比现实世界的问题拥有更多的照片）。这位教师会在学生独自工作时的每一步都引导它，纠正它的航向。结果是，该系统可以利用几张模糊的照片，将它们转化为细节清晰、精细的 3D 场景，即使在其他方法失效的困难情况下也是如此。

问题所在：在途中迷失

当你尝试仅用极少数照片（例如 3 张、6 张或 9 张）重建 3D 场景时，计算机必须填补巨大的空白。现有方法试图使用 AI “扩散”模型来猜测缺失的细节。把这想象成一场“传声筒”游戏，你试图根据一段耳语的描述来画一幅画。大多数目前的 AI 方法是通过观察最终图像并询问：“如果我们加入一些噪声，它看起来会怎样？”来进行训练的。它们学习的是如何孤立地去除这些噪声。

但问题在于：当 AI 实际尝试构建图像时，它并不是从一张白纸开始直接跳到终点，而是经历一段漫长的、循序渐进的旅程——做一个猜测，然后利用这个猜测进行下一次猜测。如果第一个猜测稍有偏差（由于照片稀疏，这经常发生），这个误差就会传递下去。下一个步骤建立在错误之上，下一个步骤又建立在那个错误之上。到 AI 完成时，误差已经堆积如山，导致图像发生扭曲。论文称之为“离策不匹配”（off-policy mismatch）。这就像一个在完美地图上接受训练、却要在街道缺失的城市中导航的 GPS；它不断根据错误的数据重新计算，结果让你在原地绕圈。

解决方案：特权教练

TRACE-GS 的作者意识到，训练数据通常包含比现实世界问题更多的照片。在训练期间，他们可以接触到“稠密”视图（许多照片），但在部署阶段（即用户实际使用该工具时），他们只有“稀疏”视图（少量照片）。

他们创建了一个包含两个角色的系统：

学生： 这是将在现实世界中使用的模型。它只能看到少量的、稀疏的照片。
教师： 这是学生的副本，但在训练期间，它可以看到丰富的、稠密的照片集。这就是“特权信息”。

魔法发生在训练过程中。研究人员并没有简单地将学生的随机猜测与目标进行比较，而是让学生完成它自己的旅程（即“展开过程/rollout”）来生成图像。在这个旅程的每一步，拥有完整高品质几何信息的教师都会介入并说：“不，那样不对。这里是下一步正确的方向。”

至关重要的一点是，教师并不进行自己的旅程。它只是观察学生“当前”的状态，并给出修正。这确保了学生学习的是如何导航它实际会走的特定路径，而不是仅仅学习如何修复随机、孤立的错误。这被称为“在策轨迹蒸馏”（on-policy trajectory distillation）。

结果：更锐利的细节，更少的幻影

论文在各种数据集上测试了这种方法，包括真实场景和合成场景。他们将 TRACE-GS 与其他顶尖方法（如 Difix3D+、GenFusion 和 GSFixer）进行了对比。

结果令人印象深刻。在仅有 3 个输入视图（最难的情况）的测试中，TRACE-GS 始终比竞争对手产生更好的图像。例如，在 DL3DV-Benchmark 数据集上，它在 3 视图下的 PSNR（衡量图像质量的分数）达到了 16.92，击败了排名第二的 GSFixer（得分为 16.21）。随着视图数量增加到 6 个和 9 个，TRACE-GS 继续保持领先或并列第一。

视觉上的差异非常显著。在具有反射表面（如闪亮的商店橱窗）或复杂纹理的场景中，其他方法经常会产生模糊的斑块或“幻影”（漂浮的伪影）。然而，TRACE-GS 能够恢复锐利的细节。在一个例子中，当其他方法使标牌上的文字或椅子的轮廓变得模糊时，TRACE-GS 保持了边缘的清晰和结构的逻辑性。

研究人员还进行了“消融实验”（即通过移除系统中的部分组件来观察其影响的实验）。他们发现：

特权几何信息至关重要： 如果教师无法接触到额外的照片（特权几何信息），系统的表现会比基准方法差。这些额外的视图对于提供正确的引导至关重要。
在策训练至关重要： 如果他们使用旧的“离策”方法（使用随机步骤而非学生的实际路径）进行训练，质量就会下降。这证明了沿着学生自身的路径进行纠正是成功的关键。

为什么有效

核心思想在于，学生看到的（稀疏视图）与教师看到的（稠密视图）之间的“差距”被用作了一种教学工具。教师知道场景“应该”是什么样子，因为它拥有更多信息。通过在学生的整个旅程中进行步进式引导，教师防止了微小的误差演变成巨大的灾难。

一旦训练完成，教师就会被丢弃。此时的学生已成为自己路径的大师，被投入使用。它接收稀疏的照片，运行自己的去噪旅程，并生成高质量的 3D 场景，该场景可以进一步优化。论文指出，这种方法是迈向稀疏视图 3D 恢复的重要一步，它提供了一种无需昂贵、稠密相机设置即可获得高质量结果的方法。它将一场困难且易错的猜测游戏变成了一场引导式的巡游，确保即使信息有限，最终的目的地依然清晰且锐利。

技术摘要：TRACE-GS

问题陈述

稀疏视角 3D 高斯泼溅（3DGS）重建在输入视图受限（例如 3–9 幅图像）时，面临严重的几何约束不足问题。这会导致诸如浮点伪影（floaters）、几何破碎和纹理模糊等问题。虽然最近的方法利用预训练的扩散模型作为生成先验来恢复新视角渲染以进行 3DGS 微调，但它们面临着一个根本性的**训练-推理不匹配（training-inference mismatch）**问题：

离策状态不匹配（Off-Policy State Mismatch）： 现有方法在源自干净目标的独立前向加噪状态下对模型进行监督。然而，在推理过程中，模型遵循由其自身去噪预测驱动的顺序展开（sequential rollout）。因此，模型会遇到训练目标未覆盖的自生成状态。
复合几何偏差（Compounding Geometry Bias）： 在稀疏视角设置中，初始几何结构是欠约束的。早期去噪步骤中的伪影会使后续方向产生偏差，导致偏差沿展开过程不断累积。离策监督（Off-policy supervision）无法纠正这些偏差，因为它并未对推理期间实际访问的状态进行监督。

方法论：TRACE-GS

TRACE-GS（通过特权几何调节进行在策轨迹蒸馏）通过将稀疏视角恢复建模为一个**利用特权信息学习（Learning Using Privileged Information, LUPI）**问题来解决上述问题。该框架采用了教师-学生架构，其中教师可以访问仅在训练期间可用的“特权”几何信息。

1. 几何非对称 LUPI 公式化

设置： 对于给定的场景，生成两个 3DGS 重建结果：一个来自稀疏输入视图（ $V_s$ ），另一个来自所有可用的训练视图（ $V_d$ ，其中 $V_s \subset V_d$ ）。
特权信息： 与稀疏视图重建（ $R_s$ ）相比，稠密视图重建（ $R_d$ ）提供了更丰富、更可靠的几何结构和更少的伪影。这种几何保真度差距构成了特权信息。
架构： 教师和学生共享一个单一的速度预测器主干网络（ $v_\theta$ $v_{θ}$ ）。
- 教师（Teacher）： 以稠密视图渲染（ $R_d$ ）为条件。它作为一个特权引导者。
- 学生（Student）： 以稀疏视图渲染（ $R_s$ ）为条件。它是可部署的模型。
- 两者共享相同的冻结主干网络和可训练的 LoRA 适配器（初始化相同），仅在条件输入上有所不同。

2. 训练策略

训练过程包含两个主要阶段，旨在使学生与特权教师对齐：

特权方向对齐（预热阶段）：
在独立采样的前向加噪状态下，将学生的预测（ $v_S$ ）与教师的预测（ $v_T$ ）进行对齐。这减少了由稀疏几何差距引起的初始方向偏差。
$\mathcal{L}_{align} = \mathbb{E}[\|v_S - \text{sg}[v_T]\|_2^2]$
（其中 $\text{sg}$ 表示停止梯度）。
在策轨迹蒸馏（On-Policy Trajectory Distillation）：
与以往方法不同，TRACE-GS 在学生自身的展开轨迹（ $Z_S$ ）上进行监督。
- 学生展开： 学生从噪声开始生成一个状态轨迹（ $z^S_{t'}$ ），使用其自身的预测。
- 教师查询： 在学生访问的每个状态处，使用相同的状态和特权稠密几何（ $R_d$ ）查询冻结的教师，以生成目标速度（ $u^T_i$ ）。教师本身并不执行其自身的展开过程。
- 轨迹损失： 在这些访问状态下，将学生的预测速度与教师的目标进行对齐：
  $\mathcal{L}_{traj} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|u^S_i - \text{sg}[u^T_i]\|_2^2\right]$
在策检索对齐（On-Policy Retrieval Alignment）：
为了确保学生不仅能正确利用速度方向，还能正确利用跨视图证据，该框架在访问状态下对学生和教师的交叉注意力检索响应进行对齐。
$\mathcal{L}_{ret} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|\bar{F}^S_i - \text{sg}[\bar{F}^T_i]\|_2^2\right]$
其中 $\bar{F}$ 代表归一化的检索响应。

3. 部署

在部署时，仅保留以稀疏为条件的学生模型。它从稀疏视图 3DGS 中恢复带有伪影的渲染结果。这些恢复的渲染结果作为伪观测值，用于迭代地细化 3DGS 表示。推理期间不需要特权几何或教师计算。

核心贡献

识别耦合限制： 作者识别出离策不匹配和几何诱导偏差会在稀疏视角 3DGS 恢复中产生复合效应，因此需要对推理期间实际访问的状态进行监督。
几何非对称 LUPI： 本文提出了一种新型的 LUPI 设置，其中知识从具有更丰富几何条件的教师转移到架构相同但几何条件较少的学生。
首个用于稀疏 3DGS 的在策监督： TRACE-GS 是首个从特权稠密视图几何中导出在策监督的方法，它在不要求教师进行展开的情况下，实现了去噪方向和检索响应的对齐。

实验结果

该方法在三个数据集上进行了评估：DL3DV-Benchmark（领域内）、Mip-NeRF 360 和 NeRF-Busters（领域外），输入视图分别为 3、6 和 9 个。

定量性能： TRACE-GS 在所有数据集和稀疏度水平下均实现了最先进的（SOTA）性能，包括 PSNR、SSIM 和 LPIPS。
- 在 DL3DV-Benchmark 上，在 3 视图设置下，其 PSNR 比之前的最优方法（GSFixer）高出 0.47 dB。
- 在领域外数据集上，它在各项指标中均保持领先，尤其是在极具挑战性的 3 视图设置下（例如，在 Mip-NeRF 360 上比 GSFixer 高出 0.73 dB）。
定性改进： 视觉对比显示，在基准方法产生模糊或几何破碎的地方，TRACE-GS 能够恢复更清晰的细节和连贯的结构（例如文字、反射、物体轮廓）。
消融实验：
- 特权几何： 增加用于教师的视图数量（从 3 个增加到所有可用视图）单调地提高了性能，证实了几何差距的价值。
- 在策 vs 离策： 用离策监督（独立采样的状态）替换在策监督会导致性能下降，特别是在误差累积的后期去噪步骤中。这验证了监督访问状态的必要性。
- 检索对齐： 添加检索对齐带来了持续的增益，确保了更好的跨视图一致性。

意义与主张

本文声称 TRACE-GS 代表了解决稀疏视角 3DGS 恢复问题的一个根本性转变。通过不再追求日益复杂的恢复架构，它解决了基于扩散先验的训练-推理不匹配这一核心局限。

其意义在于将 利用特权信息学习（LUPI） 框架应用于 3DGS：

它利用训练时的几何优势（稠密视图）来引导仅在部署时操作的稀疏视图模型。
它确保了引导恰好应用在模型最需要的地方：即沿着其自身的推理轨迹。
该方法被呈现为一个“即插即用”的细化阶段，在部署期间无需额外的视图或计算开销，并在多种数据集和稀疏度水平下实现了强大的泛化能力。