💻 computer science

SplatPainter: Interactive Authoring of 3D Gaussians from 2D Edits via Test-Time Training

SplatPainter 是一个具有状态感知能力的前馈模型，它通过利用测试时训练进行快速、精确且保持身份特征的细化，实现了通过 2D 用户输入对 3D 高斯资产进行交互式、高保真度的编辑。

原作者： Yang Zheng, Hao Tan, Kai Zhang, Peng Wang, Leonidas Guibas, Gordon Wetzstein, Wang Yifan

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yang Zheng, Hao Tan, Kai Zhang, Peng Wang, Leonidas Guibas, Gordon Wetzstein, Wang Yifan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个精美、写实、由 3D 高斯泼溅（3D Gaussian Splatting） 技术创建的角色或物体 3D 模型。请不要把它想象成一个坚实的雕像，而要把它想象成由数百万个微小的、发光的、有颜色的点（即高斯点）组成的云团，从任何角度观察，它看起来都像一张完美的照片。

问题在于，一旦这个“云团”创建完成，它就很难进行修改。如果你想添加一个特定的细节——比如眼睛下方的一滴泪珠、墙上的涂鸦标签，或者改变光照让场景看起来像是日落时分——现有的工具要么太慢（需要几分钟甚至几小时），要么会破坏模型，导致模型变得模糊或改变了你不希望触动的部分。

SplatPainter 是一款旨在解决这一问题的全新工具。以下是通过简单的类比对它的工作原理进行的解释：

1. “智能压缩器”（第一阶段）

在进行编辑之前，系统会对你那数百万个点的庞大云团进行整理。

类比： 想象你的 3D 模型是一个巨大的、杂乱无章的图书馆，里面散落着数百万本书。为了能快速找到所需内容，SplatPainter 首先将这些书归类到整齐、带有标签的盒子（称为 体素/voxels）中。
它所做的工作： 它不仅仅是堆叠这些书；它还会阅读每个盒子中最重要的书籍，并创建一个“摘要卡”（一种紧凑的潜表示），捕捉该区域的本质特征。这使得模型变得体积更小、处理速度更快，同时又能将所有高质量的细节安全地保存在这些摘要卡中。

2. “即时学习者”（第二阶段：测试时训练）

这是最神奇的部分。通常情况下，AI 模型一旦训练完成就会被冻结。如果你想教它们新知识，必须从头开始重新训练，这需要耗费极长时间。

类比： 想象一位掌握了烹饪完美牛排技巧的大厨。如果你请他加入你带来的某种特定香料，普通的厨师可能需要回到烹饪学校学习一周才能学会。
SplatPainter 的大厨： 这位大厨拥有一种“即时学习”的能力。当你把你的“香料”（你的 2D 编辑，比如一张画或一张照片）交给他们时，他们会立即品尝，并针对“此时此刻”调整他们的内部配方，从而立即将这种变化应用到牛排上。他们不会忘记如何烹饪牛排，他们只是暂时适应了你的新食材。
技术术语： 这被称为 测试时训练（Test-Time Training, TTT）。系统会观察你的 2D 编辑（例如放大的面部局部照片），瞬间更新其“大脑”的一小部分（快速权重），以理解你的特定需求，然后将这一变化应用到 3D 模型上。

3. 你可以用它做什么？

该论文强调了你可以使用这个“即时学习”工具进行的三种主要方式：

超分辨率（“放大”修复）：
- 场景： 你有一个面部 3D 模型，但眼睛看起来有点模糊。你拍摄了一张仅针对眼睛的高质量照片并展示给 SplatPainter。
- 结果： 工具会立即更新该特定区域的 3D 点，使其与你的清晰照片相匹配。这就像是将一幅模糊的画作，瞬间只针对眼睛部分进行重绘，使其达到完美细节，而脸部的其余部分保持原样。
局部绘画（“涂鸦”工具）：
- 场景： 你想在角色的眼睛下方画一滴蓝色的泪珠，或者在头盔上贴一个贴纸。
- 结果： 你在 2D 屏幕上进行绘制，SplatPainter 会将该绘画“提升”到 3D 空间中。至关重要的是，它知道精确的放置位置。它不会误将泪珠画在另一侧的头上，也不会改变整个头盔的颜色。它完美地保留了物体的原始身份。
全局重光照（“日落”切换）：
- 场景： 你的 3D 场景看起来像是处于明亮的办公室里，但你希望它看起来像是处于温暖的日落房间中。
- 结果： 你向工具展示一两张带有新光照效果的场景照片。工具会立即调整整个 3D 模型上的光照和阴影，使其从各个角度看都保持一致，而无需等待数小时的计算。

为什么这意义重大？

速度： 它能在秒级内完成工作（交互式速度）。其他方法则需要数百秒甚至分钟。
安全性： 它不会破坏原始模型。这就像在 Photoshop 中编辑照片，你可以随时撤销或改变主意，而不是必须重新绘制整个画布。
精准度： 它完全理解你的需求。如果你要求在左眼下方画一滴泪，它就会放在那里。它不会产生混乱，把泪水画在鼻子或额头上。

简而言之，SplatPainter 将修复 3D 模型这一困难且缓慢的过程，转变为一种快速、直观的体验，让你能够像使用 2D 数位板一样，去绘制、缩放和点亮你的 3D 世界。

技术摘要：SplatPainter

问题陈述

尽管 3D 高斯泼溅（3DGS）已经彻底改变了逼真的 3D 资产创建，但交互式外观细化与编辑方面仍存在关键空白。现有工作流面临三个主要挑战：

身份保持（Identity Preservation）： 当前的方法在应用编辑时，往往无法维持原始资产的身份特征和复杂的结构细节，导致“身份漂移”或非预期的全局变化。
精度与控制： 依赖中间多视图生成或扩散模型的方法通常存在“空间编辑泄露（spatial edit leakage）”问题，即局部编辑会渗透到非预期的区域，或者由于重建结果模糊而无法匹配特定的用户意图。
延迟（Latency）： 基于迭代扩散采样或单场景优化的最先进方法速度极慢（通常需要数百秒），破坏了实时交互所需的流畅创意过程。

因此，需要一种框架，允许用户使用熟悉的 2D 工具进行精确、细粒度的调整，同时严格保持原始 3D 结构，并以交互式速度运行。

方法论

SplatPainter 是一个状态感知的前馈框架（state-aware feedforward framework），旨在实现 3DGS 资产的连续、高保真编辑。它通过直接预测来自 2D 图像空间编辑的高斯属性更新，避开了破坏性的多视图再生或单场景优化。该流水线由两个主要阶段组成：

1. 紧凑且特征丰富的 3DGS 表示（阶段 I）

为了实现高效编辑，该方法首先将输入的 3DGS 资产转换为紧凑、结构化的潜在表示：

高斯 LRM 初始化： 从规范视角渲染输入的 3DGS，并通过高斯大重建模型（Gaussian LRM）处理，生成密集的、特征丰富的高斯云。
体素化（Voxelization）： 通过将邻近的高斯分组到局部体素单元中，将密集的高斯云重新组织为规则的潜在网格。
局部体素 Transformer： 一个基于 Transformer 的模块用于压缩每个体素内的信息。它通过自注意力机制聚合体素内关系，然后通过选择前 $K$ 个最重要的高斯（基于不透明度）作为查询项进入交叉注意力机制进行信息蒸馏。这产生了一组紧凑、结构化的体素潜在变量，在减少内存开销的同时保留了全局上下文。

2. 通过测试时训练（TTT）进行细化（阶段 II）

实现交互式编辑的核心创新在于使用**测试时训练（Test-Time Training, TTT）**来使模型具备状态感知能力：

快权重与慢权重： 精细化网络由包含“慢权重”（冻结的主干网络）和“快权重”（可适配的映射网络）的 Transformer 块组成。
适配机制： 当用户提供新的 2D 编辑（例如，放大的视图或涂鸦笔触）时，模型使用新的输入 Token 对自监督损失进行单步梯度下降，以更新快权重。
迭代应用： 一旦完成适配，更新后的快权重将被并行应用于图像 Token 和 3D 体素潜在变量。这使得网络能够即时整合新的外观信息，而不会覆盖原始资产的知识。
局部与全局更新：
- 局部编辑： 光线追踪识别出对应于编辑视图的可视体素。更新仅应用于这些体素，并通过扩展 Token 集来引入细粒度结构。
- 全局编辑： 更新后的快权重被应用于所有高斯 Token，从而在保持几何形状的同时实现连贯的全局变化（例如，重光照）。

核心贡献

新型前馈编辑框架： SplatPainter 引入了一种用于交互式 3DGS 编辑的状态感知前馈模型。通过利用 TTT，它迭代地整合 2D 编辑，直接更新高斯属性，无需破坏性再生。
多功能应用： 统一的架构支持多种任务，包括：
- 高保真局部细节细化： 从稀疏的放大视图中恢复缺失的细节。
- 交互式创意编辑： 集成用户的涂鸦、涂抹或生成式编辑（如来自 Nano Banana），同时严格保持资产的身份。
- 一致的全局重光照： 基于少样本重光照视图，将光照变化传播到整个场景。
具有交互速度的先进性能： 大量实验表明，SplatPainter 在视觉质量和速度方面均显著优于现有方法，其运行速度达到交互级（每次局部编辑约 0.3 秒），而基于优化的基准方法则需要数百秒。

实验结果

作者使用来自 Objaverse 和 TexVerse 的数据集，在三个主要任务上评估了 SplatPainter：

局部细化： 该方法在 PSNR、SSIM 和 LPIPS 指标上均优于直接重建（GS-LRM）、前馈稠密化（GenDen）和基于优化的方法（3DGS, SRGS）。至关重要的是，它在 ~0.3 秒内完成了单次编辑，而优化方法需要 300–500 秒。
创意编辑： 与 VoxHammer 和 VineDresser3D 相比，SplatPainter 展示了显著更好的身份保持能力。基准方法表现出“空间泄露”和全局身份漂移（例如，在编辑特定区域时扭曲面部结构），而 SplatPainter 使未编辑区域与原始资产保持比特级一致。在非编辑区域的定量指标上，SplatPainter 达到了 33.02 的 PSNR，而 VoxHammer 仅为 13.86。
全局重光照： 该方法在重建准确度（4 视图下的 PSNR 为 25.03，而 ReLitLRM 为 21.68）方面优于 ReLitLRM 和 3DGS 优化，并产生了更一致的着色，没有出现色调不匹配的问题。
消融实验： 验证了两阶段流水线的有效性，显示阶段 I 在实现大幅压缩（减少约 70% 的高斯数量）的同时几乎没有质量损失，而阶段 II 能有效细化细节。研究表明，TTT 更新机制在保持连贯性方面优于标准的交叉注意力基准。

意义与主张

论文声称 SplatPainter 通过提供一种非破坏性、快速且精确的替代方案，解决了当前 3D 编辑工作流的根本局限性。其意义在于：

弥合差距： 它实现了一种流动的、实时的创意工作流，艺术家可以使用直观的 2D 工具来细化 3D 资产，这在之前的 3DGS 生态系统中是缺失的能力。
保护资产身份： 通过直接在具有状态感知适配的高斯表示上进行操作，它解决了生成式和基于优化方法中常见的“身份漂移”问题。
可扩展性： 该方法的前馈特性允许即时反馈，使其成为解锁从游戏到电子商务等行业中实时 3D 内容创作的实用解决方案。

作者指出，当前的设计侧重于外观更新，并未引入新的几何结构，几何编辑是未来的研究方向。