Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization

技术摘要：Owner3D：面向免训练局部 3D 风格化设计的归属感引导风格写入技术

问题陈述

局部 3D 风格化旨在修改 3D 物体特定语义部分（例如椅子座面或屋顶）的外观，同时保留其余表面的几何结构和外观。虽然大型重建模型（LRMs）能够通过稀疏图像实现高效、前馈式的 3D 资产生成，但在该框架内应用局部风格化面临三个关键挑战：

1. 风格泄漏（Style Leakage）： 在 LRMs 中，风格是在渲染前注入到中间外观表示中的。因此，最终图像的掩码无法阻止风格向非目标区域的非预期传播。
2. 边界歧义（Boundary Ambiguity）： 紧凑的三平面（triplane）表示在不同的表面区域之间共享外观特征。在语义边界附近，目标部分与非目标部分会为有限的表示容量而竞争，导致特征选择出现歧义。
3. 可见性不完整（Incomplete Visibility）： 当可见性不完整时，确定纹理查询的“归属权”变得困难，导致纹理读取过程中的特征选择不可靠。

现有的方法（如将风格键注入到后期交叉注意力中的方法）本质上是全局性的，难以实现精确的部分级控制。其他依赖于优化场景表示或迭代优化的方法，则缺乏前馈重建的效率和可扩展性。

方法论

Owner3D 是一个无需训练的框架，它直接将局部外观控制集成到 LRM 重建过程中。它基于冻结的 LRM 主干网络（具体为 InstantMesh-Large）运行，并通过三个核心模块修改推理流水线：

1. 归属感引导的风格写入（Ownership-Guided Style Writing）
该模块将风格注入限制在与目标部分相关的解码器查询中。

• 归属感估计： 通过仅包含内容的 LRM 过程重建几何结构以估计表面归属。利用 SAM 3 进行目标分割并结合深度一致性检查，计算每个 3D 点的表面归属得分。该得分被投影到三平面单元上，从而创建“写入掩码”（$W_k$）和“3D 归属场”（$M_{3D}$）。
• 门控风格注入： 在最后六个外观解码器层中，框架计算内容相对的风格残差（$\Delta = Y^s - Y^c$），以隔离由风格参考引入的外观变化。该残差在添加到隐藏状态之前由归属图（$g_i$）进行门控：
  $$H_i^{\ell+1} = \mathcal{F}_\ell(H_i^\ell + Y_i^{c,\ell} + \alpha g_i \Delta_i^{s,\ell})$$
  这确保了风格仅被写入目标拥有的查询中，从而产生单个局部的风格化三平面，而无需维护独立的全局风格和内容表示。

2. 边界双槽位（Boundary Dual Slots）
为了解决三平面容量问题（即在边界附近，目标和非目标表面共享相同的局部三平面支持），Owner3D 引入了一种稀疏的局部容量扩展机制。

• 检测： 识别出三平面单元的局部邻域同时包含目标所有区域和保留所有区域的边界位置。
• 双重存储： 在这些活跃的边界位置，系统维护两个独立的特征源：一个存储局部风格化特征的“风格槽位（style slot）”，以及一个存储原始重建特征的“保留槽位（preserve slot）”。这防止了共享的三平面单元被迫在冲突的特征之间做出妥协。

3. 表面优先的纹理读取（Surface-First Texture Readout）
在渲染期间，框架根据归属证据为每个表面查询层次化地选择最可靠的外观特征。

• 优先级逻辑： 系统优先考虑表面归属感（源自可见源视图）作为主要证据。如果不可用，则退而求其次使用 3D 归属场（$M_{3D}$），最后使用三平面写入掩码。
• 特征选择： 根据确定的归属得分以及查询是否落在边界槽位上，渲染器会选择相应的特征：风格化特征、保留特征或默认特征（以避免在模糊区域发生硬切换）。

核心贡献

本文声称有四项主要贡献：

1. Owner3D 框架： 一个无需训练的局部 3D 风格化框架，能够在前馈重建流水线内实现可控的部分级编辑，显著降低了与现有基准相比的非目标区域泄漏。
2. 归属感引导的风格写入： 一种针对 LRMs 的范式，可在保持单个局部风格化三平面的同时实现局部化参考风格注入，避免了需要分离全局风格和内容表示的问题。
3. 边界双槽位： 一种克服由共享三平面支持引起的出现歧义的机制，实现了边界附近目标与非目标区域的独立局部特征表示。
4. 表面优先的纹理读取： 一种鲁棒的特征恢复策略，该策略优先考虑表面归属证据，并在可见性不完整的情况下逐步利用 3D 和三平面线索。

实验结果

作者在基于 Google Scanned Objects (GSO) 和 PartNet 构建的基准测试上对 Owner3D 进行了评估，涉及 49 个 3D 物体和 16 个风格参考。该方法与基于 Gaussian-splatting 的、基于 NeRF 的以及基于图像空间的风格化方法进行了比较。

• 性能： Owner3D 取得了最佳的**风格忠实度（Style Fidelity）得分（0.1545）和最低的泄漏（Leakage）**得分（0.0042）。
• 泄漏减少： 与 StyleSplat 和 LAENeRF 相比，Owner3D 分别减少了 86.4% 和 89.9% 的外观泄漏。
• 效率： 该方法非常高效，每个“物体-风格”对仅需 31.10 秒，优于通常需要数分钟的其它 3D 基准方法。
• 消融实验： 去除门控混合或边界双槽位等组件会导致风格定位能力显著下降以及非目标特征漂移增加，从而验证了各模块的必要性。

意义与主张

论文将 Owner3D 定位为大型重建模型中可控外观编辑的一种实用解决方案。其意义在于：

• 无需训练的操作： 它无需微调 LRM 或训练额外的 3D 模型即可实现高质量的局部风格化。
• 集成归属感： 它成功地将归属感引导集成到固定的重建过程中，以调节渲染前的风格写入，这是以往全局注入方法所缺乏的能力。
• 鲁棒性： 它解决了三平面共享和可见性不完整的特定挑战，确保即使在目标区域被风格化时，非目标区域也能保持不变。

作者总结道，Owner3D 在风格忠实度、外观保持和多视图一致性之间提供了卓越的平衡，为局部 3D 编辑提供了一条可扩展的路径。未来的工作将探索改进区域控制和更丰富的外观表示。