💻 计算机科学

Locality-Preserving Sketch Token Fusion for High-Fidelity Single-View 3D Reconstruction

本文提出了一种名为局部保持草图标记融合（Locality-Preserving Sketch Token Fusion）的新型框架，该框架通过双路径表示和交叉注意力网格采样器来保持局部草图细节，从而实现高保真单视图 3D 重建，有效地克服了现有全局特征压缩方法中固有的几何细节丢失问题。

原作者： Lei Qinchuan, Li Nannan, Zhong Jiaming, Luo XianZeng, Zhao Min

发布于 2026-10-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lei Qinchuan, Li Nannan, Zhong Jiaming, Luo XianZeng, Zhao Min

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将一个二维图形转化为三维物体，对于人类肉眼而言仿佛是一种近乎魔法的任务，但对于计算机科学来说，这仍然是一个极其棘手的难题。几十年来，艺术家和工程师一直依赖复杂的软件和多年的训练来构建数字模型，但人们的梦想始终是：让任何人只需在纸上随手画出一个形状，计算机就能瞬间理解其完整的体积。这种困难在于草图本身的特性：手绘线条具有歧义性。它缺乏照片那样的深度、光影和精确的边界，并且往往会遗漏掉从当前视角看不见的物体部分。当计算机试图将这些稀疏的线条转化为实心的三维形状时，它往往难以记住那些细小、精致的细节，例如飞机的细长尾翼或椅子靠背的复杂曲线，因为用于处理这些图像的标准方法往往为了顾全大局而将这些细节模糊化。

来自澳门和广东的研究团队提出了一种解决这一问题的新方法，这种方法改变了计算机“阅读”草图的方式。他们并没有强迫计算机将整个图形压缩成一个单一的、简化的物体摘要，而是让其在整个过程中保持局部细节的生命力。他们开发出的系统并不将草图视为一个会被进一步扁平化的平面图像，而是将其视为一组具有特定空间组织结构的离散信息集合。通过保留每一笔触的具体位置和形状，计算机可以在构建三维模型的同时回溯原始图形，从而确保精细的特征不会在转换过程中丢失。这种方法使得系统能够生成高质量的三维网格（meshes），这些网格比以往的方法更忠实于原始的手绘意图，能够捕捉到那些以往方法经常抹平或扭曲的细长结构和复杂的局部几何形状。

该新框架的核心在于计算机处理视觉数据方式的转变。传统上，当计算机分析图像以理解形状时，通常使用一种技术将所有的视觉信息聚合为一个紧凑的向量——即一个捕捉物体通用概念的单一数学表示。虽然这种方法对于识别图像中包含的是椅子还是汽车非常高效，但它不可避免地丢弃了绘画中不同部分之间的特定空间关系。研究人员发现，这种局部信息的丢失正是导致计算机无法重建精细细节的原因。为了解决这个问题，他们引入了一个双路径系统。其中一条路径仍然学习物体的整体形状和观察角度，而第二条路径则维护一组结构化的“标记”（tokens），即与草图特定区域相对应的微小数据包。这些标记充当了一张地图，使线条的局部几何模式（如角落的锐角或把手的曲线）与整体形状摘要保持分离，从而完整地保留下来。

一旦计算机拥有了这种双重表示，它就必须思考如何利用这些局部线索来使一个基础的三的模型模板发生形变，从而形成最终的形状。研究人员设计了一种机制，允许对物体的全局理解主动向局部标记寻求帮助。想象一下，计算机拿着一把通用椅子的三维模型，并询问：“靠背应该在哪里弯曲？”然后，它会查看草图中对应于靠背区域的特定标记，以检索该部分所需的精确几何指令。研究人员称之为“局部标记交叉注意力模块”（local token cross-attention module）的过程，它在二维图形与三维模型之间建立了一种动态联系。系统不再是基于对整幅图像模糊的记忆来猜测细节，而是在需要定义三维网格上的特定顶点时，实时从图形中提取确凿的证据。这确保了最终的模型能与原始线条完美契合，保留了定义物体特征的细长结构和局部细微差别。

为了测试他们的想法，研究人员在一个包含十三种不同类别物体（从飞机、汽车到灯具和沙发）的大型合成三维模型及其对应草图的数据集上训练了他们的系统。随后，他们使用标准基准测试，将该系统的性能与现有方法进行了对比。结果显示出准确性的显著提升。在衡量生成的三维形状与真实地面真值（ground-truth）模型的匹配程度时，他们的方法在几乎所有类别中都获得了更高的评分。例如，在处理飞机时，该系统能够比以往的方法更精确地重建精细的尾翼结构，而以往的方法往往会产生扭曲或缺失的尾部。同样，对于椅子和长凳，新方法成功恢复了其他系统容易压平或变形的特定拓扑结构和靠背形状。团队还在一个由人类创作的真实手绘草图数据集上测试了该系统，这些草图通常比计算机生成的草图更凌乱且更具歧义。即便面对这些具有挑战性的输入，该系统依然保持了生成几何合理且细节丰富的三维形状的能力，证明了该方法足以应对现实世界绘画中的变化。

这种方法的成功表明，实现更佳草图三维重建的关键不仅在于理解物体的整体，还在于尊重图形中所包含的局部信息。通过拒绝将草图压缩成单一的、过度简化的摘要，研究人员证明了保留使模型看起来真实的精细细节是完全可能的。该系统不仅仅是在猜测形状，它还会主动咨询图形的局部特征来引导三维网格的构建。这种能力对于具有细长部件或复杂表面变化的物体尤为重要，因为在这些物体上，细节的丢失可能会导致物体从一个可识别的物体变成一个扭曲的团块。研究人员承认，尽管该方法代表了重大进步，但在处理极具歧义的草图或具有极端复杂几何形状的物体方面仍有改进空间。然而，这些发现为未来的工作奠定了坚实的基础，指向了一个未来：在那里，简单草图与精细三维模型之间的障碍将被显著降低，使数字创作变得更加触手可及。

技术摘要：用于高保真单视图 3D 重建的局部保留草图标记融合技术

1. 问题陈述

从单张自由手绘草图重建高保真 3D 形状是一项具有挑战性的任务，其难点在于手绘笔触固有的歧义性以及在特征编码过程中细粒度几何细节的丢失。虽然现有的深度学习方法在基于草图的 3D 建模方面取得了进展，但它们通常依赖于编码器-解码器范式，通过平坦化或池化操作将 2D 草图特征压缩为紧凑的全局潜在表示。

这种压缩策略虽然在捕捉粗略形状语义和视角信息方面有效，但不可避免地丢弃了空间局部的笔触线索。因此，图像特征与局部草图结构之间的空间对应关系被削弱，导致关键几何细节（如细长凸起、局部凹陷和详细轮廓）的丢失。在解码过程中，网格生成通常通过一个前馈过程完成，即从全局向量回归顶点变形，缺乏一种显式的机制来自适应地访问局部草图证据。这导致重建的模型虽然保留了整体形状，但在局部区域会出现过度平滑的问题，且无法充分捕捉原始草图的几何意图。

2. 方法论

作者提出了局部保留草图标记融合（Locality-Preserving Sketch Token Fusion, LP-STF），该框架旨在保持并利用局部草图信息，同时保留全局形状理解。该架构由五个主要部分组成：

2.1 特征提取器与标记 Transformer 模块 (TTB)

不同于将特征聚合为单个向量，输入草图由一个轻量级卷积编码器处理以产生空间特征图。该特征图被转换为固定空间分辨率（ $7 \times 7$ ）以生成局部草图标记。

双路径表示： 框架引入了一个标记 Transformer 模块，将这些特征转化为互补的全局和局部表示。
机制： 特征图被平坦化为标记序列，并通过多头自注意力机制和 MLP 进行处理，以捕捉长程结构关系。
门控融合： 一个可学习的门控残差融合机制（ $F_{token} = X_t + \tan(\alpha) \cdot X_r$ ）自适应地平衡原始草图信息与变换后的特征。这在增强判别性几何模式的同时，保留了细粒度的笔触模式，从而实现了具有局部保留特性的标记表示。

2.2 编码器-解码器模块

局部保留标记被分解为两个互补的潜在码：

形状表示 ( $F_s$ )： 编码对视角变化不敏感的内在几何特征。
视角表示 ( $F_v$ )： 显式编码输入草图的观察配置。
解耦： 通过施加对比对齐目标（ $L_{con}$ ）来确保 $F_v$ 通过将自身与真实视角嵌入对齐，并与其他候选视角区分开来，从而准确捕捉视角信息。解码器将这些信息聚合为全局形状潜在变量（ $Z_{global}$ ）。

2.3 局部标记交叉注意力 (LTCA) 模块

为了弥合全局潜在表示与局部几何细节之间的差距，作者设计了一个局部标记交叉注意力模块。

查询驱动采样： 全局形状潜在变量（ $Z_{global}$ ）作为查询（ $Q$ ），而局部保留草图标记作为键（ $K$ ）和值（ $V$ ）。
自适应检索： 通过缩放点积注意力，全局表示能够自适应地查询并检索相关的局部草图标记（ $Z_{local}$ ）。这使得网络能够动态识别与当前几何重建相关的草图区域（例如，物体边界或细长结构）。
融合： 检索到的局部线索通过残差相加与全局表示进行融合（ $Z_f = Z_{global} + Z_{local}$ ），从而创建一个结合了全局语义与细粒度局部证据的几何感知表示。

2.4 网格生成与训练

融合后的表示由网格生成器解码以产生初始网格，随后由网格细化模块进行进一步优化。该框架使用三个互补的目标进行训练：

轮廓重建 ( $L_s$ )： 在预测网格的渲染轮廓与从草图中提取的目标轮廓之间计算可微的交并比（IoU）损失。
网格正则化 ( $L_r$ )： 包括拉普拉斯平滑（ $L_{lap}$ ）和边长正则化（ $L_{edge}$ ），以确保几何合理性和表面平滑度。
视角感知对比对齐 ( $L_{con}$ )： 确保视角分支能将视角相关线索从内在形状信息中解耦出来。

3. 核心贡献

本文概述了三个主要贡献：

用于局部保留双路径表示的标记 Transformer 模块 (TTB)： 一种新型编码策略，通过共同学习全局形状语义和空间结构化局部标记，避免了过度的全局压缩，从而保留了细粒度的笔触信息。
用于几何感知对齐的局部标记交叉注意力模块 (LTCA)： 一种自适应机制，使解码器能够在网格生成过程中选择性地检索具有信息量的局部草图区域，从而在 2D 笔触结构与 3D 顶点变形之间建立更精确的对应关系。
高保真与鲁棒的重建： 该框架在合成和真实的各类手绘草图上均实现了卓越的性能。

4. 实验结果

该方法在 ShapeNet-Synthetic 和 ShapeNet-Sketch 数据集上进行了评估，涵盖 13 个物体类别（如飞机、椅子、汽车）。

定量性能：
- 在 ShapeNet-Synthetic 上，所提方法在真实视角（0.628）和预测视角（0.610）设置下均取得了最高的平均 IoU 分数，超越了 SS2M、Sketch2Model 和 Magic3DSketch 等最先进的基准方法。
- 在 ShapeNet-Sketch（真实手绘草图）上，该方法展示了强大的泛化能力，在整个数据集上实现了最高的平均 IoU（真实视角为 0.498，预测视角为 0.487）。
定性分析：
- 视觉对比表明，LP-STF 成功恢复了基准方法中经常丢失的细粒度细节，例如飞机尾部、椅子靠背、方形长凳拓扑和汽车后翼。
- 消融实验证实，移除标记 Transformer 模块 (TTB) 或局部标记交叉注意力 (LTCA) 模块都会导致 IoU 的明显下降以及细长或复杂区域结构保真度的可见丧失。

5. 重要性与主张

本文声称，这项工作的核心意义在于解决了现有编码器-解码器范式的根本局限性：即由于全局特征压缩导致的局部空间笔触信息的丢失。

通过引入双路径表示和自适应交叉注意力机制，该框架成功保持了 2D 草图结构与 3D 几何之间的空间对应关系。作者断言，这种方法对于恢复“细长结构、细长组件以及独特的局部几何模式”特别有效，而这些特征很难仅从有限的 2D 输入中推断出来。结果表明，显式地保留并利用局部草图标记，对于实现从单视图草图进行忠实、高保真 3D 重建至关重要，这缩小了专业设计需求与易用的非专家级素描界面之间的差距。

正如作者所述，未来的工作将侧重于探索更有效的层次化标记表示，并结合更多线索（如深度或语义信息）来进一步约束几何复杂物体的重建。