🤖 machine learning

LoST: Level of Semantics Tokenization for 3D Shapes

本文提出了 LoST（语义级分词）方法，通过引入关系互距对齐（RIDA）损失函数，将 3D 形状分词顺序按语义显著性排列，从而在显著减少分词数量的同时，实现了优于现有几何层级方法的 3D 重建质量及高效的自回归生成。

原作者： Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 LoST（Level of Semantics Tokenization，语义层级分词法）的新技术，旨在让计算机更聪明、更高效地“理解”和“生成”3D 形状。

为了让你轻松理解，我们可以把生成 3D 物体想象成**“用乐高积木拼出一个复杂的模型”，或者“写一本小说”**。

1. 以前的做法：笨拙的“由粗到细” (LoD)

在 LoST 出现之前，现有的 3D 生成方法（比如 OctGPT 或 VertexRegen）就像是一个只会按顺序堆砌砖块的工人。

它的逻辑是：先放一块大砖头（代表整体轮廓），再放几块小砖头（代表局部细节），最后放成千上万块极小的砖头（代表表面纹理）。
问题所在：
- 效率低：为了拼出一个大概的“椅子”形状，工人可能需要先堆几百块砖头，结果拼出来的东西看起来还像个乱糟糟的方块，根本看不出是椅子。
- 语义混乱：如果你只让工人拼前几块砖（比如只拼了 10%），得到的可能是一堆毫无意义的几何体，而不是一个“椅子”。这就像写小说时，前几章只写了“今天天气不错”，读者完全猜不到故事讲什么。
- 浪费资源：为了得到高质量的结果，计算机需要处理海量的“砖块”（Token），非常消耗算力。

2. LoST 的创新：聪明的“由意到形” (Level of Semantics)

LoST 改变了这个策略。它不再按“砖块大小”排序，而是按**“重要性”和“含义”**排序。

想象一下你在教一个 AI 画一只“猫”：

以前的方法：先画一个模糊的圆（头），再画几个点（耳朵），再画线条（胡须）……如果你只看到前几步，你根本不知道那是猫，可能以为是个球。
LoST 的方法：
- 第 1 个 Token（最核心）：直接告诉 AI“这是一只猫”。哪怕只给这一个词，AI 也能立刻画出一个看起来完全像猫的轮廓（有头、有身子、有尾巴）。虽然细节（比如毛色、眼神）还没出来，但**“猫”这个概念已经立住了**。
- 第 2-10 个 Token：开始细化。告诉 AI“这是一只橘猫”、“耳朵尖尖的”。
- 第 11-100 个 Token：继续打磨细节。告诉 AI“左眼有点斜视”、“尾巴上有花纹”。

核心优势：

任意前缀可用：无论你在生成过程中停在哪里（哪怕只用了 1 个 Token），得到的结果都是一个完整、合理且符合语义的物体。
极度高效：以前需要 50,000 个“砖块”才能拼出好结果，现在可能只需要 128 个 甚至更少的“砖块”就能达到同样的效果。这就像是用100 个精挑细选的关键词写了一本小说，而不是用 10 万个无意义的字符。

3. 它是如何做到的？(RIDA 魔法)

为了让 AI 学会这种“按重要性排序”的本领，作者发明了一个叫 RIDA 的训练技巧。

挑战：3D 形状没有像图片那样现成的“语义标签”（比如 DINO 模型能看懂图片是猫还是狗，但很难直接看懂 3D 点云）。
RIDA 的解法：
- 想象有一个**“语义老师”**（DINO，一个在图片上训练得很强的 AI）。
- LoST 训练一个**“学生”**（3D 编码器）。
- 教学方法：老师不直接告诉学生“这是猫”，而是让学生观察：“如果两个 3D 形状在老师眼里是‘亲戚’（比如都是猫），那么它们在 3D 空间里的距离也应该很近；如果一个是猫一个是桌子，距离就应该很远。”
- 通过这种**“关系对齐”**，学生学会了把 3D 形状按照“像不像”、“是不是同类”来重新排列顺序，而不是按照“大小”来排列。

4. 总结：这带来了什么改变？

更快：生成 3D 模型的速度大幅提升，因为需要的数据量（Token）减少了 99% 以上（从几万个减少到几百个）。
更聪明：生成的模型在早期阶段就具备正确的“灵魂”（语义），而不是先堆出一堆垃圾再慢慢修。
更灵活：你可以随时停止生成。如果你只需要一个大概的“汽车”模型用于快速预览，生成几个 Token 就够了；如果你需要高精度的“赛车”模型，就继续生成后面的 Token。

一句话总结：
LoST 就像给 3D 生成装上了一个**“智能目录”**，让计算机不再按部就班地堆砌砖块，而是先抛出最核心的“灵魂”，再逐步添加“血肉”，从而用极少的数据量创造出高质量、语义清晰的 3D 世界。

这是一篇关于 3D 形状生成与表示学习的论文，题为 LoST: Level of Semantics Tokenization for 3D Shapes（3D 形状的语义层级分词）。该论文提出了一种新的 3D 形状分词方法，旨在解决当前自回归（AR）3D 生成模型中分词效率低、语义连贯性差的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有挑战： 尽管自回归（AR）模型在文本、图像和视频生成中取得了巨大成功，但在 3D 形状生成中，如何最优地对 3D 形状进行“分词”（Tokenization）仍是一个未解之谜。
现有方法的局限性： 目前最先进（SOTA）的方法主要依赖几何细节层级（Level-of-Detail, LoD） 层次结构（如八叉树、渐进网格）。这些方法最初是为渲染和压缩设计的，而非为 AR 建模设计，存在以下系统性问题：
1. Token 膨胀（Token Bloat）： 即使在粗粒度阶段，为了构建物体的基本骨架，也需要大量的空间 Token，导致 AR 模型陷入高困惑度（Perplexity）状态，降低了采样效率。
2. 早期解码不可用： 为了构建几何层级，粗粒度表示往往过于粗糙，缺乏几何和语义细节。这导致“任意前缀生成”（Any-prefix generation）产生的中间结果不可用，无法在 AR 工作流中实现逐步细化。
核心痛点： 缺乏一种能够按语义显著性（Semantic Salience） 排序的分词机制，使得短前缀即可解码出完整、合理且具备主要语义的形状。

2. 核心方法 (Methodology)

作者提出了 LoST (Level of Semantics Tokenization)，这是一种按语义显著性排序的 3D 形状分词方法。

2.1 LoST 编码器 (Encoder)

基础架构： 基于 VAE 编码的 3D 形状（使用 Direct3D 的 Triplane 表示）。
Register Tokens（注册 Token）： 引入可学习的 Register Tokens ( $T_R$ )，将其与 Triplane 的 Patch Tokens 拼接。
层级结构构建：
- 因果掩码（Causal Masking）： 在 ViT 编码器中应用，强制 Token 按顺序处理。
- 嵌套 Dropout（Nested Dropout）： 在训练过程中，随机丢弃部分后缀 Token，只保留前缀。这迫使模型将主要语义信息压缩到前几个 Token 中，后续 Token 则负责细化实例特定的几何和语义细节。
- 输出： 最终只保留 Register Tokens，形成按语义层级排序的 1D Token 序列。

2.2 语义对齐与 RIDA 损失 (Semantic Alignment & RIDA)

由于 3D 形状缺乏直接的语义监督（不像 2D 图像有 DINO 特征），作者提出了一种新的 Relational Inter-Distance Alignment (RIDA) 损失函数，用于在 Triplane 潜在空间与语义 DINO 特征空间之间建立对齐。

语义提取器（Semantic Extractor）： 一个 Transformer 编码器，将 Triplane 编码映射到学生特征空间。
教师空间： 使用 DINO 特征（从渲染图像中提取）。
RIDA 的三大组件：
1. 全局关系对比（Global Relational Contrast）： 使用 InfoNCE 损失，拉近语义相似的 3D 形状，推远不相似的形状。
2. 实例间秩蒸馏（Inter-Instance Rank Distillation）： 借鉴关系知识蒸馏（RKD），不直接回归绝对距离，而是对齐相对距离的排序（Rank），使学生在潜在空间中的相对拓扑结构与 DINO 空间一致。
3. 空间结构蒸馏（Spatial Structure Distillation）： 蒸馏实例内部 Token 之间的亲和性分布，保留局部几何结构。
训练目标： 使用 RIDA 预训练语义提取器，然后将其作为感知损失（Perceptual Loss）指导扩散生成器（Generative Decoder），确保生成的形状在语义上合理。

2.3 LoST-GPT (AR 生成模型)

连续空间建模： 不同于以往将 Token 离散化（Quantization），LoST 保持 Token 在连续空间中。
架构： 使用 GPT 风格的 Transformer，结合扩散头（Diffusion Head）进行下一步 Token 预测（Next-token prediction in continuous space）。
条件生成： 支持文本或图像条件（通过 OpenCLIP 嵌入）。

3. 主要贡献 (Key Contributions)

LoST 分词机制： 首次提出按语义显著性排序 3D 形状 Token，实现了“任意前缀解码”（Any-prefix decoding），即少量 Token 即可生成完整、语义合理的 3D 形状。
RIDA 损失函数： 提出了一种新颖的 3D 语义对齐损失，无需昂贵的渲染过程，即可在 Triplane 潜在空间中建立与 DINO 语义空间的相对距离对齐，解决了 3D 语义监督缺失的难题。
SOTA 性能与效率： 基于 LoST 训练的 AR 模型在生成质量和语义一致性上超越了现有 SOTA 模型，同时仅需 0.1% - 10% 的 Token 数量（例如仅需 128 个 Token 即可达到高质量生成），极大地提升了效率。

4. 实验结果 (Results)

分词重建评估：
- 在几何指标（Chamfer Distance）和语义指标（FID, DINO 相似度）上，LoST 均大幅优于基于 LoD 的基线方法（OctGPT, VertexRegen）。
- 关键优势： 在 Token 数量极少（如 1-4 个）的情况下，LoST 能生成语义完整、可识别的形状，而基线方法生成的通常是无法辨认的几何骨架。
自回归生成评估：
- 在 Image-to-3D 和 Text-to-3D 任务中，LoST-GPT 取得了 SOTA 性能（最低 FID，最高 DINO 相似度）。
- 效率对比： 相比 ShapeLLM-Omni（1024 Token）和 OctGPT（~50,000 Token），LoST-GPT 仅需 128 Token 即可达到甚至超越它们的生成质量。
下游任务： 证明了 LoST Token 可用于语义形状检索，RIDA 对齐后的特征在检索任务中显著优于原始几何特征。

5. 意义与影响 (Significance)

范式转变： 挑战了传统的“几何细节层级（LoD）”作为 3D 分词组织原则的假设，证明了“语义层级（Level of Semantics）”更适合自回归生成。
效率革命： 极大地降低了 3D 生成的计算成本（Token 数量减少两个数量级），使得在消费级硬件上进行高效的 3D 生成成为可能。
可控性与灵活性： “任意前缀”特性使得模型可以根据需求动态停止生成（Early Stopping），简单形状用少量 Token，复杂形状用更多 Token，实现了生成过程的灵活控制。
通用性： 该方法不仅适用于 Triplane，论文还展示了其在 TRELLIS（Voxel）等其它 3D 表示上的泛化能力。

总结： LoST 通过引入语义显著性排序和创新的 RIDA 对齐损失，成功解决了 3D 自回归生成中分词效率低和语义不连贯的瓶颈，为下一代高效、高质量的 3D 生成模型奠定了坚实基础。