💻 computer science

Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

本文提出了 UTok3D，这是一个参数高效的框架，通过学习一个能够适应异构几何尺度的尺度归一化分词器，并利用来自多视图图像的自监督跨模态蒸馏，使得冻结的 2D 预训练 CLIP 模型能够被复用于 3D 点云理解。

原作者： Guofeng Mei, Qinfeng Xiao, Bin Ren, Luigi Riz, Juan Liu, Xiaoshui Huang, Xu Zheng, Nicu Sebe, Ming-Hsuan Yang, Fabio Poiesi

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guofeng Mei, Qinfeng Xiao, Bin Ren, Luigi Riz, Juan Liu, Xiaoshui Huang, Xu Zheng, Nicu Sebe, Ming-Hsuan Yang, Fabio Poiesi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人，它整个童年都在阅读数百万本书籍并观察数十亿张照片。它非常清楚“狗”、“椅子”或“日落”长什么样，因为它在图片中见过它们。但现在，你想让它看一个由浮动点组成的 3D 世界（就像一团冻结在半空中的尘埃云），并要求它识别其中的物体。问题在于，它接受的是平面的、网格状图片的训练，而这个新世界是混乱、不规则且不坐落在整齐网格上的。这就像是试图把一个方榫头塞进一个圆孔里。如果你直接把这些点塞进去，机器人会感到困惑，因为这些点的分布方式与它所熟知的像素完全不同。科学家们一直试图教这些“视觉-语言”机器人理解 3D 空间，但通常情况下，它们必须为每一个新任务从头构建一个全新的大脑，这既缓慢又昂贵，还需要大量难以获取的有标签数据。

这篇论文介绍了一个被称为 UTok3D 的巧妙新技巧，旨在不重建机器人大脑的情况下解决这个难题。作者建议，我们不需要训练一个新大脑，而是可以构建一个特殊的“翻译器”或“适配器”，将混乱的 3D 点重新塑造成其旧有的、被冻结的脑部可以理解的格式。把它想象成一个通用的适配器插头：你不需要一个新的发电厂，你只需要一个能匹配插座的插头。研究人员发现，通过仔细测量 3D 物体的大小并进行归一化处理（确保一个小玩具车和一座巨大的建筑在机器人看来具有“相似”的尺度），他们可以将数据喂给预训练的机器人，并让它理解 3D 形状。他们在从微型椅子模型到巨大的户外城市扫描等各种场景上进行了测试，发现该方法表现得惊人地好，甚至在没有向机器人展示任何带标签的 3D 示例之前也是如此。这表明，只要有了合适的翻译器，我们就可以复用强大的 2D 图像大脑来处理复杂的 3D 任务，从而节省时间和计算能力。

问题所在：机器人的“平面”大脑

想象你有一个天才学生，他背诵了图书馆里每一张照片。他能通过毛发纹理识别猫，通过叶子识别树，通过轮子识别汽车。这个学生非常擅长观察 2D 照片。但现在，你带他进入一个充满了代表 3D 场景的数千个浮动气球的房间。如果你直接把气球丢在他面前，他会惊慌失措。为什么？因为在照片中，像素是排列在整齐的行和列中的。而在 3D 空间中，点是随机散布的，有些靠得很近，有些离得很远，而且房间的“大小”取决于你是在看一个玩具还是摩天大楼。

论文指出，试图重新训练整个学生（AI 模型）去理解 3D，就像强迫人类从头学习如何看东西一样。这工作量太大，且需要数百万个有标签的 3D 示例，而这些示例既稀缺又昂贵。作者提出了疑问：我们能否只给这个学生一副特殊的眼镜，把这些浮动的气球翻译成看起来像照片的东西？

解决方案：UTok3D，“通用适配器”

团队提出了 UTok3D，这是一个轻量级的“分词器”（tokenizer）。在 AI 世界中，“分词器”就像是一个将句子分解成单词的翻译器。在这里，它将 3 维点云分解成“标记”（tokens，即信息块），以便被冻结的 2D 大脑读取。

这里有核心秘诀：尺度归一化（Scale Normalization）。
想象你有一个玩具车的模型和一辆真实的汽车。如果你在不调整尺寸的情况下把它们都展示给机器人看，机器人会感到困惑。如果不考虑距离，玩具车的轮子相对于真车的轮子看起来就会显得巨大。UTok3D 就像一把智能尺子。它观察 3D 点，估算物体的“尺度”（即点与点之间的间隙大小），然后收缩或拉伸数据，使一切都符合机器人理解的标准“单位”。

一旦数据经过正确的缩放，分词器还会做两件事：

体素化（Voxelization）： 它将浮动的点分组到小小的 3D 方块中（类似于像素，但在 3D 空间中）。
希尔伯特排序（Hilbert Ordering）： 它将这些方块按照特定的、蜿蜒的路径（像蛇一样）进行排列，使得空间中位置接近的点在列表中也彼此接近。这至关重要，因为机器人的大脑期望事物处于特定的顺序，就像读书是从左到右一样。

它如何在没有老师的情况下学习

通常，要教导一个 AI，你需要一个带着标准答案的老师（有标签的数据）。但 3D 标签很难获得。因此，作者使用了一种名为**跨模态蒸馏（Cross-Modal Distillation）**的技巧。
想象机器人正在学习识别一把椅子。他们不是向它展示一把带有标签的 3D 椅子，而是展示一把 3D 椅子以及一系列从不同角度拍摄的 2D 椅子照片。机器人的“2D 大脑”（它是被冻结的，且已经知道椅子长什么样）观察照片并说：“那是一把椅子！”随后，UTok3D 适配器会尝试让 3D 数据在机器人的意识中看起来像那些 2D 照片。这就像一个学生通过观察老师对一张图片的反应，在从未被直接告知答案的情况下，试图猜出老师在想什么。

为了进一步优化，他们引入了一种称为 Sinkhorn 秩对比蒸馏（Sinkhorn Ranked Contrastive distillation） 的方法。这是一种高级说法，意为：“不要仅仅将 3D 点匹配到 2D 照片，要匹配整个场景的结构。”它帮助机器人理解即使 3D 点很混乱或照片很模糊，一把椅子也拥有座、腿和靠背。

他们的发现

团队在五个不同的数据集上测试了 UTok3D，范围涵盖了从小型的物体形状（如包或吉他）到大型室内房间以及由激光扫描的巨大户外街道。

无需标签即可工作： 他们在完全没有任何标签的数据上训练了该系统。
全场景适用： 无论是微型玩具飞机还是庞大的户外街道扫描，同一个“适配器”都能奏效。
高效： 该适配器仅包含约 339 万个可训练参数。相比之下，其他可能需要重新训练整个庞大大脑（其参数量可达数亿）的方法，其规模要大得多。
结果： 在 ShapeNetPart 数据集（物体）上，他们在识别物体部件方面的准确率达到了 59.3%。在室内场景（ScanNetV2）中，准确率达到了 59.2%。这些数字足以与那些更沉重的、经过完整训练的模型相媲美，但却省去了繁重的计算负担。

他们的反对观点

论文明确反对为每个任务都构建一个全新的、专门的 3D 大脑的观点。他们证明了为每个新数据集进行完全微调是浪费资源的，并且现有的“固定”2D 模型实际上是非常强大的，只要我们给它们一个正确的接口即可。他们还反对对 3D 数据使用简单的、固定大小的网格，并证明如果没有他们的“尺度归一化”，系统在从小型物体转向大型场景时将会失败。

核心结论

作者认为，我们不需要为 3D AI 重造轮子。通过构建一个智能的、具备尺度感知能力的翻译器（UTok3D），我们可以利用那些已经理解 2D 图像的强大预训练大脑，并用它们来理解 3D 世界。这是一种更轻量、更快且更灵活的方式，用于教导机器人了解我们的物理世界，这表明 3D 理解的未来可能仅仅在于找到那个正确的适配器。

技术摘要：通过统一标记化实现参数高效的 CLIP 3D 理解

1. 问题陈述

视觉-语言模型（VLMs）如 CLIP 拥有从大规模图像-文本预训练中获得的丰富语义知识，这使得它们在 3D 点云理解领域极具吸引力，因为 3D-文本对和密集标注非常稀缺。然而，由于根本性的差异，直接将 CLIP 迁移到 3D 数据并非易事：CLIP 是基于有序、规则的 2D 图像块进行训练的，而点云是无序、稀疏、不规则的，且在空间尺度、密度和感知模态方面存在显著差异。

现有解决方案面临两个主要局限：

全参数微调： 为特定的 3D 任务适配 2D 主干网络需要大量的参数、内存和计算开销。
不一致的标记化（Tokenization）： 标准的 3D 标记化策略（例如 k-NN、固定半径球查询或固定分辨率体素网格）通常将标记几何结构与特定数据集的尺度绑定。在一个领域中代表微小物体部件的标记，在另一个领域可能对应于一个巨大的场景区域，这阻碍了在异构 3D 领域（如物体形状、室内场景和室外 LiDAR）之间的统一训练。

核心挑战在于构建一个参数高效的框架，通过一个**尺度一致（scale-consistent）**的标记接口来弥合 2D-3D 模态鸿沟，从而允许冻结的 CLIP 视觉编码器处理多样化的 3D 数据，而无需专门的 3D 主干网络或大量的标注。

2. 方法论：UTok3D

作者提出了 UTok3D，这是一个参数高效的框架，通过轻量级、尺度归一化的 3D 标记器将冻结的 CLIP 视觉 Transformer 适配到点云。该框架分为三个主要阶段运行：

A. 尺度归一化的 3D 标记化
标记器（记作 $T_{3D}$ ）将输入点云 $P$ 转换为与 CLIP 兼容的结构化标记序列。

输入自适应尺度估计： UTok3D 不使用固定的体素大小，而是根据原生点分布估计输入自适应几何尺度 $\delta$ 。通过希尔伯特（Hilbert）排序对点进行排序，将其划分为块（chunks），并使用块代表之间的中值距离来定义 $\delta$ 。
尺度归一化体素化： 估计的尺度 $\delta$ 用于校准稀疏体素化、坐标归一化和标记中心计算。点相对于质心和尺度 $\delta$ （使用全局因子 $\alpha$ ）进行归一化，确保来自不同领域（例如汽车与房间）的标记具有可比的几何支撑。
希尔伯特序列化： 为了满足 CLIP 对有序序列的要求，生成的稀疏 3D 标记根据其归一化中心使用希尔伯特排序进行序列化。这保留了局部性，并为冻结的 Transformer 提供了一个确定性的序列。
位置编码： 在将序列化后的标记喂入冻结的 CLIP 视觉编码器之前，会添加中心位置嵌入（positional embeddings）。

B. 无标注跨模态蒸馏
标记器通过从点云的多视图图像中进行知识蒸馏来完成训练，无需 3D 语义标注。

教师生成： 从点云渲染或投影出多视图图像，并由冻结的 2D 基础模型（如 NACLIP）处理。特征被投影回 3D 空间并在超点（superpoints）内进行聚合，以创建鲁棒的教师表示。
学生-教师对齐： 学生特征（由 3D 标记器和冻结的 CLIP 生成）通过局部超点蒸馏损失（余弦距离）与教师特征进行对齐。
Sinkhorn 秩对比（SRC）蒸馏： 为了捕捉更广泛的语义结构并处理长尾分布，作者引入了 SRC 目标。这包括：
- 码本构建： 使用基于残差轴向（residual-pivoted）QR 采样的教师特征构建语义原型码本。
- 长尾感知先验： 计算原型频率先验以抑制频繁出现的原型并平衡分布。
- 最优传输： 通过 Sinkhorn 最优传输计算教师对原型的分配。
- 秩截断： 仅保留前 $R$ 个高置信度的原型分配以形成目标分布，从而减少来自低置信度匹配的噪声。

C. 密集预测
在推理期间，标记特征被聚合为超点级表示。这些表示通过与 CLIP 文本嵌入的余弦相似度进行匹配，以产生开放词汇分割逻辑值（logits）。预测被传播回单个点，从而实现无需任务特定预测头或下游微调的密集分割。

3. 核心贡献

统一的尺度归一化标记化： 本文引入了一种能够估计输入自适应几何尺度的标记器，实现了在异构 3D 领域（物体、室内场景、室外 LiDAR）之间一致的标记几何结构。这使得在来自不同来源的无标签数据上进行联合训练成为可能。
参数高效的适配： 该框架冻结了整个 CLIP 视觉主干和文本编码器，仅学习紧凑的 3D 标记器和位置接口（3.39M 可训练参数）。这避免了训练专门 3D 主干网络的开销。
通过 SRC 实现无标注训练： 提出了一种结合局部超点对齐与 Sinkhorn 秩对比蒸馏的新颖训练策略。它利用多视图基础特征来训练标记器而无需 3D 标签，有效地处理了长尾分布和噪声教师信号。
基于希尔伯特的序列化： 使用希尔伯特排序对 3D 标记进行序列化，确保了局部性保持，使不规则的 3D 数据能够兼容预训练 2D Transformer 的空间偏差。

4. 实验结果

该框架在五个基准测试上进行了评估：ShapeNetPart（物体级）、ScanNetV2 和 S3DIS（室内场景）以及 SemanticKITTI 和 nuScenes（室外 LiDAR）。

部件分割 (ShapeNetPart)： 在零样本、无头（head-free）设置下，UTok3D 达到了 59.3% mIoU，超过复现的 PointCLIPv2 基线（51.8%）7.5 个百分点，超过 GeoZe 1.9 个百分点。在保持 CLIP 冻结的情况下，它比 PartDistill（训练 3D 主干）高出 5.5 个百分点。
室内语义分割： 在 ScanNetV2 上，UTok3D 达到了 59.2% mIoU 和 72.4% mAcc，优于依赖可训练 3D 主干的多视图投影方法（OpenScene, GeoZe）和基于蒸馏的方法（CLIP-FO3D）。在 S3DIS Area 5 上，它达到了 49.7% mIoU。
室外 LiDAR 分割： 在 nuScenes 和 SemanticKITTI 上，UTok3D 分别达到了 49.1% mIoU 和 34.3% mIoU。这些结果与近期的 3D 主干蒸馏方法相当，证明了其向大规模、稀疏 LiDAR 数据的高效迁移能力。
跨数据集泛化： 零样本迁移实验（例如 ScanNetV2 $\to$ S3DIS）表明，尺度归一化标记器明显优于未归一化的体素基线，证实了其在不同度量尺度领域间的泛化能力。
消融实验：
- 尺度归一化提升了所有标记器和数据集的性能，其中在室外 LiDAR 上的增益最为显著。
- 结合超点蒸馏与 SRC 蒸馏产生了最佳结果，验证了同时需要局部对齐和全局结构监督的必要性。
- 残差轴向码本构建和希尔伯特序列化被确定为性能的关键组成部分。

5. 重要性与主张

本文声称 UTok3D 证明了当配备尺度一致的标记接口时，可以有效地将冻结的 2D 视觉基础模型重新用于密集的 3D 语义预测。

效率： 通过将可训练容量集中在轻量级标记器（3.39M 参数）而非完整的 3D 主干网络中，该方法提供了一条高度参数高效的 3D 理解路径。
统一训练： 尺度归一化设计使得在异构、无标签的 3D 数据（物体、室内、室外）上进行联合训练成为可能，无需针对特定数据集进行适配。
无标注能力： 该框架无需在训练期间使用 3D 语义标签即可实现强大的分割性能，而是依赖于来自多视图图像的跨模态蒸馏。

作者将这项工作定位为迈向统一 3D 理解的一步，即在利用基础模型丰富的先验知识的同时，无需为每个新领域训练专门的 3D 架构或对其进行完全微调，从而避免了巨大的计算成本。