💻 computer science

RADSeg: Unleashing Parameter and Compute Efficient Zero-Shot Open-Vocabulary Segmentation Using Agglomerative Models

该论文提出了 RADSeg，一种基于 RADIO 基础模型的新型零样本开放词汇分割方法，通过引入自相关递归注意力、全局聚合及高效掩码细化技术，在显著提升分割精度（mIoU 提升 6-30%）的同时，大幅降低了计算延迟和参数量，实现了比现有大模型组合更优的性价比。

原作者： Omar Alama, Darshil Jariwala, Avigyan Bhattacharya, Seungchan Kim, Wenshan Wang, Sebastian Scherer

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Omar Alama, Darshil Jariwala, Avigyan Bhattacharya, Seungchan Kim, Wenshan Wang, Sebastian Scherer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RADSeg 的新系统，它的核心目标是让电脑“看懂”图片里的东西，而且不需要提前告诉它具体有哪些东西（比如它没见过“咖啡桌”这个词，但能根据描述把它圈出来）。

为了让你更容易理解，我们可以把这项技术想象成给电脑配备了一位“超级全能且反应极快的图书管理员”。

1. 以前的困境：要么太笨，要么太慢

在 RADSeg 出现之前，让电脑做“开放词汇分割”（即识别图片里任意描述的东西）主要有两种笨办法：

方法 A：死记硬背的“老学究”
以前的模型就像只背过课本的学生。如果你问它“这是猫吗？”，它能答对。但如果你问它“这是那种放在客厅里的、木头的、用来放咖啡的桌子吗？”，它就懵了，因为课本里没教过。为了教它新东西，你得给它看成千上万张新图片让它重新学习，这太慢了，而且它学不会举一反三。
方法 B：笨重且昂贵的“超级大脑”
另一种方法是让电脑同时调用好几个超级大脑（比如 CLIP、DINO、SAM 等模型）一起工作。这就像为了找一本书，你同时雇了 5 个图书管理员在图书馆里乱跑。虽然找得准，但太慢了，而且太费电（需要巨大的显卡内存），普通电脑根本跑不动。

2. RADSeg 的解决方案：一位“全能且敏捷”的新管理员

RADSeg 发现了一个被大家忽略的“宝藏模型”叫 RADIO。这个模型很特别，它把上面提到的那些“超级大脑”的知识都蒸馏（浓缩）到了一个模型里。

想象一下，RADIO 就像是一个读过所有书、见过所有东西的“全能图书管理员”。他不仅知道书在哪里，还能一眼看出书的内容。

但是，这个管理员有个小毛病：他虽然脑子里有知识，但不太擅长在图片上精准地画圈（也就是把“桌子”这个概念精确地对应到图片的每一个像素上）。他通常只给整张图打个标签，而不是给每个物体画框。

3. RADSeg 的三大“魔法技巧”

为了解决这个“画圈不准”的问题，作者给这位全能管理员加了三套“魔法装备”：

技巧一：自我反思与递归注意力 (SCRA)
- 比喻：管理员在看图时，会问自己：“这块区域看起来像‘树’，那旁边那块看起来也像‘树’，它们是不是应该连在一起？”
- 作用：他不再孤立地看每个像素，而是让相似的像素互相“握手”确认。这让原本模糊的边界变得清晰，就像把散落的拼图块自动吸附在一起。
技巧二：全局聚合 (SCGA)
- 比喻：因为图片太大，管理员是像切蛋糕一样一块一块看的（滑动窗口）。切的时候，边缘可能会切歪，导致同一片树叶在两块蛋糕上看起来不一样。
- 作用：这个技巧就像是一个“协调员”，把切开的蛋糕块重新拼起来，确保同一片树叶在拼合处颜色一致，消除了拼接的痕迹和噪点。
技巧三：轻量级精修 (RADIO-SAM)
- 比喻：最后，管理员觉得轮廓还不够完美，于是请了一位只负责画线的“速写助手”（这是从另一个大模型 SAM 里借来的极小一部分能力，只占原模型的 0.8%）。
- 作用：这位助手不需要重新学习，只需要帮管理员把线条描得更直、更细。这让分割出来的物体边缘非常锐利。

4. 惊人的效果：小身材，大能量

这篇论文最厉害的地方在于效率。

以前的大模型：为了达到同样的准确度，需要像卡车一样大的模型（参数量高达 10 亿+），跑起来像蜗牛一样慢，需要昂贵的显卡。
RADSeg：只需要一辆小轿车大小的模型（参数量只有 1 亿多），但跑得比卡车还快（速度快 4 倍），而且更省油（显存占用少 2.5 倍）。

打个比方：
以前的方法就像是用重型挖掘机去挖一颗小土豆，虽然能挖出来，但动静太大，还容易把土豆弄碎。
RADSeg 就像是用一把精密的手术刀，既快又准，还能把土豆皮削得干干净净。

5. 总结：为什么这很重要？

这项技术让机器人、自动驾驶汽车和手机应用能够：

听懂人话：你指着图片说“把那个红色的、圆形的、用来切水果的东西圈出来”，它就能立刻圈出苹果，哪怕它以前没见过这个特定的苹果。
跑得飞快：不需要昂贵的服务器，普通的电脑甚至未来的手机芯片就能实时运行。
适应 3D 世界：它不仅能在 2D 照片里画圈，还能在 3D 空间（比如机器人看到的房间）里构建出“这里是椅子，那里是桌子”的地图，而且非常稳定，不会把椅子看成桌子。

一句话总结：
RADSeg 通过挖掘一个被低估的“全能模型”，配合聪明的“自我修正”技巧，用最小的代价实现了最聪明的图像识别，让 AI 真正变得既聪明又轻便。

RADSeg 技术总结

1. 研究背景与问题 (Problem)

开放词汇语义分割 (Open-Vocabulary Semantic Segmentation, OVSS) 旨在使模型能够根据任意自然语言描述对图像进行像素级分割，这对于机器人操作、自主导航和医疗分析等开放世界任务至关重要。然而，现有的 OVSS 方法面临以下主要挑战：

泛化能力受限： 基于训练的方法（如微调 CLIP）受限于现有的分割数据集规模，难以泛化到未见过的类别。
计算与内存开销巨大： 现有的零样本（Zero-Shot）方法通常依赖组合多个大型基础模型（如 CLIP + DINOv2 + SAM）来提升性能。例如，Trident 和 TextRegion 等最先进（SOTA）方法虽然精度高，但参数量高达 8.5 亿至 13.5 亿，推理延迟高，显存占用大，难以在实际部署中应用。
空间对齐不足： 传统的视觉 - 语言模型（如 CLIP）主要对齐全局图像级特征（CLS token），缺乏细粒度的像素级空间对齐，导致分割边界模糊。

2. 核心方法论 (Methodology)

本文提出了 RADSeg，一种基于 RADIO（Agglomerative Vision Foundation Model，聚合视觉基础模型）的高效零样本 OVSS 框架。RADIO 通过蒸馏 CLIP、SigLIP、SAM 和 DINOv2 的知识，在单一模型中实现了强大的泛化能力和效率。

RADSeg 的核心创新包括以下三个关键组件：

2.1 密集语言对齐 (Dense Language Alignment)

发现： 研究发现 RADIO 模型存在一种涌现属性（Emergent Property）：即使 RADIO 仅被训练用于对齐全局 CLS token 与语言，其Patch 级特征在经过 SigLIP CLS 适配器（Adaptor）处理后，也能自然地与语言空间对齐。
实现： 直接利用 RADIO 的 Patch 输出特征，通过 SigLIP CLS 适配器将其映射到语言嵌入空间，从而生成无需额外训练的密集语言对齐特征图。

2.2 自相关递归注意力 (Self-Correlating Recursive Attention, SCRA)

目的： 解决滑动窗口推理中 Patch 特征的空间局部性不足问题，增强特征对语义相似区域的关注。
机制：
1. 计算 RADIO 最后一层输出 Token 的归一化相关性矩阵（余弦相似度）。
2. 将负相关性置为 $-\infty$ ，强制 Patch 仅关注语义相似的 Patch。
3. 将计算出的注意力权重递归地反馈到 RADIO 的最后一个注意力块中，重新计算激活值。
优势： 无需引入额外参数或外部骨干网络，显著提升了空间局部性。

2.3 自相关全局聚合 (Self-Correlating Global Aggregation, SCGA)

目的： 消除滑动窗口推理带来的“窗口伪影”（Windowing Artifacts），确保跨窗口特征的一致性。
机制：
1. 对聚合后的特征图计算自相关矩阵。
2. 利用该矩阵作为注意力机制，对语义相似的跨窗口特征进行加权平均。
优势： 有效抑制噪声，平滑特征图，同时保持边缘锐利度。

2.4 可选的 RADIO-SAM 细化 (RADSeg+)

机制： 利用 RADIO 内部集成的 SAM（Segment Anything Model）适配器，仅需调用 SAM-Huge 的解码器、颈部和提示编码器（仅占 SAM-Huge 总参数的 0.8%，约 +13M 参数）。
流程： 将 RADSeg 生成的粗略掩码作为提示（Prompt），输入到轻量化的 SAM 模块中进行边界细化。

3. 主要贡献 (Key Contributions)

首个 RADIO 的零样本 OVSS 全面研究： 首次系统性地评估了 RADIO 模型在零样本开放词汇分割任务中的潜力，揭示了其优于其他骨干网络（如 CLIP, DINOv2）的效率和性能。
提出高效流水线 RADSeg： 设计了一套无需训练、低延迟、低参数量的分割流程。通过 SCRA 和 SCGA 模块，在保持轻量级的同时显著提升了分割精度。
性能突破：
- 精度提升： 在 Base ViT 类别下，相比次优基线（Trident）提升了 6-30% 的 mIoU。
- 效率飞跃： 相比 SOTA 方法，RADSeg-base 速度快 3.95 倍，参数量减少 2.5 倍。
- 小模型胜过大模型： RADSeg-base (1.06 亿参数) 的 mIoU 甚至超过了 Trident (13.5 亿参数) 和 TextRegion (8.5 亿参数) 等组合了多个巨型模型的方法。
2D 与 3D 通用性： 在 5 个 2D 数据集和 3 个 3D 数据集上均取得了 SOTA 或极具竞争力的结果，证明了其在多视图一致性（Multi-view Consistency）方面的优势。

4. 实验结果 (Results)

4.1 2D 分割性能

数据集： PASCAL VOC, PASCAL Context, COCO-Stuff, Cityscapes, ADE20K。
指标： 在不同分辨率限制（低、中、高）下，RADSeg 和 RADSeg+ 在所有数据集上均取得了最高的平均 mIoU。
对比：
- RADSeg (Base): 平均 mIoU 达到 48.00%，优于 Trident (43.79%) 和 TextRegion (44.08%)。
- RADSeg+ (Base): 引入 SAM 细化后，平均 mIoU 提升至 50.01%。
- 效率对比： 在 V100 GPU 上，RADSeg-base 的推理延迟仅为 0.115 秒，而 Trident-Huge 和 TextRegion-Huge 的延迟分别为 0.454 秒和 0.682 秒，且参数量仅为它们的 1/8 到 1/12。

4.2 3D 分割性能

数据集： Replica, ScanNet, ScanNet++。
方法： 将 2D 特征反投影到 3D 点云/体素中进行聚合。
结果： RADSeg 在特征空间聚合和概率空间聚合两种设置下均表现优异。
- 在 Replica 数据集上，RADSeg+ 的 mIoU 达到 33.05%，f-mIoU 达到 59.21%，显著优于 RayFronts 和其他基线。
- 定性结果显示，RADSeg 生成的 3D 语义体素更干净，离群点（Outliers）更少，多视图一致性更强。

4.3 消融实验

SCRA & SCGA： 分别带来约 +2% 和 +1.4% 的平均 mIoU 提升，且计算开销极小。
RADIO-SAM 细化： 带来额外 +2% 的 mIoU 提升，虽然增加了 3 倍推理时间，但整体仍比竞品快得多。
通用性： 将 RADIO 替换到其他基线方法（如 NACLIP, ProxyCLIP）的骨干网络中，也能显著提升其性能，证明 RADIO 作为骨干的优越性。

5. 意义与影响 (Significance)

重新定义效率与精度的平衡： RADSeg 证明了通过挖掘单一聚合模型（RADIO）的潜力，结合高效的注意力机制（SCRA/SCGA），可以打破“高精度必须依赖大模型堆叠”的迷思。
推动边缘部署： 极低的参数量和推理延迟使得开放词汇分割在资源受限的边缘设备（如机器人、无人机）上的实时部署成为可能。
未来方向： 该工作展示了聚合模型（Agglomerative Models）在通用视觉任务中的巨大潜力，为未来研究高效、可泛化的视觉 - 语言模型提供了新的思路。作者计划进一步探索实例区分和多标签分割任务。

总结： RADSeg 是一项突破性工作，它利用 RADIO 模型的涌现特性，通过创新的自相关注意力机制，实现了**“小模型、快推理、高精度”**的开放词汇语义分割，为机器人和自主系统的感知能力提供了强有力的技术支撑。