🤖 AI

RADIO1D: Elastic Representations for Condensed Vision Modeling

该论文介绍了 RADIO1D，这是一种挑战对固定二维补丁特征依赖的新颖方法，它通过知识蒸馏和自编码将图像压缩为紧凑的、可变长度的一维标记序列，从而实现灵活的精度-效率权衡以及在视觉语言模型中更卓越的性能。

原作者： Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 RADIO1D: Elastic Representations for Condensed Vision Modeling 的解释，通过简单的概念和日常类比进行了拆解。

核心问题：图像中过多的“噪声”

想象一下，你正试图通过电话向朋友描述一个复杂的场景（比如一条繁忙的街道）。

目前的 AI（旧方法）： 大多数视觉语言模型（VLMs）在观察图片时，会将其分解成由数千个微小方块组成的固定网格（就像像素化的马赛克）。为了描述这张图片，AI 必须向“大脑”（语言模型）发送一份关于每一个方块的冗长且详细的清单。这就像是为了说一句“那里有一只狗”，却要发送一份包含房间里所有背景杂音的 1,000 页逐字记录。
问题所在： 该论文认为这种方式效率低下。对于“大脑”来说，它并不需要每一个方块；它需要的是场景的“大意”。此外，论文发现，随着这些 AI 模型在学习说话和理解的过程中，它们实际上会不再关注精确的网格布局，而是开始转向关注“宏观图景”的含义。

解决方案：RADIO1D（“弹性摘要”）

作者创建了一种名为 RADIO1D 的新方法。你可以把它看作是一个智能总结器，它能将一张高分辨率照片转化为一个灵活、简短的“关键点”（token/标记）列表，而不是一个僵化的网格。

以下是它的工作原理，使用了类比：

1. “智能挤压”（弹性压缩）

想象你有一个装满衣服的行李箱。

旧方法： 你必须按照固定的网格模式打包每一件物品。如果你有一件小衬衫和一件大外套，它们占据的“网格空间”仍然是一样多的。
RADIO1D 的方式： 你使用真空密封袋。如果图像很简单（一片蓝天），袋子就会缩减到仅有 1 个 token（一个小包裹）。如果图像很复杂（拥挤的集市），袋子就会膨胀到 256 个 token。
益处： 你可以根据需要选择使用多少“空间”（计算能力）。需要快速回答？使用 1 个 token。需要详细分析？使用 256 个。模型会根据图像的复杂度进行自适应。

2. “名厨训练法”（多教师蒸馏）

他们是如何教会 AI 做这件事的？他们不仅仅是教它一件事。他们采用了“名厨”教学法。

他们选取了三个不同的专家 AI 模型（老师）：
- 一个擅长将图片与文本匹配（SigLIP2）。
- 一个擅长捕捉细节和纹理（DINOv3）。
- 一个擅长寻找物体边界（SAM3）。
他们训练这个新的模型（学生）同时倾听这三位老师的声音。学生学会了如何将一个老师提供的“全局意义”与另外两个老师提供的“空间细节”结合起来，从而创造出一个超高效的摘要。

3. “嵌套丢弃法”（重要性的层级结构）

这是最聪明的部分。该模型使用一种名为“嵌套丢弃”（Nested Dropout）的游戏进行训练。

想象一叠闪卡。最上面的卡片有主旨（“这是一只狗”）。下一张卡片有细节（“它是棕色的”）。底部的卡片有微小的细节（“它有一只撕裂的耳朵”）。
在训练期间，AI 被迫随机扔掉底部的卡片。
结果： AI 学会了——第一张卡片（第一个 token） 必须包含最重要的信息，因为它是唯一被保证能存活下来的信息。这创造了一个“层级结构”，其中第一个 token 是整个图像的强大摘要，而随后的 token 则添加可选的细节。

他们发现了什么？（研究结果）

1. 一个 Token 足以表达“大意”
论文表明，RADIO1D 仅用 一个单一的 token 就能理解一个场景。

类比： 这就像看着一张模糊的缩略图，就能瞬间知道：“那是一个有蛋糕的派对。”
在测试中，使用仅有的第一个 token，AI 就能以惊人的准确度识别出场景中的主要物体，其表现远优于其他尝试用单一总结点来完成同样任务的模型。

2. 速度与准确性的权衡
由于 token 数量是灵活的，你可以像调节收音机旋钮一样调节模型：

低 Token 数量（快速）： AI 在毫秒内给出答案，但可能会错过微小的细节（比如阅读照片中的微型标牌）。
高 Token 数量（准确）： AI 需要更长的时间，但可以阅读文字并观察精细细节。
论文显示，在几乎所有的设置下，RADIO1D 都比现有方法更快、更准确。

3. 更擅长“场景构成”
作者创建了一项新测试，旨在观察 AI 是否理解事物是如何“排列”的，而不仅仅是那里有什么。

类比： 如果你问：“猫是在垫子上还是在桌子下面？”，标准的 AI 可能只会回答：“猫、垫子、桌子。” 而 RADIO1D 能更好地理解其中的“关系”。即使使用极少的 token，它也能比之前的模型更好地分辨出是“狗在追球”还是“球在追狗”。

核心结论

这篇论文挑战了“AI 需要像看待僵化像素网格一样看待图片”的观点。相反，RADIO1D 证明了当 AI 将图像视为一个灵活的故事时，效果会更好：

它将图像压缩成一个变长的“关键想法”列表。
它学会了将最重要的想法放在首位。
它允许用户即时在速度与细节之间进行权衡。

作者得出结论：对于视觉语言模型而言，总结能力比原始细节更重要。 AI 不需要看到每一个像素；它只需要正确的“摘要 token”来理解这个世界。

技术摘要：RADIO1D：用于凝聚视觉建模的弹性表示

1. 问题陈述

当前的视觉语言模型（VLMs）主要依赖于输出固定长度、基于 2D 网格补丁表示（例如 CLIP、SigLIP、SigLIP2）的视觉编码器。作者对这些僵化的 2D 结构是最佳选择的假设提出了挑战。他们的分析揭示了两个关键问题：

空间相干性丢失： 在 VLM 微调过程中，视觉表示变得越来越抽象，并失去了其固有的空间组织结构。
固定网格的低效性： 自然图像具有很强的空间相关性，这意味着基于补丁的表示包含显著的冗余。固定 2D 网格无法高效压缩这种结构，导致在序列长度和计算约束下的率失真权衡（rate-distortion trade-offs）并非最优。
目标不一致： 虽然对比学习模型（如 SigLIP2）与文本对齐良好，但往往缺乏稠密的空间相干性。相反，稠密模型（如 DINOv3）具有空间相干性，但很少被用作 VLM 的骨干网络，这表明纯粹的文本对齐并不是 VLM 成功的唯一决定因素；相反，总结能力（summarization capability） 可能更为关键。

2. 方法论：RADIO1D

作者提出了 RADIO1D，一种将图像压缩为紧凑、可变长度 1D 标记序列的方法。该方法基于信息瓶颈（Information Bottleneck）原则，旨在最大化表示与目标任务之间的互信息，同时最小化表示熵。

核心架构

1D 弹性序列： 与输出固定 $N \times N$ 网格的标准 ViT 不同，RADIO1D 生成一个由 $\ell$ 个标记组成的序列，其中 $\ell$ 是可变的。
分层总结： 通过训练期间的嵌套丢弃（nested dropout），模型被强制将全局、高层语义编码在初始标记（例如第一个标记）中，并将更精细的细节编码在后续标记中。这使得模型即使在仅使用单个标记时也能有效运行。
用于训练的自动编码器设计：
- 编码器： 一个纯 1D 编码器处理展平的图像补丁。它直接在骨干网络中集成了**补丁合并（Patch Merging，即像素解重组/unshuffling）**模块，以减少序列长度并增加嵌入维度，从而提高推理效率。
- 解码器： 仅在训练期间使用的轻量级 Vision Transformer。它接收可变长度的 1D 标记和一组重复的可学习查询标记，以重建 2D 补丁网格。这使得模型能够在不向核心 1D 表示施加 2D 结构的情况下，与 2D 教师模型进行对齐。
多教师知识蒸馏： 学生模型通过来自多个基础模型（SigLIP2、DINOv3、SAM3）的聚合蒸馏进行训练。适配器（Adapters）将学生的特征投影到教师的嵌入空间中，并计算相似度损失（MSE 或余弦相似度）。这通过统一的学生模型聚合了多样化的视觉知识（全局对齐、稠密空间特征、分割概念）。

训练策略

随机切片（Stochastic Slicing）： 在训练期间，从一个分布（例如三角形分布）中采样一个长度 $\ell$ ，以确定保留多少个标记。这强化了信息的层次化排序。
下采样集成： 模型通过可学习的补丁合并进行内部特征下采样，而不是依赖于假设 2D 局部性的后验操作。

3. 主要贡献

视觉特征分析： 本文证明了 VLM 微调会降低标准编码器的空间相干性。研究指出，图像-文本对齐模型（如 SigLIP2）自然地产生了一组专门的“全局”标记来总结图像内容，这是 RADIO1D 明确利用的特性。
RADIO1D 架构： 一种利用多教师蒸馏和类自动编码器训练循环将图像压缩为灵活 1D 序列的新方法。
强大的总结能力： 该模型能够以极少的标记实现准确的场景理解（通常仅需一个标记），展示了对本质视觉内容的有效压缩。
组合感知检索指标： 作者引入了一种新的评估指标，不仅评估物体的存在，还评估空间排列（大小和位置）在图像检索中的表现，结果显示 RADIO1D 在此处优于标准编码器。
灵活的 VLM 集成： RADIO1D 通过改变标记数量，实现了可调节的精度-效率权衡，在降低计算开销的同时，在多种多模态基准测试中表现出竞争力的性能。

4. 实验结果

总结能力： 在 ImageNet-1k 上，RADIO1D 的第一个标记实现的 k-NN Top-1 准确率为 85.0%，显著优于最后一个标记。在 ADE20K 语义分割任务中，仅使用第一个标记得到的 mIoU 为 40.23，而最后一个标记仅为 8.05。
率失真性能： 在所有标记预算下，特别是在低速率（少量标记）情况下，RADIO1D 的失真始终低于固定网格基准模型（SigLIP2、DINOv3、C-RADIOv4）。
VLM 性能： 与 9B Nemotron LLM 配对后，RADIO1D 变体即使在较少标记的情况下也优于基准模型（SigLIP2、C-RADIOv4）。
- 1 个标记： 在 10 个 VLM 基准测试中达到 51.5% 的平均准确率。
- 128 个标记： 实现 71.64% 的平均准确率，超过了相同标记预算下的 C-RADIOv4+ToMe (70.31%) 和 C-RADIOv4+CDPruner (69.05%)。
- 256 个标记： 达到 73.29% 的平均准确率，与全分辨率基准模型相当。
任务敏感性： 模型对整体性任务（如 MMMU、LongVideoBench）具有鲁棒性，即使在 1 个标记时性能下降也不超过 10%。然而，对于稠密、重阅读任务（OCR、DocVQA），性能在低于 128 个标记时会剧烈下降，表明这些任务需要更高的容量来进行精细化文本解析。
与剪枝方法的比较： 在等效标记预算下，RADIO1D 优于推理时标记剪枝方法（Token Merging、CDPruner），尤其是在保持阅读任务的空间定位方面。
组合检索： RADIO1D 在 MS-COCO (0.5158) 和 nuImages (0.4294) 上取得了最高的组合检索得分 (Comp@1)，优于 DINOv3、SigLIP2 和 C-RADIOv4。

5. 意义与主张

本文声称，弹性且侧重于总结的表示才是 VLM 所渴求的主要对齐方式，而非详细的 2D 局部表示。通过放弃固定的 2D 网格并转向可变长度的 1D 序列，RADIO1D：

提供了一个灵活的精度-延迟权衡，允许根据硬件约束调整标记数量，从而实现部署。
在保持或提升多模态任务性能的同时，降低了计算开销。
为 VLM 骨干网络提供了一种新范式，弥合了稠密视觉专家模型与语言对齐编码器之间的鸿沟。

作者强调，其工作挑战了对固定补丁特征的依赖，并指出未来的 VLM 可以从优先考虑层次化总结和信息压缩而非僵化空间网格的表示中获益。这些模型以宽松的许可协议发布。