GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations
GraSP-VL 引入了一种可学习的、共享的近正交前缀变换，将冻结的视觉 - 语言嵌入重新组织为“语义套娃”接口，通过简单地改变嵌入长度即可实现从粗粒度到细粒度的可控语义访问，同时保持原始模型的全维几何结构和零样本性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一本巨大且超级聪明的图书馆藏书（即视觉 - 语言模型），它通晓所有关于图像和文字的知识。当你向它提问时，它会给你一张单一的、巨大的“摘要卡片”（即嵌入向量），这张卡片一次性包含了所有信息：物体、颜色、动作、情绪以及整个故事。
问题在于，这张摘要卡片的尺寸总是固定的。如果你只想知道“有狗吗？”，你就不得不读完这本 500 页的书。如果你想知道“狗是棕色的吗？”，你依然得读完整本书。这就像每次想确认汤里是否有盐时，都要尝遍整锅汤，哪怕你只是想知道有没有放盐。
GraSP-VL 是一种新方法，它将这种“全有或全无”的摘要卡片转化为信息的俄罗斯套娃（Matryoshka）。
以下是其工作原理，使用简单的类比说明：
1. “套娃”接口
作者们意识到，那张大摘要卡片内部的信息实际上是分层的，但全都混杂在一起。他们创造了一种特殊工具（“共享正交变换”），在不改变信息总量的前提下重新排列这张卡片。
这就像整理一张凌乱的办公桌：
- 短前缀（顶层）： 如果你只看卡片的前几英寸，你只能看到主要物体（例如“狗”）。这是一种粗略的、宏观的视角。
- 中等前缀（中层）： 如果你看得更深一些，你开始看到属性（例如“棕色的狗”）。
- 长前缀（深层）： 如果你再深入一些，你会看到动作和关系（例如“狗在挖洞”）。
- 整张卡片（底层）： 如果你读完全部内容，你就会得到完整的描述（例如“一只棕色的狗在植物前挖洞”）。
神奇之处在于，你可以选择挖掘的深度。如果你只需要找到一只狗，你只需停留在顶层。如果你需要找一只棕色的狗，你就再深入一点。除非你需要整个故事，否则你不必处理全部内容。
2. “魔法重排器”（变换）
他们是如何做到的呢？他们没有重写这本书，也没有改变作者原本的措辞。相反，他们构建了一个魔法重排器。
想象原始的摘要卡片是一副扑克牌，其中“狗”的信息与“棕色”的信息以及“挖洞”的信息随机混杂在一起。GraSP-VL 就像一次洗牌，将所有“狗”的牌移到顶部，将所有“棕色”的牌移到中间，将所有“挖洞”的牌移到底部。
关键在于，这种洗牌是完美的。它不会丢失任何信息，也不会改变当你查看整副牌时牌与牌之间的关系。它只是改变了顺序，使得牌的“顶部”告诉你某些特定的内容，而“底部”告诉你其他内容。
3. “契约”
论文将这种方法称为**“语义套娃”**。这是用户与计算机之间的一份契约：
- 用户： “我承诺，如果我只需要物体级别的信息，我会在长度 X 处停止阅读。”
- 计算机： “我承诺，如果你在长度 X 处停止，你只会看到物体级别的信息，而不会看到任何关于颜色或动作的内容。”
如果没有这种方法，过早停止阅读通常只会得到一个微弱且混乱的完整画面。而有了 GraSP-VL，过早停止阅读会给你一个清晰、具体的答案。
4. 结果（证明）
作者在数千张图像和描述（如狗、猫以及人们正在做的事情）上测试了这种方法。
- 之前： 如果他们只是截断卡片，计算机会感到困惑。如果它们过早停止阅读，就无法区分“棕色的狗”和“黑色的狗”。
- 之后： 使用 GraSP-VL，当它们在“短”长度处停止时，计算机会非常擅长识别物体（狗），但会忽略颜色。当它们再延长一点时，它突然变得非常擅长识别颜色。当它们再延长更多时，它就能理解动作了。
他们还证明，这并没有破坏原始模型。如果你在洗牌后阅读整张卡片，它仍然确切地知道它之前所知道的一切。“全图”的准确率保持不变，但现在你可以选择只看“顶层”，以获得更快、更简单的答案。
总结
GraSP-VL 将一个冻结的、“一刀切”的 AI 大脑赋予了一个旋钮。你可以将旋钮转到“粗略”模式，以获得快速、简单的答案（仅物体），或者转到“精细”模式，以获得详细的答案（颜色、动作、完整故事）。它是通过重新组织大脑内部的信息来实现的，使得数据的“顶部”始终包含宏观画面，而“底部”包含细节，这一切都不改变大脑原有的知识。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。