💻 computer science

GeoWeaver: Grounding Visual Tokens with Geometric Evidence before Scene Reasoning

GeoWeaver 是一个预推理框架，它通过将细粒度的几何证据自适应地分配给各个视觉标记，从而增强视觉语言模型中的时空推理能力，进而将几何确立为一种基础性的表征前提，而非后期融合的辅助信号。

原作者： Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《GeoWeaver》论文的通俗解释，辅以富有创意的类比。

核心难题：“模糊眼镜”问题

想象一下，你正试图在繁忙的城市中为某人指路。你手中有一张地图（视觉数据）和一副嗓音（语言模型）。

当前的 AI 模型非常擅长识别事物“是什么”（例如：“那是一辆红色的车”，“那是一棵树”）。然而，它们往往难以理解事物之间的相对“位置”（例如：“那辆车在树的左边 5 英尺处”，或者“如果我向前走，会撞到墙吗？”）。

该论文指出，当前的 AI 试图通过事后添加几何（空间数学）来解决这个问题。这就像给 AI 戴上一副只能显示物体“名称”的眼镜，然后要求它在说话的同时进行复杂的距离计算。AI 会感到困惑，因为它必须同时弄清楚房间的形状和句子的结构。

解决方案：GeoWeaver（“建筑蓝图”方法）

作者提出了一种名为 GeoWeaver 的新方法。他们不是在最后添加几何信息，而是在 AI 开始思考或说话之前，将其构建为基础。

可以这样理解：

旧方法： 你给建筑工人一堆砖块（视觉令牌）和一份指令清单。建筑工人在试图撰写下一个房间的指令时，必须同时弄清楚墙壁的结构完整性。
GeoWeaver 方法： 在建筑工人甚至没有触碰砖块之前，你就给他们提供了一份专门针对该特定位置的 3D 蓝图。砖块现在被“锚定”在蓝图中。当建筑工人开始撰写指令时，结构已经稳固清晰。

工作原理：“智能图书管理员”系统

论文描述了一个实现这一目标的具体过程，称为 Token 自适应几何锚定。以下是类比：

多级图书馆（几何库）：
AI 可以访问一个几何信息“图书馆”。这个图书馆不仅仅是一本书；它是一系列书籍的集合，范围从“近距离细节”（如墙壁的纹理）到“广角视图”（如整个房间的布局）。这个图书馆由一个冻结的、预训练的几何专家（称为 VGGT）构建，主 AI 无需重新学习。
智能图书管理员（路由器）：
在过去，AI 对于想要说的每一个词，都会阅读图书馆里的“每一本书”。这既缓慢又令人困惑。
GeoWeaver 使用了一位 智能图书管理员。当 AI 查看图像的特定部分（一个“视觉令牌”）时，图书管理员会问：“你现在需要什么样的几何信息？”
- 如果 AI 正在看一个锐利的角落，图书管理员就会递给它“近距离细节”这本书。
- 如果 AI 正在看整个房间的布局，图书管理员就会递给它“广角”这本书。
定制混合（稀疏路由）：
图书管理员不仅仅给一本书；它给出一个微小的、完美的混合体，包含 2 到 3 本与该特定位置最相关的书。它忽略了其余的书。这防止了 AI 被无关信息淹没。
结果（锚定令牌）：
视觉“砖块”（令牌）现在注入了这种特定的几何证据。它们不再仅仅是“一张冰箱的照片”；而是“位于水槽右侧 3 英尺处的冰箱”。

为何重要（结果）

该论文在多项“空间推理”测试（如估算距离、数物体或规划路线）中测试了这种方法。

类比： 想象一个学生参加数学考试。
- 旧 AI： 试图在解题的同时背诵公式。
- GeoWeaver： 在考试开始前，公式就已经清晰地写在课桌上了。
结果： GeoWeaver 在这些空间测试中 consistently 击败了其他顶级 AI 模型。它在猜测距离、理解方向（左/右/后）和规划路线方面表现得更好。
额外优势： 关键的是，它没有失去做其他事情的能力。它没有忘记如何回答一般性问题或理解视频。它只是在“空间”方面变得更擅长，而没有破坏其大脑的其他部分。

核心要点

该论文声称，几何不应是后来添加的额外信号；它应该是基础。

正如没有坚实的基础就无法建造稳固的房屋一样，如果没有在语言模型开始推理过程之前就将视觉令牌“锚定”在几何现实中，就不可能拥有可靠的空间推理能力。GeoWeaver 通过让图像的每个部分从选项库中挑选自己完美的几何证据，提供了这一基础。

技术摘要：GeoWeaver

问题陈述

当前的视觉 - 语言模型（VLMs）在可靠的空间 - 时间推理方面存在困难，特别是在涉及相对距离估计、物体布局理解以及在动态场景中追踪空间关系等任务中。尽管近期的一些方法试图通过引入结构分支、3D 感知监督或后期融合来增强空间智能，但它们通常将几何线索视为跨所有视觉标记的共享信号。

作者指出了现有范式的一个关键局限性：不同的视觉标记根据其具体的空间角色（例如局部边界与全局布局）需要不同的几何证据。现有方法往往未能解决这种异质性，将几何视为在流程后期注入的辅助信号（无论是在融合前还是在大型语言模型推理栈内）。这迫使解码器同时解决视觉 - 几何对齐和高级关系推理问题，将感知定位与认知推理纠缠在一起，从而降低了可靠性。

方法：GeoWeaver

GeoWeaver 提出了一种推理前几何定位框架，将几何视为表征的前提条件，而非后期融合信号。其核心理念是“先定位，后推理”，即在视觉表征进入语言模型之前对其进行塑造。

1. 架构概述

该框架包含三个主要阶段：

语义视觉分支：利用预训练的多模态大型语言模型（具体实现中为 Qwen3.5）及其原生视觉编码器，提取语义视觉标记（ $V$ ）。
冻结几何分支：采用冻结的几何编码器（VGGT）从相同的输入帧中提取显式几何先验。GeoWeaver 并非仅使用最终表征，而是通过收集深层（例如 24 层 VGGT 中的第 12–23 层）的隐藏状态，构建了一个多层几何库。该库充当从局部细节到全局抽象的结构证据储备。
标记自适应几何定位：这是核心创新。在语言解码之前，视觉标记查询几何库以检索相关证据。

2. 标记自适应证据分配

定位过程包含四个具体步骤，以确保每个视觉标记获得最相关的几何抽象：

归一化与对齐：来自不同层的几何特征被归一化并进行空间合并（2×2），以匹配视觉标记的分辨率和隐藏维度。
查询条件路由：一个轻量级路由器为每个单独的视觉标记（ $v_i$ ）预测对选定几何层的偏好权重。这承认了不同的空间区域需要不同层级的几何抽象。
紧凑证据选择：为了避免用冗余线索稀释特定标记的定位，模型采用稀疏路由。它仅为每个标记选择最相关的 top- $K$ （默认 $K=2$ ）几何层，并屏蔽其余部分。
残差定位：选定的几何证据被聚合，并通过残差连接注入到视觉标记中（ $v'_i = v_i + W_o g_i$ ）。投影矩阵 $W_o$ 初始化为零，使模型能够以恒等映射开始，并在微调过程中逐渐学习重塑表征。

3. 训练目标

该模型在下游空间 - 时间推理任务上使用标准的下一个标记预测（自回归损失）进行训练。几何编码器保持冻结，定位模块与基础多模态模型联合优化。未引入任何辅助几何重建或对比损失；模型完全通过端到端监督学习来分配和利用几何证据。

主要贡献

表征诊断：作者指出，缺乏几何定位的视觉标记是当前 VLMs 的关键瓶颈，并论证空间 - 时间推理取决于标记是否在进入语言模型之前就进行了几何定位。
GeoWeaver 框架：一种新颖的框架，在语言解码之前从多层几何库中分配特定于标记的几何证据。这将视觉 - 几何对齐从推理栈转移到了感知接口。
标记自适应机制：引入了一种稀疏的、基于查询条件的路由机制，允许不同的视觉标记检索不同的几何抽象，避免了对所有几何层的均匀暴露。
实证验证：广泛的实验表明，推理前定位在保持通用多模态能力不发生灾难性遗忘的同时，带来了更优越的性能。

实验结果

GeoWeaver 在多个空间推理基准上进行了评估，包括 VSI-Bench、ReVSI、SPAR-Bench、ViewSpatial、BLINK、3DSRBench 和 EmbSpatial。

VSI-Bench：GeoWeaver-5B 取得了 72.8 的平均分，比最强的开源基线（SpatialStack-5B）高出 5.3 分。GeoWeaver-10B 达到了 75.05。在物体计数、尺寸估计、相对方向和路径规划等对几何敏感的类别中观察到了显著的提升。
ReVSI：在帧感知设置中，GeoWeaver-10B 在 32 帧的情况下达到了 57.5% 的准确率，优于之前的空间 VLM。结果表明，有效的几何定位比单纯增加输入帧的数量更为关键。
SPAR-Bench：GeoWeaver-5B 取得了 69.2 的新最高分，比之前的最佳成绩大幅提升了 26.8 分，特别是在中高级推理任务（位置匹配、距离推断、空间想象）中。
通用能力：在 MMBench、Video-MME 和 TempCompass 上的评估显示，与基线相比，GeoWeaver 保持或略微提升了通用多模态性能，证实了几何定位不会导致灾难性遗忘。

意义与主张

该论文声称，GeoWeaver 的主要益处并非源于向模型注入更多的几何数据，而是源于在语言推理开始之前重塑视觉表征。通过将原始的多层级几何线索转化为几何定位的视觉标记，该框架使得语言模型能够在“几何就绪”的表征上运行。

作者认为，几何信息带来的最大益处并非作为后期融合的辅助信号，而是作为塑造表征基础的根本前提。这种方法成功地将低级视觉 - 几何对齐与高级关系推理解耦，从而在保留模型通用多模态能力的同时，实现了更稳健的空间 - 时间智能。这项工作表明，空间智能的未来进步需要在感知接口处解决表征瓶颈，而不仅仅是优化推理栈。