💻 computer science

Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Lang2Act 提出了一种通过自涌现语言工具链实现细粒度视觉推理的新框架，利用两阶段强化学习训练使视觉语言模型自主探索并构建可复用动作工具箱，从而克服传统 VRAG 方法中视觉感知与推理解耦导致的视觉信息丢失问题，显著提升了模型的视觉感知能力。

原作者： Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Lang2Act 的新方法，旨在让“看图说话”的人工智能（视觉语言模型，VLM）变得更聪明、更细心。

为了让你轻松理解，我们可以把这项技术想象成从“粗线条的扫视”进化到“拿着放大镜的专家级阅读”。

1. 以前的困境：要么“瞎猜”，要么“切坏图”

想象一下，你让一个 AI 去读一张复杂的图表或文档，然后回答一个具体的问题（比如“2000 年雀巢收购了哪个品牌？”）。

传统方法（VRAG）：就像让 AI 拿着一张巨大的海报，它只能整体看。如果海报太大，它可能看不清角落里的字，或者因为信息太多而“晕头转向”，导致答非所问。
现有的“工具流”方法（如 VRAG-RL）：为了解决看不清的问题，以前的方法给 AI 配了一把**“剪刀”。AI 觉得哪里模糊，就咔嚓一下把那块区域剪下来**（裁剪图片），然后只看剪下来的部分。
- 问题出在哪？ 这就像你为了看清报纸上的一个小字，把报纸剪了一个洞。虽然字看清了，但你失去了上下文（比如那个字是在标题下面，还是在脚注里？）。而且，如果 AI 手抖剪歪了，关键信息就彻底丢了，再也找不回来。这就是论文里说的“不可逆的信息丢失”。

2. Lang2Act 的创意：给 AI 装上“思维放大镜”

Lang2Act 不想用物理剪刀，它想出了一个更聪明的办法：用语言来指挥视线。

它不再让 AI 去“剪”图片，而是让 AI 学会**“自言自语”地描述它要做什么**。这就像给 AI 配了一套**“思维工具包”，但不是真的去操作图片，而是通过生成文字指令**来模拟操作。

核心比喻：侦探的“思维笔记” vs. 剪刀手

旧方法（剪刀手）：侦探觉得某个线索模糊，直接拿剪刀把报纸剪下来，只保留那块。结果：报纸破了，上下文没了。
Lang2Act（思维笔记）：侦探手里拿着一支笔和一张便签。他看着报纸，在便签上写下：

“我要读取第 3 行第 2 列的数字。”
“我要比较这两个数值的大小。”
“我要定位那个红色的 Logo。”

当 AI 写下这些“语言工具”时，它的大脑（模型内部）就会自动把注意力聚焦到图片的对应区域，就像用无形的放大镜去观察一样。

3. 它是如何学会的？（两阶段训练法）

这个“思维工具包”不是人类硬塞给 AI 的，而是 AI 自己**“悟”出来的。论文设计了一个有趣的两阶段训练过程**：

第一阶段：自我探索（练内功）
AI 像一个小学生，面对一堆题目，自己尝试各种解题思路。它发现：“哦，原来当我写下‘读取数值’这个词时，我就能答对题了。”
系统会把那些能帮它答对题的“好句子”（比如“读取数字”、“比较大小”）收集起来，整理成一个**“工具字典”**。
第二阶段：专家特训（用字典）
现在，AI 手里有了这本“工具字典”。在遇到新问题时，它被要求必须先查字典，用字典里的标准动作（比如 <tool name="read_numeric_value">）来描述自己的思考过程。
这就像老师告诉学生：“别瞎猜，遇到数学题先列公式，遇到看图题先找坐标。”通过这种训练，AI 学会了如何精准地把注意力集中在图片的关键细节上，而不会剪坏图片。

4. 为什么这很厉害？（优势总结）

不破坏原图：因为它只是用“语言”去指代图片区域，而不是真的把图片切掉。所以，全局信息（比如表格的标题、周围的背景）都还在，AI 不会迷路。
更精准：就像你戴上了隐形眼镜，而不是把眼睛蒙上。AI 能看清微小的细节（比如图表里 43% 和 56% 的区别），而不会像以前那样因为裁剪错误看错数字。
减少幻觉：因为 AI 必须一步步“描述”它看到了什么（比如“我读到了 43%"），它就不能凭空捏造答案了。这大大减少了 AI“一本正经胡说八道”的情况。

5. 实验结果：真的有用吗？

论文在多个复杂的文档问答测试中（比如看幻灯片、看长报告）进行了测试。

结果：Lang2Act 的表现比之前的所有方法都要好，准确率提升了4% 以上。
案例：在一个测试中，旧方法因为“剪”错了位置，把"43%"剪掉了，结果答成了"56%"；而 Lang2Act 通过“语言聚焦”，精准地读到了"43%"，给出了正确答案。

总结

Lang2Act 就像是给 AI 配备了一位高素质的图书管理员。
以前的 AI 是粗暴的剪报员，为了找信息不惜破坏报纸；
现在的 Lang2Act 是细心的阅读者，它手里拿着一支笔，通过写下精准的观察笔记（语言工具链），引导自己的目光聚焦在关键信息上，既保留了报纸的完整性，又找到了最准确的答案。

这项技术让 AI 在处理复杂视觉文档时，变得更像人类专家：看得细、想得深、不瞎猜。

Lang2Act 技术总结：通过自涌现语言工具链实现细粒度视觉推理

1. 研究背景与问题定义

视觉检索增强生成（VRAG） 旨在通过引入外部视觉文档来增强视觉 - 语言模型（VLM）的问答能力。现有的 VRAG 框架通常依赖刚性、预定义的外部工具（如图像裁剪、缩放 API）来扩展 VLM 的感知能力。这种设计存在以下核心问题：

感知与推理的解耦：将视觉感知（如裁剪图像）与后续的逻辑推理过程显式分离，导致信息传递不流畅。
关键信息丢失：在执行图像操作（如裁剪）时，容易因操作不当导致关键视觉信息（如上下文布局、被裁剪掉的数据）不可逆地丢失。
推理碎片化：依赖外部工具接口往往导致推理过程断裂，且引入额外的推理延迟。

Lang2Act 旨在解决上述问题，提出一种通过自涌现的语言工具链（Self-Emergent Linguistic Toolchains） 来实现细粒度视觉感知与推理统一的新范式。

2. 核心方法论

Lang2Act 不依赖外部图像 API，而是将视觉操作内化为语言工具，通过自回归生成过程隐式地执行视觉感知。其核心框架包含两个主要阶段，均基于强化学习（RL） 进行优化：

2.1 两阶段强化学习训练框架

第一阶段：动作探索与工具库构建（Action RL / Tool Curation）
- 目标：优化 VLM 以自我探索高质量的视觉推理轨迹，并从中提炼出可复用的语言工具。
- 过程：
  - 使用 DAPO (Decoupled Clip and Dynamic sampling Policy Optimization) 算法训练 VLM，鼓励其生成能够导向正确答案的推理轨迹。
  - 从成功的推理轨迹中提取“语言动作”（例如：“读取文本元素”、“定位视觉元素”、“比较数值”）。
  - 将这些动作抽象为标准化的三元组（工具名、文本描述、参数规范），构建语言工具池（Tool Pool）。
  - 筛选高频使用的工具，形成最终的语言工具箱（Linguistic Toolbox, $T_{box}$ ）。
第二阶段：基于语言工具的推理优化（Tool-Based RL）
- 目标：利用构建好的工具箱，进一步优化 VLM 在推理过程中有效调用这些工具的能力。
- 机制：
  - 内化感知：VLM 在生成答案时，通过自回归解码“调用”语言工具（如 <tool name="read_numeric_value" ...>）。
  - 隐式执行：当模型生成工具调用指令时，它被引导去关注图像中相关的特定区域，并在内部生成对应的执行观察（Observation），而无需实际裁剪图像。
  - 奖励函数：采用加权奖励 $R(z, a) = \alpha \cdot r_{ans} + \beta \cdot r_{tool}$ 。其中 $r_{ans}$ 确保答案正确， $r_{tool}$ 作为正则化项，鼓励模型在指定的推理阶段（<description>）内规范地使用工具箱中的工具。

2.2 推理流程

Lang2Act 的推理过程分为两个连续组件：

视觉路由（Visual Routing, $z_{route}$ ）：从检索到的文档页面中筛选出最相关的子集。
工具执行（Tool Execution, $z_{exec}$ ）：在选定页面上，生成一系列语言级工具动作及其执行观察，最终导出答案。

3. 主要贡献

提出 Lang2Act 框架：首次提出利用自涌现的语言工具链替代刚性外部图像工具，实现了视觉感知与逻辑推理的紧密耦合。
解决信息丢失问题：通过语言工具隐式地引导注意力，避免了图像裁剪等操作带来的不可逆信息损失，保留了全局视觉上下文。
两阶段 RL 优化机制：设计了从“动作探索”到“工具利用”的递进式训练策略，使模型能够自主发现并掌握细粒度的视觉 grounding 模式。
可解释性与泛化性：生成的工具链具有结构化特征，不仅提升了性能，还增强了推理过程的可解释性。实验证明该工具箱在不同数据集和模型规模上具有优秀的泛化能力。

4. 实验结果

Lang2Act 在多个文档视觉问答基准（SlideVQA, ViDoSeek, MMLongBench-Doc）上进行了评估：

性能提升：在多个测试场景中，Lang2Act 的表现优于所有基线模型（包括 Prompting 方法、VLRMs、MRAGs 及现有的 Tool-Enhanced VLMs），平均提升超过 4%。
细粒度感知能力：
- 在黄金区域感知率（Golden-region perception rate） 上，Lang2Act 显著高于基于图像裁剪的方法（如 VRAG-RL, Pixel-Reasoner）。
- 即使在模型成功定位到正确区域的情况下，Lang2Act 的答案准确率也更高，表明其能更有效地利用视觉证据。
幻觉抑制：分析显示，Lang2Act 显著降低了幻觉率，提高了事实一致性和推理连贯性。
消融实验：移除“动作探索”或“工具优化”任一阶段均会导致性能下降，证明了双阶段训练的必要性。
零样本提示对比：即使在冻结模型参数（无 RL 训练）的情况下，Lang2Act 的提示格式本身也比 Vanilla 和 Structured CoT 表现更好，证明了工具化提示格式的价值。

5. 意义与影响

范式转变：Lang2Act 挑战了传统 VRAG 依赖外部图像 API 的范式，证明了通过语言内化视觉操作可以实现更精细、更鲁棒的视觉推理。
效率与鲁棒性：相比需要多次图像裁剪和外部调用的方法，Lang2Act 减少了推理延迟，并消除了因裁剪错误导致的推理失败风险。
未来方向：为多模态大模型提供了一种无需额外训练外部工具接口即可实现细粒度感知的新思路，对于处理复杂文档、图表及长上下文视觉任务具有重要参考价值。

总结：Lang2Act 通过让模型“学会用语言描述如何看”，成功弥合了视觉感知与逻辑推理之间的鸿沟，在保持全局上下文的同时实现了细粒度的信息提取，显著提升了 VLM 在复杂视觉问答任务中的表现。