💻 computer science

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

本文提出了 SPaTS，这是一个通过强化学习优化的框架，该框架通过利用 SPaSO 选择单个锚点视觉标记（anchor visual token），并结合方向嵌入对齐（directional embedding alignment）和补丁增强解码（patch-enhanced decoding）进行精细化处理，将每个文本实例进行路由，从而在多模态大语言模型（MLLMs）中提升场景文本检测性能，并实现优于现有方法的卓越精度。

原作者： Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人在繁忙、混乱的城市街道上阅读标牌。这个机器人拥有一个理解语言并能创作故事的超级聪明的大脑，但它却非常不擅长精确地用手指指向照片中某个词的位置。这就是“场景文本检测”（Scene Text Spotting）领域的世界——在这个领域，计算机试图同时完成两件事：识别文字并围绕文字画出一个框。长期以来，研究人员尝试通过向机器人展示整张图片，并让它用数字（例如“x 是 10，y 是 20”）来猜测位置。但数字可能是混乱且不精确的。最近，科学家们尝试了另一种技巧：他们让机器人指向图像中的一些小的正方形“补丁”（patches），就像一格一格的小瓷砖一样，以此来表达“单词就在这里”。这就像是要求机器人指向地板上的某块特定瓷砖，以找到隐藏的信息。

然而，这里有一个难点。如果你要求机器人同时指向许多块瓷砖来寻找一个单词，它往往会感到困惑。它可能指对了单词，但也可能不小心指向了背景、天空或紧挨着的另一个单词。这就像是在拥挤的房间里通过指向一群人来寻找一位特定的朋友；你可能指对了那个人，但你也同时指向了陌生人，这使得指令变得嘈杂且模糊不清。这篇论文提出了一个简单而大胆的问题：如果我们只允许机器人为每个单词选择一个完美的瓷砖，这是否足够了？来自华南理工大学的研究团队提出，答案是肯定的——只要机器人学会挑选出“正确”的那一个，一个补丁实际上比多个补丁更好。他们构建了一个全新的系统，利用一种特殊的“试错”学习法（称为强化学习）来教机器人如何挑选那个唯一的最佳瓷砖，然后利用图像的其余部分来绘制出单词完美的轮廓。

单补丁革命

这篇论文介绍了一个名为 SPaTS（Single-Patch Text Spotting，单补丁文本检测）的新框架。把旧的方法想象成一个混乱的小组项目，每个人都在同时大声发表意见；而新的 SPaTS 方法则像是一个纪律严明的团队，由一个人被选出来代表整个小组发言。SPaTS 不再尝试从许多图像补丁（即照片中的小方块）中聚合信息，而是强制模型为它想要读取的每个单词仅选择一个“锚点”补丁。

为什么这样做更好呢？作者发现，当你使用多个补丁时，AI 会变得“嘈杂”。它会把正在读取的单词与背景或相邻的单词混淆在一起，从而导致混乱。这就像是在管弦乐队中试图听清一种乐器的声音，而其他乐器都在大声演奏；信号会被淹没。通过强制 AI 只选择一个高质量的补丁，信号变得清晰透明。模型会说：“我看到了这个特定的点，”然后以此为起点来推导单词的其余形状。

“聪明猜谜”游戏 (SPaSO)

这里最棘手的部分在于：AI 如何知道该选哪一个单补丁才是“最好的”？并没有老师在旁边告诉它：“选第 42 号补丁。”作者意识到，这正是强化学习（Reinforcement Learning）的完美用武之地，就像用零食训练狗狗一样。

他们创建了一个名为 SPaSO（Single-Patch Selective Optimization，单补丁选择优化）的系统。想象一下，AI 正在玩一个游戏，它必须猜出哪块瓷砖包含了单词。

猜测： AI 尝试挑选一个补丁。
奖励： 如果它挑选的补丁有助于它正确读取单词并准确绘制边框，它就会得到一个“奖励”（分数）。如果它选了一个糟糕的补丁并失败了，它就得不到奖励。
学习： 随着时间的推移，AI 会学到挑选某些类型的补丁会带来奖励，因此它会变得非常擅长挑选正确的一个，而不需要人类每次都向它展示答案。

作者为这个游戏设计了两种特定的“奖励”。一种奖励检查最终结果（文本和边框）是否良好；另一种奖励则检查 AI 是否至少在它的前列选项中“考虑过”正确的补丁。这种双重奖励机制确保了 AI 不仅仅是靠运气成功一次，而是学会了如何持续地找到最好的证据。

秘密武器：方向与形状

为了让这个单补丁想法完美运作，团队为 AI 的大脑添加了两个聪明的升级：

方向嵌入对齐 (Directional Embedding Alignment, DEA)： 想象 AI 对一个补丁的记忆就像一束手电筒光束。有时，光束只是非常亮（能量高），但指向了错误的方向。作者意识到，AI 被补丁的“亮度”（幅值）分散了注意力，而不是关注它实际“是什么”。他们构建了一个过滤器，将“亮度”（幅值）与“方向”（补丁实际代表的内容）分离开来。这迫使 AI 关注信息指向的“位置”，而不仅仅是它叫得有多“响”。这就像是告诉机器人：“忽略光有多亮，看光束指向哪里。”
补丁增强解码 (Patch-Enhanced Decoding, PED)： 一旦 AI 选定了它的单个“锚点”补丁，它仍然需要知道单词的完整形状，因为单词可能是弯曲或细长的。单个补丁只是一个起点。作者构建了一个解码器，它获取该单补丁并将其与 AI 对语言的理解相结合。这就像是从藏宝图上获取一个线索，并结合你对地形的知识来绘制完整的路径。这使得 AI 能够再次观察整个图像，以该单补丁作为引导，在文本周围绘制出精确的曲线。

结果：少即是多

团队在几个充满弯曲、倾斜和拥挤文本（如繁忙市场中的标牌）的挑战性数据集上测试了他们的系统。结果令人印象深刻。他们的模型仅使用 20 亿或 40 亿个参数（对于 AI 来说规模相对较小），就击败了规模更大、成本更高的闭源大型模型。

事实上，在某些测试中，他们的“单补丁”方法明显优于那些试图使用多个补丁的方法。例如，在名为 CTW1500 的数据集上，他们的方法实现了 81.2% 的 F-measure（准确度评分），而其他方法则难以达到 70%。论文表明，通过剔除多个补丁带来的噪声并专注于一个完美的锚点，AI 会变得更加精准且不再容易产生困惑。

为什么这很重要

这篇论文认为，在 AI 阅读文本的世界里，少即是多。通过拒绝“补丁越多理解越好”的观念，作者证明了通过智能的试错学习引导，一种专注的单点方法可以比暴力破解更好地解决复杂问题。这提醒我们，有时为了找到答案，你并不需要同时观察一切；你只需要知道确切的观察点在哪里。作者承认，他们的方法需要额外的训练时间来学习“挑选补丁”的游戏，但回报是一个不仅更准确而且更高效、更易于理解的系统。

技术摘要：一个补丁就够了 (SPaTS)

1. 问题陈述

场景文本检测（Scene text spotting）需要同时实现文本识别以及将转录内容与相应图像区域进行精确的空间定位。虽然多模态大语言模型（MLLMs）具有强大的语义推理能力，但它们往往缺乏精确定位所需的细粒度空间控制能力。现有的视觉标记落地（Visual Token Grounding, VTG）方法试图通过将语言生成锚定在视觉证据上来弥补这一差距。然而，目前的范式通常依赖于多补丁表示（multi-patch representations），即聚合多个图像补丁来表示单个文本实例。

作者认为，对于场景文本——其通常具有微小、密集且嵌入复杂背景的特点——聚合多个补丁会引入显著的冗余噪声、定位歧义和耦合误差。相邻的补丁往往包含无关的背景或相邻的单词，从而导致“定位错误”和“歧义”，降低了识别精度和几何精度。此外，识别出对单个文本实例最具信息量的单个补丁是一个缺乏显式排序标签的潜在属性，这使得标准监督学习难以进行有效优化。

2. 方法论

本文提出了单补丁文本检测（Single-Patch Text Spotting, SPaTS），这是一个以视觉为中心的框架，它通过一个**单锚点视觉标记（single anchor visual token）**路由每个文本实例，并通过全图精细化来恢复几何结构。该方法由三个核心组件组成：

A. 单补丁选择性优化 (SPaSO)

为了解决缺乏“最优”补丁真值标签的问题，作者将补丁选择重新表述为一个通过强化学习（RL）优化的离散决策问题。

框架： 基于群体相对策略优化（GRPO）框架，SPaSO 将视觉补丁索引的选择视为策略动作。
双重奖励机制：
1. 生成奖励 ( $r_{gen}$ )： 评估最终的检测质量（结合通过编辑距离计算的文本转录准确度和通过 IoU 计算的几何精度）。这迫使策略选择能够产生高保真转录和精确边界的补丁。
2. 主导性奖励 ( $r_{dom}$ )： 一种稠密奖励，鼓励模型将真值候选补丁保留在预测的前 $k$ 个之中。即使在稀疏的生成奖励较低时，也能提供优化信号。
联合优化： 离散选择的 RL 目标与连续几何监督（边界框、贝塞尔曲线、点）进行联合训练，使模型在学习“选择哪个”补丁的同时，让解码器学习“如何回归”其几何形状。

B. 方向性嵌入对齐 (DEA)

为了稳定选择过程并防止模型偏向于高能量（高范数）补丁而非语义相关的补丁，作者引入了 DEA。

机制： DEA 解耦了视觉原型（visual prototypes）的特征幅值和方向。原型 $p_i$ 被参数化为一个可学习的缩放因子 $\gamma_i$ 乘以原始补丁特征的归一化方向 $\hat{v}_i$ 。
训练策略： $\gamma_i$ 经过预热后被冻结，从而迫使模型在关键选择阶段专注于方向语义对齐（余弦相似度）而非特征幅值，从而抑制补中竞争中不稳定的范数偏差。

C. 补丁增强解码 (PED)

考虑到单个补丁本身可能不足以提供精确边界回归所需的信息，作者提出了 PED 以缓解信息瓶颈。

机制： PED 将选定的视觉补丁原型 ( $p_{at}$ ) 与语言隐藏状态 ( $h_t$ ) 融合，形成一个对象查询（object query）。
过程： 该融合后的查询被用于交叉注意力解码器，从中从全图特征图中读取信息。这使得模型能够利用整个图像丰富的视觉-语义线索来恢复精确的几何边界（框、曲线、点），而不会重新引入多补丁聚合带来的噪声。

3. 核心贡献

SPaTS 框架： 一种全新的单锚点视觉标记范式，它用每个实例一个单锚点视觉标记取代了嘈杂的多补丁路由，随后进行全图几何精细化。这种形式化方法产生了更紧凑的路由信号，并使预测的几何结构与目标区域之间实现了更紧密的耦合。
SPaSO： 一种强化学习框架，无需最优补丁的真值标签即可优化离散视觉标记的选择，利用源自最终检测结果的补丁级奖励进行优化。
架构创新 (DEA & PED)：
- DEA： 解耦补丁幅值与方向，以确保鲁棒的表示以及与语言状态的方向对齐。
- PED： 将路由的局部证据与语言语义相结合，以恢复精确的边界，既避免了单补丁解码的信息瓶颈，又防止了多补丁噪声。

4. 实验结果

作者在三个基准测试集上评估了 SPaTS：Total-Text、SCUT-CTW1500 和 ICDAR 2015。

达到最先进水平（SOTA）的性能： SPaTS（在 2B 和 4B 参数变体中）始终优于前沿的闭源 MLLM（如 GPT-5.4、Claude-Sonnet-4.6、Gemini-3.1-Flash）以及专门的 OCR 模型（如 HunyuanOCR、PaddleOCR-VL）。
效率： 尽管使用的参数量显著少于大规模开源 MoE 模型或闭源系统，SPaTS 仍取得了卓越的结果，凸显了其在视觉-语言对齐方面的高参数效率。
消融研究：
- 单补丁 vs. 多补丁： 单补丁选择的表现显著优于多补丁和坐标-文本形式，证实了多个补丁会引入选择歧义。
- RL vs. SFT： SPaSO (RL) 阶段相比标准的监督微调 (SFT) 带来了实质性的提升，特别是在端到端检测指标方面，验证了通过奖励优化选择逻辑的有效性。
- 组件影响： 移除 DEA 会导致由范数主导的特征漂移；移除 PED 则会导致准确率崩溃，证实了将语言先验与显式视觉信号融合的必要性。

5. 重要性与主张

本文声称 SPaTS 为复杂场景下的高保真文本检测提供了一种全新的视觉落地范式。其主要意义在于：

重新思考粒度： 证明了当结合全图精细化时，“一个补丁就够了”，挑战了“多个补丁对于鲁棒落地是必要的”这一流行假设。
弥合差距： 成功地将大语言模型的语义推理能力与 OCR 所需的细粒度几何严谨性结合起来，且无需依赖昂贵的专家级补丁标注。
鲁棒性： 提供了一种比传统方法更有效地处理弯曲、密集和遮挡文本的解决方案，这在 CTW1500 和 ICDAR 2015 等困难数据集的定性结果中得到了证实。

作者承认存在局限性，指出 RL 阶段会引入训练开销，且在 DEA 中冻结幅值分支可能会降低在极端光照变化下的灵活性。然而，他们将 SPaTS 定位为迈向更精确、更高效场景文本检测的重要一步。