💻 computer science

2D Rotary Position Embedding for Scene Text Recognition with Transformers

本文介绍了 \method{}，这是一种针对场景文本识别的无参数化 2D 旋转位置嵌入（Rotary Position Embedding）适配方法，它通过各向异性地分配维度以匹配文本长宽比，并将旋转耦合扩展到编码器-解码器交叉注意力机制，从而解决了现有方法的局限性，并显著提高了在弯曲、旋转及透视畸变文本布局上的准确率。

原作者： Zobeir Raisi

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zobeir Raisi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字视觉的繁荣世界中，机器正在不断学习如何阅读我们周围的世界。从扫描高速公路上的车牌到翻译异国城市的街道标牌，在自然场景中识别文本的能力是现代技术的基石。多年来，当文本不是完美的直线或印在洁白的纸张上时，计算机在处理这项任务时一直感到吃力。现实世界的文字往往会因为摄像机的角度而产生弯曲、倾斜或拉伸，这创造了一个标准阅读算法难以解决的视觉谜题。为了帮助计算机理解字母的顺序，研究人员长期以来一直依赖于一种位置标签系统。把这些标签想象成一个简单的地址系统，它告诉计算机哪一个字母是第一、第二和第三个。虽然这对于笔直的水平文本非常有效，但当文本弯曲或扭曲时，这种方法就会失效，因为计算机失去了追踪字母在二维空间中相互关系的手段。

一位研究人员现在开发了一种赋予计算机这种空间感知能力的新方法，专门针对现实世界中那些杂乱、不规则的文本。他们创建了一种名为“二维旋转位置嵌入”（2D Rotary Position Embedding）的方法，用一种动态理解位置的方式取代了旧的一维地址系统。这种新方法不再仅仅是沿着单条线计数，而是允许计算机根据字母之间的垂直和水平距离来旋转其对位置的理解。这意味着即使单词是环形书写的，或者从陡峭的角度观察，机器也能识别出某个字母是位于另一个字母“旁边”。他们在六个不同的标准图像集上测试了这个系统，这些图像集包含了从弯曲标牌到透视变形广告牌的一切内容。结果显示，这种新方法显著优于以往的技术，尤其是在处理不规则文本时。这种改进在最具挑战性的图像上最为显著，新系统正确识别了旧模型误读的单词，且没有给计算机的大脑增加任何额外的复杂性或内存成本。

这项进步的核心在于计算机处理图像的方式。传统方法通常将图像压平为一条单一的长数据线，忽略了文本存在于具有高度和宽度的平面这一事实。当文本弯曲或倾斜时，这种压平过程会扭曲字符之间的关系，导致计算机迷失方向。然而，新方法将图像视为一个真正的二维网格。它为图像的每个部分分配了一个独特的空间签名，这个签名会根据字母的相对位置而变化。如果一个字母位于另一个字母的右上方，系统就能理解这种特定的几何关系，无论整个单词如何扭曲。这是一个至关重要的区别，因为它允许计算机遵循阅读的自然流向，即使这个流向并非一条水平直线。

研究人员通过使用相同的训练数据和硬件，将他们的新系统直接与旧模型进行对比，展示了这种方法的威力。在一个引人注目的例子中，一个使用旧方法的模型在观察一个写着“coffee”的弯曲标牌时，将其读成了“come”，因为它完全漏掉了字母，因为曲线破坏了它的线性计数。而使用二维空间旋转的新系统则正确读出了单词。这并非孤立事件。在数千张测试图像中，新系统一致地解决了旧系统失败的问题，尤其是在以难以处理的变形著称的数据集上。在一组包含弯曲文本的图像集上，新方法的准确率比之前的最佳模型提高了近四个百分点。在具有透视变形（即文本看起来向远处退去）的图像上，它也表现出了类似的增益。

这项发现之所以如此优雅，在于其简洁性。研究人员不需要重新设计整个计算机架构，也不需要添加数百万个新参数使其工作。新的位置系统就像一个可以插入现有阅读软件的插件模块。它几乎不需要额外的内存，仅通过在系统的设置中添加两个微小的数字即可调整以适应文本的形状。这种效率表明，阅读不规则文本的瓶颈不在于计算能力的缺乏，而在于计算机理解空间的方式存在缺陷。通过修复这个特定的几何理解偏差，研究人员实现了一个显著的性能飞跃。

研究还包括了对系统为何奏效的详细分析，利用可视化工具观察计算机在阅读文本时是在“看”哪里。这些可视化结果显示，新方法使计算机能够紧密地聚焦在字母的笔画上，即使在笔画呈弧形或倾斜时也能跟随其路径。相比之下，旧模型往往会被背景分散注意力，或者在几何形状改变时丢失字母序列的追踪。研究人员发现，当系统将更多的处理能力分配给文本的垂直维度时，效果最为显著，这反映了文本行通常比它们的高度要宽的事实。这种与单词自然形状相匹配的小幅调整，被证明是其成功的关键因素。

尽管新方法代表了向前迈出的重要一步，但研究人员也承认它并非适用于所有可能的形状。该系统旨在很好地处理水平和垂直关系，但在处理高度对角线或复杂的非线性排列的文本时仍可能面临困难。他们建议未来的工作可以扩展这一理念，以处理更多样化的角度，并潜在地应用于视频领域——即文本在三维空间中移动的情况。然而，目前来看，这些发现提供了一个清晰且实用的改进，让机器能够阅读真实世界中的景象，而不是一个简化的直线。通过教导计算机尊重文本真实的几何结构，这项研究让我们离这样一个未来更近了一步：数字系统可以阅读任何标牌、任何标签和任何笔记，无论其书写方式如何，也无论其出现在何处。

技术摘要：用于场景文本识别的 2D 旋转位置嵌入 Transformer

1. 问题陈述

场景文本识别（STR）由于自然图像中文字外观的多样性（包括曲率、旋转和透视畸变）而面临显著挑战。虽然基于 Transformer 的方法因其通过自注意力机制建模长距离依赖的能力而在 STR 领域占据主导地位，但它们高度依赖位置编码来克服注意力机制的置换不变性。

现有的 STR 方法通常采用以下三种位置编码策略之一：

1D 正弦/可学习编码： 这些编码沿单一序列轴对位置进行编码，忽略了文本图像的 2D 空间布局。
2D 加性编码： 这些通过拼接或求和行与列嵌入来扩展到二维。然而，它们将这些维度视为独立的加性偏置，无法有效捕捉相对空间关系。

这些方法的核心局限在于它们将绝对位置编码为加性偏移。因此，当文本是弯曲、旋转或发生透视变形时，模型难以推理字符之间的相对几何关系。此外，专为 Vision Transformer 设计的标准 2D 旋转位置嵌入（RoPE）假设图像内容是各向同性（正方形）的，并且仅在编码器自注意力中应用旋转。这些假设并不适用于 STR，因为 STR 中的文本裁剪图具有明显的各向异性（宽大于高），且架构是编码器-解码器结构，要求解码器通过交叉注意力将查询（Query）与编码器的 2D 布局相关联。

2. 方法论：2D-RoPE-STR

本文引入了 2D-RoPE-STR，该框架针对场景文本识别的特定约束调整了轴向 2D 旋转位置嵌入。该方法由三个主要部分组成：

A. 各向异性维度分配
不同于将旋转维度在行和列轴之间均匀分配的标准视觉公式，2D-RoPE-STR 根据文本的宽高比分配维度。由于文本图像通常宽大于高，该方法将更多的编码维度分配给行轴（跨越字符序列），并将较少的维度分配给列轴。这是通过为行和列位置定义频率基 $\theta_h$ 和 $\theta_w$ ，并可能通过可学习因子 $\beta_h$ 和 $\beta_w$ 进行缩放，以适应文本特定的空间统计特性来实现的。

B. 向编码器-解码器交叉注意力的扩展
标准的 2D-RoPE 公式仅在编码器的自注意力中应用旋转。2D-RoPE-STR 将这种旋转耦合扩展到了解码器的交叉注意力机制中。在此设置下：

编码器自注意力： 查询（Queries）和键（Keys）都根据其 2D 空间坐标 $(h, w)$ 进行旋转。
解码器交叉注意力： 来自解码器的查询（缺乏 2D 空间位置）去关注已被其 2D 空间布局旋转过的编码器键。这使得自回归解码步骤能够基于其相对 2D 位移而非仅仅是顺序，来关联到编码器的 Token。

C. 数学公式
对于位于位置 $(h, w)$ 的 Token，特征向量被划分为行（ $x_h$ ）和列（ $x_w$ ）组件。2D-RoPE 操作对每一部分分别应用独立的旋转：
$2D\text{-}RoPE(x, h, w) = [R_{h, \theta_h} x_h; R_{w, \theta_w} x_w]$
论文中的定理 1 证明，查询 $(h_q, w_q)$ 与键 $(h_k, w_k)$ 之间的注意力分数仅取决于相对位移 $(\Delta h, \Delta w)$ ，从而保留了对于建模畸变布局中阅读顺序至关重要的相对位置属性。

D. 架构集成
所提出的模块是“即插即用”的。它可以替换任何基于 Transformer 的 STR 系统中的位置编码模块，而无需重新设计骨干网络或解码器。实现过程使用 ResNet-50 骨干网络提取 2D 特征图，特征图被展平后由配备 2D-RoPE 的 Transformer 编码器处理，随后进入标准的自回归解码器。

3. 核心贡献

作者确定了四个主要贡献：

将 2D-RoPE 适配于 STR： 首次将轴向 2D-RoPE 适配到场景文本识别的各向异性、编码器-解码器设置中，其特点是具有匹配文本宽高比的维度划分，并将旋转耦合扩展到了解码器交叉注意力中。
即插即用模块： 一种设计，可以在极小修改且几乎零参数成本（仅增加两个可学习的缩放标量）的情况下，替换现有基于 Transformer 的 STR 系统中的位置编码。
全面评估： 在六个标准基准测试（IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, 和 SVTP）上进行了实验，并通过受控消融实验隔离了位置编码的影响。
诊断协议： 一个全新的评估框架，包括受控消融对、图像级网络胜出差异分析以及编码器注意力可视化，用以精准定位 2D 相对定位提升性能的原因及位置。

4. 实验结果

该模型在六个基准测试上进行了评估，达到了 90.4% 的平均单词准确率（SOTA），超过了之前的最优方法（MATRN，89.5%）。

在不规则文本上的表现： 增益主要集中在具有不规则布局的数据集上。具体而言，2D-RoPE-STR 在曲线文本数据集（CUTE80）上比 MATRN 提升了 +3.8%，在透视畸变数据集（SVTP）上提升了 +1.5%。
消融研究：
- 编码类型： 2D-RoPE 的表现优于 1D 正弦、1D 可学习、2D 正弦和 2D 可学习编码。
- 维度划分： “行重型”划分（对于 $d=512$ ，比例为 384:128）比等分划分效果更好，证实了匹配文本宽高比维度的益处。
- 交叉注意力： 在解码器的交叉注意力中将 2D-RoPE 应用于编码器键，相比于在该特定机制中使用 1D RoPE 或不使用位置编码，提供了可衡量的性能提升。
定性分析： 编码器自注意力的可视化表明，2D-RoPE 使模型能够紧密关注字符笔画并遵循曲线或倾斜文本的 2D 布局，而 1D 基线在这些场景下往往无法维持正确的阅读顺序。差异分析证实，2D-RoPE 正确读取了 1D 基线漏读的图像，特别是在 IC15 和 SVTP 数据集中。

5. 重要性与主张

论文声称 2D-RoPE-STR 解决了基于 Transformer 的 STR 中的一个关键差距：即标准位置编码无法建模阅读扭曲文本所需的 2D 相对几何关系。通过根据相对行和列偏移旋转查询和键，模型可以天生地推理阅读顺序，即使文本不是水平直线。

作者强调，这些改进是以几乎没有参数成本实现的，因为该方法依赖于旋转而非学习到的嵌入表。这项工作表明，当文本布局偏离标准假设（曲线、旋转、透视畸变）时，2D 相对定位带来的好处最为显著。

承认的局限性：
作者指出，其公式是轴向的，这意味着它将编码的关系集中在水平和垂直方向上。对于在陡峭倾斜文本中发现的斜向或对角线排列，其表达能力可能较弱。他们建议，多方向旋转方案以及向视频文本识别的 3D 扩展是自然的未来研究方向。此外，维度的等分（或所使用的特定行重型划分）可能并非对所有可能的宽高比都是最优的。