💻 computer science

2D Rotary Position Embedding for Scene Text Recognition with Transformers

Este artículo presenta \method{}, una adaptación libre de parámetros de la Incrustación de Posición Rotatoria 2D para el Reconocimiento de Texto en Escenas que aborda las limitaciones de los métodos existentes mediante la asignación anisotrópica de dimensiones para coincidir con las relaciones de aspecto del texto y la extensión del acoplamiento rotatorio a la atención cruzada de codificador-decodificador, mejorando significamente la precisión en diseños de texto curvos, rotados y con distorsión de perspectiva.

Autores originales: Zobeir Raisi

Publicado 2026-08-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zobeir Raisi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el bullicioso mundo de la visión digital, las máquinas aprenden constantemente a leer el mundo que nos rodea. Desde el escaneo de matrículas en una autopista hasta la traducción de señales de tráfico en una ciudad extranjera, la capacidad de reconocer texto en entornos naturales es una piedra angular de la tecnología moderna. Durante años, las computadoras han tenido dificultades con esta tarea cuando el texto no está perfectamente recto o impreso en una página blanca y limpia. Las palabras del mundo real suelen curvarse, inclinarse o estirarse debido al ángulo de la cámara, creando un rompecabezas visual que los algoritmos de lectura estándar encuentran difícil de resolver. Para ayudar a las computadoras a entender el orden de las letras, los investigadores han dependido durante mucho tiempo de un sistema de etiquetas posicionales. Piense en estas etiquetas como un sistema de direcciones simple que le dice a una computadora qué letra va primero, segundo y tercero en una línea. Si bien esto funciona bien para el texto recto y horizontal, falla cuando el texto se dobla o se retuerce, porque la computadora pierde el rastro de cómo las letras se relacionan entre sí en el espacio bidimensional.

Un investigador ha desarrollado una nueva forma de dar a las computadoras esta conciencia espacial, diseñada específicamente para el texto desordenado e irregular que se encuentra en el mundo real. Creó un método llamado Incrustación de Posición Rotatoria 2D (2D Rotary Position Embedding), que reemplaza el antiguo sistema de direcciones unidimensional con una forma dinámica de entender la posición. En lugar de solo contar pasos a lo largo de una sola línea, este nuevo enfoque permite que la computadora rote su comprensión del texto basándose tanto en la distancia vertical como en la horizontal entre las letras. Esto significa que la máquina puede reconocer que una letra está "junto a" otra incluso si la palabra está escrita en un círculo o vista desde un ángulo pronunciado. Probaron este sistema en seis conjuntos diferentes de imágenes estándar que contenían desde letreros curvos hasta vallas publicitarias con distorsión de perspectiva. Sus resultados mostraron que este nuevo método superó significativamente a las técnicas anteriores, particularmente cuando el texto era irregular. La mejora fue más dramática en las imágenes más desafiantes, donde el nuevo sistema identificó correctamente palabras que los modelos antiguos leyeron mal, todo ello sin añadir complejidad adicional o costo de memoria al cerebro de la computadora.

El núcleo de este avance reside en cómo la computadora procesa la imagen. Los métodos tradicionales suelen aplanar una imagen en una sola línea larga de datos, ignorando el hecho de que el texto existe en una superficie plana con altura y anchura. Cuando el texto está curvado o inclinado, este aplanamiento distorsiona la relación entre los caracteres, provocando que la computadora pierda su lugar. El nuevo método, sin embargo, trata la imagen como una verdadera cuadrícula bidimensional. Asigna una firma espacial única a cada parte de la imagen que cambia según la posición relativa de las letras. Si una letra está arriba y a la derecha de otra, el sistema comprende esta relación geométrica específica, independientemente de cómo se retuerza toda la palabra. Esta es una distinción crucial porque permite a la computadora seguir el flujo natural de la lectura, incluso cuando ese flujo no es una línea horizontal recta.

El investigador demostró el poder de este enfoque comparando su nuevo sistema directamente contra modelos más antiguos utilizando los mismos datos de entrenamiento y hardware. En un ejemplo impactante, un modelo que utilizaba el método antiguo observó un letrero curvo que decía "coffee" y lo leyó como "come", perdiendo las letras por completo porque la curva afectó su conteo lineal. El nuevo sistema, utilizando la rotación espacial 2D, leyó la palabra correctamente. Este no fue un incidente aislado. A través de miles de imágenes de prueba, el nuevo sistema resolvió consistentemente problemas donde los antiguos fallaron, especialmente en conjuntos de datos conocidos por sus difíciles distorsiones. En un conjunto de imágenes con texto curvo, el nuevo método mejoró la precisión casi cuatro puntos porcentuales sobre el mejor modelo anterior. En imágenes con distorsión de perspectiva, donde el texto parece retroceder en la distancia, mostró ganancias similares.

Lo que hace que este descubrimiento sea particularmente elegante es su simplicidad. El investigador no necesitó rediseñar toda la arquitectura de la computadora ni añadir millones de nuevos parámetros para que funcionara. El nuevo sistema posicional actúa como un módulo complementario que puede intercambiarse en el software de lectura existente. Requiere casi nada de memoria adicional, añadiendo solo dos números diminutos a la configuración del sistema para ajustar la forma del texto. Esta eficiencia sugiere que el cuello de botella en la lectura de texto irregular no era la falta de potencia de cómputo, sino un error en cómo la computadora aprendía a entender el espacio. Al corregir este malentendido específico de la geometría, el investigador desbloqueó un salto significativo en el rendimiento.

El estudio también incluyó un análisis detallado de por qué funciona el sistema, utilizando herramientas visuales para ver hacia dónde estaba "mirando" la computadora cuando leía el texto. Estas visualizaciones mostraron que el nuevo método permitía a la computadora concentrarse estrechamente en los trazos de las letras, siguiendo su trayectoria incluso cuando estaban arqueadas o inclinadas. En contraste, los modelos más antiguos tendían a distraerse con el fondo o a perder el rastro de la secuencia de letras cuando la geometría cambiaba. El investigador encontró que el sistema era más efectivo cuando asignaba más de su potencia de procesamiento a la dimensión vertical del texto, reflejando el hecho de que las líneas de texto suelen ser más anchas que altas. Este pequeño ajuste, adaptado a la forma natural de las palabras, resultó ser un factor clave en su éxito.

Si bien el nuevo método representa un paso significativo hacia adelante, el investigador reconoce que no es una solución perfecta para todas las formas posibles. El sistema está diseñado para manejar bien las relaciones horizontales y verticales, pero aún puede tener dificultades con el texto que es fuertemente diagonal o que está dispuesto en patrones complejos y no lineales. Sugieren que el trabajo futuro podría expandir esta idea para manejar ángulos aún más variados y potencialmente aplicarla al video, donde el texto se mueve a través del espacio tridimensional. Por ahora, sin embargo, los hallazgos ofrecen una mejora clara y práctica para las máquinas que necesitan leer el mundo tal como aparece en realidad, en lugar de como una línea simplificada y recta. Al enseñar a las computadoras a respetar la verdadera geometría del texto, esta investigación nos acerca a un futuro donde los sistemas digitales puedan leer cualquier letrero, cualquier etiqueta y cualquier nota, sin importar cómo estén escritos o dónde se encuentren.

Resumen Técnico: Posicionamiento Rotatorio 2D para el Reconocimiento de Texto en Escenas con Transformers

1. Planteamiento del Problema

El Reconocimiento de Texto en Escenas (STR, por sus siglas en inglés) enfrenta desafíos significativos debido a la diversidad de las apariencias del texto en imágenes naturales, incluyendo la curvatura, la rotación y la distorsión de perspectiva. Aunque los enfoques basados en Transformers se han vuelto dominantes en el STR debido a su capacidad para modelar dependencias de largo alcance mediante la autoatención, dependen fuertemente de los codificadores posicionales para superar la invariancia de permutación de los mecanismos de atención.

Los métodos de STR existentes emplean típicamente una de tres estrategias de codificación posicional:

Codificaciones Sinusoidales/Aprendibles 1D: Estas codifican la posición a lo largo de un único eje de secuencia, ignorando el diseño espacial 2D de las imágenes de texto.
Codificaciones Aditivas 2D: Estas se extienden a dos dimensiones mediante la concatenación o suma de embeddings de fila y columna. Sin embargo, tratan estas dimensiones como sesgos aditivos independientes, fallando al capturar eficazmente las relaciones espaciales relativas.

La limitación central de estos enfoques es que codifican las posiciones absolutas como desplazamientos aditivos. En consecuencia, los modelos tienen dificultades para razonar sobre las relaciones geométricas relativas entre caracteres, lo cual es crítico cuando el texto está curvado, rotado o deformado por la perspectiva. Además, los RoPE (Rotary Position Embeddings) 2D estándar diseñados para Vision Transformers asumen contenido de imagen isotrópico (cuadrado) y aplican la rotación solo dentro de la autoatención del codificador. Estas suposiciones no se cumplen en el STR, donde los recortes de texto son marcadamente anisotrópicos (más anchos que altos) y las arquitecturas son codificador-decodificador, requiriendo que el decodificador relacione las consultas con el diseño 2D del codificador mediante la atención cruzada.

2. Metodología: 2D-RoPE-STR

El artículo introduce 2D-RoPE-STR, un marco que adapta el posicionamiento rotatorio 2D axial a las restricciones específicas del reconocimiento de texto en escenas. La metodología consta de tres componentes primarios:

A. Asignación de Dimensiones Anisotrópicas
A diferencia de las formulaciones de visión estándar que dividen las dimensiones rotatorias equitativamente entre los ejes de fila y columna, 2D-RoPE-STR asigna las dimensiones de acuerdo con la relación de aspecto del texto. Dado que las imágenes de texto suelen ser más anchas que altas, el método asigna una parte mayor de las dimensiones de codificación al eje de la fila (que abarca la secuencia de caracteres) y una parte menor al eje de la columna. Esto se logra definiendo bases de frecuencia $\theta_h$ y $\theta_w$ para las posiciones de fila y columna, potencialmente escaladas por factores aprendibles $\beta_h$ y $\beta_w$ para adaptarse a las estadísticas espaciales específicas del texto.

B. Extensión a la Atención Cruzada Codificador-Decodificador
Las formulaciones de 2D-RoPE estándar aplican la rotación solo dentro de la autoatención del codificador. 2D-RoPE-STR extiende este acoplamiento rotatorio al mecanismo de atención cruzada del decodificador. En esta configuración:

Autoatención del Codificador: Tanto las consultas como las claves son rotadas basadas en sus coordenadas espaciales 2D $(h, w)$ .
Atención Cruzada del Decodificador: Las consultas del decodificador (que carecen de posiciones espaciales 2D) atienden a las claves del codificador que han sido rotadas por su diseño espacial 2D. Esto permite que los pasos de decodificación autorregresiva se relacionen con los tokens del codificador basándose en su desplazamiento 2D relativo, en lugar de solo en su orden secuencial.

C. Formulación Matemática
Para un token en la posición $(h, w)$ , el vector de características se particiona en componentes de fila ( $x_h$ ) y columna ( $x_w$ ). La operación 2D-RoPE aplica rotaciones independientes a cada mitad:
$2D\text{-}RoPE(x, h, w) = [R_{h, \theta_h} x_h; R_{w, \theta_w} x_w]$
El Teorema 1 en el artículo demuestra que la puntuación de atención resultante entre una consulta en $(h_q, w_q)$ y una clave en $(h_k, w_k)$ depende únicamente del desplazamiento relativo $(\Delta h, \Delta w)$ , preservando la propiedad de posición relativa esencial para modelar el orden de lectura en diseños distorsionados.

D. Integración de la Arquitectura
El módulo propuesto es "plug-and-play" (conectar y usar). Reemplaza el módulo de codificación posicional en cualquier sistema STR basado en Transformers sin requerir un rediseño arquitectónico del backbone o del decodificador. La implementación utiliza un backbone ResNet-50 para extraer mapas de características 2D, que se aplanan y procesan por un codificador Transformer equipado con 2D-RoPE, seguido de un decodificador autorregresivo estándar.

3. Contribuciones Clave

El autor identifica cuatro contribuciones principales:

Adaptación de 2D-RoPE al STR: La primera adaptación de 2D-RoPE axial al entorno anisotrópico de codificador-decodificador del reconocimiento de texto en escenas, que presenta una división de dimensiones ajustada a la relación de aspecto del texto y una extensión del acoplamiento rotatorio hacia la atención cruzada del decodificador.
Módulo Plug-and-Play: Un diseño que puede reemplazar los codificadores posicionales en sistemas STR basados en Transformers existentes con una modificación mínima y esencialmente un costo de parámetros cero (añadiendo solo dos escalares de escala aprendibles).
Evaluación Exhaustiva: Experimentos realizados en seis benchmarks estándar (IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80 y SVTP) con ablaciones controladas que aíslan el efecto de la codificación posicional.
Protocolo de Diagnóstico: Un marco de evaluación novedoso que incluye un par de ablación controlada, un análisis de desacuerdo de victoria neta a nivel de imagen y una visualización de la atención del codificador para determinar dónde y por qué el posicionamiento relativo 2D mejora el rendimiento.

4. Resultados Experimentales

El modelo fue evaluado en seis benchmarks, logrando una precisión promedio de palabra de estado del arte del 90.4%, superando al mejor método anterior (MATRN, 89.5%).

Rendimiento en Texto Irregular: Las ganancias se concentraron más en los conjuntos de datos con diseños irregulares. Específicamente, 2D-RoPE-STR mostró una mejora de +3.8% sobre MATRN en el conjunto de datos de texto curvo (CUTE80) y una mejora de +1.5% en el conjunto de datos con distorsión de perspectiva (SVTP).
Estudios de Ablación:
- Tipo de Codificación: 2D-RoPE superó a las codificaciones sinusoidales 1D, aprendibles 1D, 2D sinusoidales y 2D aprendibles.
- División de Dimensiones: Una división "pesada en filas" (384:128 para $d=512$ ) produjo mejores resultados que una división igual, confirmando el beneficio de ajustar las dimensiones a las relaciones de aspecto del texto.
- Atención Cruzada: Aplicar 2D-RoPE a las claves del codificador en la atención cruzada del decodificador proporcionó una mejora de rendimiento medible sobre el uso de 1D RoPE o la ausencia de codificación posicional en ese mecanismo específico.
Análisis Cualitativo: Las visualizaciones de la autoatención del codificador mostraron que 2D-RoPE permite al modelo enfocarse estrechamente en los trazos de los caracteres y seguir el diseño 2D de textos curvos o inclinados, mientras que las líneas base 1D a menudo fallan en mantener el orden de lectura correcto en estos escenarios. El análisis de desacuerdo confirmó que 2D-RoPE lee correctamente las imágenes que las líneas base 1D pierden, particularmente en los conjuntos de datos IC15 y SVTP.

5. Significado y Reivindicaciones

El artículo afirma que 2D-RoPE-STR aborda una brecha crítica en el STR basado en Transformers: la incapacidad de los codificadores posicionales estándar para modelar las relaciones geométricas relativas 2D necesarias para leer texto distorsionado. Al rotar las consultas y las claves basándose en los desplazamientos relativos de fila y columna, el modelo puede razonar inherentemente sobre el orden de lectura incluso cuando el texto no es una línea horizontal recta.

El autor enfatiza que estas mejoras se logran con esencialmente ningún costo de parámetros, ya que el método se basa en la rotación en lugar de tablas de embeddings aprendidas. El trabajo sugiere que los beneficios del posicionamiento relativo 2D son más pronunciados cuando el diseño del texto se desvía de los supuestos estándar (curvo, rotado, distorsión de perspectiva).

Limitaciones Reconocidas:
El autor señala que su formulación es axial, lo que significa que concentra las relaciones codificadas a lo largo de las direcciones horizontales y verticales. Esto puede ser menos expresivo para arreglos oblicuos o diagonales encontrados en textos muy inclinados. Sugieren que los esquemas rotatorios multidireccionales y las extensiones a 3D para el reconocimiento de texto en video son direcciones futuras naturales. Además, la división igual de dimensiones (o la división específica pesada en filas utilizada) puede no ser óptima para todas las relaciones de aspecto posibles.