📄 other

MRT: A Mamba-based Framework with Reusable Transformer for Scene Text Recognition

El artículo propone MRT, un marco de reconocimiento de texto en escenas que combina Mamba mejorado con Atención de Vecindad para una agregación espacial local eficiente con un Transformer Reutilizable de pesos compartidos para un contexto global bidireccional, logrando compensaciones de precisión-eficiencia superiores en múltiples evaluaciones de referencia.

Autores originales: Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Publicado 2026-07-24

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a leer una nota manuscrita y desordenada encontrada en una calle lluviosa. La nota podría estar arrugada, las letras podrían estar estiradas, o el fondo podría ser un caos borroso de letreros de neón. Este es el mundo del Reconocimiento de Texto en Escenas (STR). Es una rama específica de la informática donde las máquinas aprenden a convertir imágenes de texto en palabras digitales. Para hacer esto, el robot necesita dos superpoderes: debe acercarse para ver los detalles diminutos y finos de cada letra (como la curva de una 'S' o el punto de una 'i'), y debe alejarse para entender la oración completa, usando el contexto para adivinar una palabra borrosa.

Durante mucho tiempo, los robots usaron dos herramientas principales para este trabajo. La primera era como un par de lupas (llamadas Redes Neuronales Convolucionales o CNN), que eran excelentes para ver detalles locales pero tenían dificultades para conectar los puntos a lo largo de una oración larga. La segunda herramienta era como un bibliotecario súper organizado (llamado Transformer). Este bibliotecario podía leer todo el libro a la vez para entender el contexto, pero era tan lento y consumía tanta memoria que a menudo fallaba cuando el "libro" (la imagen) se volvía demasiado largo. Recientemente, llegó una nueva herramienta llamada Mamba. Es como un lector súper rápido y eficiente que puede escanear un libro largo en tiempo lineal, pero tiene un defecto: lee estrictamente de izquierda a derecha, palabra por palabra, y no es muy bueno viendo la forma 2D de las letras en una página.

Este artículo presenta un nuevo marco llamado MRT (marco basado en Mamba con Transformer Reutilizable) para solucionar los defectos de Mamba. Los autores, de la Universidad de Información de Ciencia y Tecnología de Nanjing, se dieron cuenta de que, aunque Mamba es rápido, su estilo de lectura de "solo de izquierda a derecha" y su falta de conciencia espacial 2D lo hacen torpe al reconocer texto distorsionado o irregular. No solo hicieron un pequeño ajuste a Mamba; le dieron un cambio de imagen. Primero, añadieron un sistema de "vigilancia vecinal" (Atención de Vecindad) que permite al modelo mirar los alrededores inmediatos de una letra en todas las direcciones, no solo hacia el pasado. Segundo, introdujeron un "Transformer Reutilizable", un módulo inteligente que actúa como una segunda opinión, revisando el trabajo del modelo en diferentes etapas. ¿La parte ingeniosa? Utilizan el mismo módulo Transformer dos veces, compartiendo su capacidad cerebral para ahorrar espacio.

Los resultados son impresionantes. El equipo probó sus nuevos modelos MRT en seis conjuntos de datos estándar de reconocimiento de texto y en un benchmark masivo y desafiante llamado Union-14M. Encontraron que su modelo "Base" (MRT-B) logró una precisión promedio del 96.96%, superando o igualando a modelos mucho más grandes y antiguos. Aún más sorprendente es su modelo "Tiny" (MRT-T). Con solo 4.72 millones de parámetros (un tamaño muy pequeño para una IA), aun así alcanzó un 95.06% de precisión promedio. El artículo sugiere que, al combinar la velocidad de Mamba con estas mejoras espaciales y reutilizables específicas, podemos construir sistemas de reconocimiento de texto que sean tanto altamente precisos como increíblemente eficientes, evitando la necesidad de computadoras masivas que consumen mucha energía. Los autores sugieren que este enfoque ofrece un fuerte equilibrio entre velocidad e inteligencia, demostrando que no necesitas un cerebro gigante para leer un letrero de calle desordenado si tienes las herramientas adecuadas.

Resumen Técnico: MRT – Un marco basado en Mamba con Transformer Reutilizable para el Reconocimiento de Texto en Escenas

1. Planteamiento del Problema

El Reconocimiento de Texto en Escenas (STR, por sus siglas en inglés) requiere que los modelos resuelvan simultáneamente dos desafíos conflictivos: preservar los detalles locales finos (estructuras de trazos de caracteres y límites) y capturar dependencias semánticas globales de largo alcance para desambiguar texto distorsionado u oculto.

Mientras que las Redes Neuronales Convolucionales (CNN) sobresalen en la extracción de características locales, sus campos receptivos limitados tienen dificultades con las dependencias de largo alcance. Por el contrario, los Vision Transformers (ViT) capturan el contexto global mediante la autoatención, pero sufren de una complejidad computacional cuadrática, lo que genera un alto consumo de memoria y latencia de inferencia. Recientemente, los Modelos de Espacio de Estados (SSM), específicamente Mamba, han surgido como alternativas eficientes con complejidad de tiempo lineal. Sin embargo, los autores identifican un desajuste estructural crítico al aplicar Mamba vanilla al STR:

Escaneo Causal: El escaneo secuencial y causal de Mamba es unidireccional, lo que impide capturar la naturaleza bidireccional del lenguaje y la localidad espacial 2D de las características visuales del texto.
Falta de Localidad Espacial: La formulación original está centrada en la secuencia y no codifica explícitamente la localidad espacial 2D esencial para reconocer glifos de caracteres finos.

Estas limitaciones resultan en una extracción ineficaz de características locales y un modelado de contexto global subóptimo, desacoplando las ganancias de eficiencia de la precisión del reconocimiento.

2. Metodología

Los autores proponen MRT (Mamba-based framework with Reusable Transformer), una arquitectura jerárquica diseñada para reconciliar la eficiencia de Mamba con las demandas específicas del STR. El marco consta de tres componentes principales:

A. NA-Mamba (Neighborhood Attention Mamba)

Para abordar el desajuste estructural de la Mamba vanilla, los autores introducen NA-Mamba, que modifica la vía del SSM de dos maneras:

Eliminación de la Causalidad: La convolución 1D causal original se reemplaza con una convolución 1D estándar (no causal). Esto permite que el token actual acceda tanto al contexto local precedente como al sucesor, permitiendo interacciones locales bidireccionales cruciales para resolver ambigüedades de caracteres.
Rama de Atención de Vecindad (NA) Paralela: Se añade una rama paralela junto a la vía del SSM. Esta rama realiza una agregación adaptativa al contenido dentro de una ventana de vecindad local ( $\Omega(i)$ ) en lugar de atender globalmente. Esto fortalece explícitamente el modelado de la estructura de texto de grano fino con un costo computacional menor que la autoatención global, lo cual es particularmente beneficioso para diseños irregulares y distorsiones de perspectiva.
Fusión: Las salidas de las ramas SSM y NA se proyectan para igualar las dimensiones, se fusionan mediante adición elemento a elemento y pasan a través de una conexión residual.

B. Transformer Reutilizable

Para compensar la falta de contexto global bidireccional de Mamba, los autores incorporan un módulo de Transformer Reutilizable.

Ubicación: Este módulo se aplica después de la segunda y tercera etapa de la jerarquía de extracción de características.
Compartición de Parámetros: Se reutiliza un único codificador Transformer (parametrizado por $\theta$ ) a través de estas etapas. En lugar de utilizar bloques Transformer independientes para cada etapa, se aplican los mismos pesos a las características de diferentes etapas.
Arquitectura: El Transformer sigue un paradigma de codificador estándar pero reemplaza la conexión residual estándar tras la autoatención con un bloque de Squeeze-and-Excitation (SE) para la recalibración de canales.
Beneficios: Este diseño reduce drásticamente la sobrecarga de parámetros mientras impone consistencia en las interacciones de características globales y acelera la convergencia del entrenamiento.

C. Arquitectura General

MRT adopta un diseño jerárquico de tres etapas:

Patch Embedding: Convierte las imágenes de entrada en tokens visuales alineados espacialmente.
Extracción de Características: Tres etapas, cada una con un módulo de submuestreo (MBConv) y múltiples capas NA-Mamba.
Refinamiento: Los bloques de Transformer Reutilizable se insertan después de las etapas 2 y 3.
Decodificación: Las características refinadas se comprimen y se alimentan a un decodificador Transformer con atención de doble flujo pre-normalizado para generar la secuencia de predicción.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

Adaptación de Mamba para STR: La propuesta de NA-Mamba, que integra convoluciones estándar y una rama de Atención de Vecindad paralela para abordar las deficiencias de Mamba en la extracción de características locales y el escaneo unidireccional.
Diseño de Transformer Reutilizable: La introducción de una estrategia de compartición de parámetros donde un único codificador Transformer se reutiliza en múltiples etapas. Esto fortalece el modelado de dependencias globales mientras reduce significativamente el recuento de parámetros y acelera la convergencia.
El Marco MRT: Un backbone completo que difiere de los paradigmas de submuestreo progresivo para preservar las escalas de características alineadas con el módulo reutilizable. Sirve como una alternativa viable a los ViT y CNN, logrando un rendimiento competitivo con sustancialmente menos parámetros.

4. Resultados Experimentales

Los autores evaluaron MRT en seis bancos de pruebas estándar (IIIT5K, SVT, IC13, IC15, SVTP, CUTE80) y el banco de pruebas a gran escala Union-14M.

Desempeño vs. Eficiencia:
- MRT-B (Base): Logra un 96.96% de precisión promedio en los bancos de pruebas estándar, superando a modelos de tamaño comparable o mayor (ej. SVTRv2, SMRT) manteniendo una huella de parámetros similar o menor (23.48M).
- MRT-T (Tiny): Una variante ligera con solo 4.72M de parámetros logra un 95.06% de precisión promedio, superando o igualando a varios métodos recientes con capacidades significativamente mayores.
Benchmark Union-14M: MRT-B logra un 84.76% de precisión promedio, superando o igualando a modelos más grandes como ABINet y LISTER, particularmente en subconjuntos desafiantes como texto Artístico, Saliente y Multiorientado.
Estudios de Ablación:
- NA-Mamba: Reemplazar las convoluciones causales y añadir la rama NA mejoró la precisión promedio en un 0.5%, con ganancias significativas (hasta un 1.7%) en conjuntos de datos de texto irregular (ej. SVTP).
- Transformer Reutilizable: La introducción del Transformer mejoró la precisión en aproximadamente un 2% sobre la línea base. La compartición de parámetros (Reutilización) logró casi la misma precisión que los Transformers no compartidos (0.22% de diferencia) pero con una reducción del 17.8% en el tamaño del modelo.
- Convergencia: La configuración de Reutilización demostró una reducción de pérdida más rápida y una convergencia más veloz durante la fase temprana del entrenamiento en comparación con las configuraciones no compartidas.

5. Significado y Reivindicaciones

El artículo afirma que MRT demuestra que las arquitecturas basadas en Mamba pueden servir como backbones competitivos y eficientes para STR cuando están equipadas con un modelado espacial apropiado para la tarea y un refinamiento global ligero.

Equilibrio: El marco aborda con éxito la tensión inherente entre la precisión localizada y el razonamiento contextual holístico, logrando un fuerte equilibrio entre precisión y eficiencia.
Eficiencia: Al evitar la sobreparametrización mediante el Transformer Reutilizable y optimizar el modelado local mediante NA-Mamba, MRT facilita una optimización más eficiente y es adecuado para escenarios con recursos limitados.
Dirección Futura: Los autores señalan que, si bien MRT mejora las limitaciones del escaneo secuencial, el trabajo futuro apunta a explorar modelos de espacio de estados inherentemente espaciales para superar aún más las limitaciones del procesamiento de texto visual con modelos secuenciales.

El trabajo se posiciona no como un reemplazo para todos los métodos de STR existentes, sino como una alternativa altamente eficiente que rivaliza con el rendimiento del estado del arte con un recuento de parámetros significativamente reducido.