📄 other

MRT: A Mamba-based Framework with Reusable Transformer for Scene Text Recognition

L'article propose MRT, un cadre de reconnaissance de texte dans les scènes qui combine un Mamba amélioré par l'Attention de Voisinage pour une agrégation spatiale locale efficace avec un Transformer Réutilisable à partage de poids pour un contexte global bidirectionnel, atteignant des compromis précision-efficacité supérieurs sur de multiples bancs d'essai.

Auteurs originaux : Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Publié 2026-07-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yingnan Zhao, Dewen Zhang, Zuguo Yang, Jielin Jang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à lire une note manuscrite et désordonnée trouvée dans une rue sous la pluie. La note pourrait être froissée, les lettres pourraient être étirées, ou l'arrière-plan pourrait être un flou chaotique de néons. C'est le monde de la Reconnaissance de Texte en Scène (STR). Il s'agit d'une branche spécifique de l'informatique où les machines apprennent à transformer des images de texte en mots numériques. Pour y parvenir, le robot doit posséder deux superpouvoirs : il doit zoomer pour voir les détails infimes de chaque lettre (comme la courbe d'un « S » ou le point sur un « i »), et il doit dézoomer pour comprendre la phrase entière, en utilisant le contexte pour deviner un mot flou.

Pendant longtemps, les robots ont utilisé deux outils principaux pour cette tâche. Le premier était comme une paire de loupes (appelées Réseaux de Neurones Convolutifs ou CNN). Ils étaient excellents pour voir les détails locaux mais peinaient à relier les points sur une longue phrase. Le second outil était comme un bibliothécaire super organisé (appelé Transformer). Ce bibliothécaire pouvait lire tout le livre d'un coup pour comprendre le contexte, mais il était si lent et gourmand en mémoire qu'il plantait souvent lorsque le « livre » (l'image) devenait trop long. Récemment, un nouvel outil nommé Mamba est arrivé. C'est comme un lecteur super rapide et efficace qui peut parcourir un long livre en un temps linéaire, mais il a une particularité : il lit strictement de gauche à droite, un mot à la fois, et n'est pas très doué pour percevoir la forme 2D des lettres sur une page.

Ce document présente un nouveau cadre appelé MRT (cadre basé sur Mamba avec un Transformer réutilisable) pour corriger les défauts de Mamba. Les auteurs, de l'Université de l'Information et des Sciences et Technologies de Nanjing, ont réalisé que si Mamba est rapide, son style de lecture « uniquement de gauche à droite » et son manque de conscience spatiale 2D le rendent maladroit pour reconnaître du texte déformé ou irrégulier. Ils n'ont pas seulement peaufiné Mamba ; ils lui ont offert une cure de rajeunissement. D'abord, ils ont ajouté un système de « surveillance de quartier » (Attention de Voisinage) qui permet au modèle de regarder les environs immédiats d'une lettre dans toutes les directions, pas seulement vers le passé. Deuxièmement, ils ont introduit un « Transformer Réutilisable », un module intelligent qui agit comme un second avis, vérifiant le travail du modèle à différentes étapes. L'aspect ingénieux ? Ils utilisent le même module Transformer deux fois, partageant sa puissance cérébrale pour économiser de l'espace.

Les résultats sont impressionnants. L'équipe a testé ses nouveaux modèles MRT sur six ensembles de données de reconnaissance de texte standards et sur un benchmark massif et exigeant appelé Union-14M. Ils ont constaté que leur modèle « Base » (MRT-B) a atteint une précision moyenne de 96,96 %, battant ou égalant des modèles beaucoup plus grands et plus anciens. Plus frappant encore est leur modèle « Tiny » (MRT-T). Avec seulement 4,72 millions de paramètres (une taille très petite pour une IA), il a tout de même atteint une précision moyenne de 95,06 %. Le papier suggère qu'en combinant la vitesse de Mamba avec ces améliorations spatiales et réutilisables spécifiques, nous pouvons construire des systèmes de reconnaissance de texte qui soient à la fois hautement précis et incroyablement efficaces, évitant ainsi le besoin d'ordinateurs massifs et énergivores. Les auteurs suggèrent que cette approche offre un équilibre solide entre vitesse et intelligence, prouvant qu'on n'a pas besoin d'un cerveau géant pour lire un panneau de signalisation désordonné si l'on possède les bons outils.

Résumé Technique : MRT – Un cadre basé sur Mamba avec Transformer réutilisable pour la reconnaissance de texte en scène

1. Énoncé du problème

La reconnaissance de texte en scène (Scene Text Recognition - STR) exige que les modèles résolvent simultanément deux défis conflictuels : préserver les détails locaux fins (structures de traits et limites de caractères) et capturer les dépendances sémantiques globales à longue portée pour lever les ambiguïtés liées aux textes déformés ou occultés.

Si les réseaux de neurones convolutifs (CNN) excellent dans l'extraction de caractéristiques locales, leurs champs récepteurs limités peinent à capturer les dépendances à longue portée. À l'inverse, les Vision Transformers (ViT) capturent le contexte global via l'auto-attention, mais souffrent d'une complexité computationnelle quadratique, entraînant une consommation de mémoire élevée et une latence d'inférence importante. Récemment, les modèles d'espace d'état (State Space Models - SSM), et plus particulièrement Mamba, sont apparus comme des alternatives efficaces avec une complexité temporelle linéaire. Cependant, les auteurs identifient un décalage structurel critique lors de l'application du Mamba classique à la STR :

Balayage causal : Le balayage séquentiel et causal de Mamba est unidirectionnel, échouant à capturer la nature bidirectionnelle du langage et la localité spatiale 2D des caractéristiques visuelles du texte.
Manque de localité spatiale : La formulation originale est centrée sur la séquence et n'encode pas explicitement la localité spatiale 2D, essentielle pour la reconnaissance de glyphes de caractères précis.

Ces limitations entraînent une extraction inefficace des caractéristiques locales et une modélisation sous-optimale du contexte global, déconnectant les gains d'efficacité de la précision de reconnaissance.

2. Méthodologie

Les auteurs proposent MRT (Mamba-based framework with Reusable Transformer), une architecture hiérarchique conçue pour concilier l'efficacité de Mamba avec les exigences spécifiques de la STR. Le cadre se compose de trois composants principaux :

A. NA-Mamba (Neighborhood Attention Mamba)

Pour remédier au décalage structurel du Mamba classique, les auteurs introduisent le NA-Mamba, qui modifie la voie SSM de deux manières :

Suppression de la causalité : La convolution 1D causale originale est remplacée par une convolution 1D standard (non causale). Cela permet au jeton actuel d'accéder aux contextes locaux précédents et suivants, permettant des interactions locales bidirectionnelles cruciales pour résoudre les ambiguïtés de caractères.
Branche parallèle d'Attention de Voisinage (NA) : Une branche parallèle est ajoutée parallèlement à la voie SSM. Cette branche effectue une agrégation adaptative au contenu au sein d'une fenêtre de voisinage local ( $\Omega(i)$ ) plutôt que de porter attention globalement. Cela renforce explicitement la modélisation de la structure fine du texte à un coût computationnel inférieur à l'auto-attention globale, ce qui est particulièrement bénéfique pour les mises en page irrégulières et les distorsions de perspective.
Fusion : Les sorties des branches SSM et NA sont projetées pour correspondre aux dimensions, fusionnées via une addition élément par élément, et transmises par une connexion résiduelle.

B. Transformer Réutilisable

Pour compenser l'absence de contexte global bidirectionnel de Mamba, les auteurs incorporent un module Transformer Réutilisable.

Placement : Ce module est appliqué après la deuxième et la troisième étape de la hiérarchie d'extraction de caractéristiques.
Partage de paramètres : Un encodeur Transformer unique (paramétré par $\theta$ ) est réutilisé à travers ces étapes. Au lieu d'utiliser des blocs Transformer indépendants pour chaque étape, les mêmes poids sont appliqués aux caractéristiques de différentes étapes.
Architecture : Le Transformer suit un paradigme d'encodeur standard mais remplace la connexion résiduelle standard après l'auto-attention par un bloc Squeeze-and-Excitation (SE) pour le recalibrage des canaux de caractéristiques.
Avantages : Cette conception réduit considérablement la surcharge de paramètres tout en imposant une cohérence dans les interactions de caractéristiques globales et en accélérant la convergence de l'entraînement.

C. Architecture Globale

MRT adopte une conception hiérarchique en trois étapes :

Patch Embedding : Convertit les images d'entrée en jetons visuels alignés spatialement.
Extraction de caractéristiques : Trois étapes, chacune contenant un module de sous-échantillonnage (MBConv) et plusieurs couches NA-Mamba.
Raffinement : Des blocs Transformer réutilisables sont insérés après les étapes 2 et 3.
Décodage : Les caractéristiques raffinées sont compressées et injectées dans un décodeur Transformer pré-normalisé avec une attention à double flux pour générer la séquence de prédiction.

3. Contributions Clés

L'article expose trois contributions principales :

Adaptation sur mesure de Mamba pour la STR : La proposition de NA-Mamba, qui intègre des convolutions standards et une branche d'Attention de Voisinage parallèle pour traiter les lacunes de Mamba en matière d'extraction de caractéristiques locales et de balayage unidirectionnel.
Conception du Transformer Réutilisable : L'introduction d'une stratégie de partage de paramètres où un encodeur Transformer unique est réutilisé à plusieurs étapes. Cela renforce la modélisation des dépendances globales tout en réduisant considérablement le nombre de paramètres et en accélérant la convergence.
Le Cadre MRT : Un backbone complet qui s'écarte des paradigmes de sous-échantillonnage progressif pour préserver les échelles de caractéristiques alignées avec le module réutilisable. Il sert d'alternative viable aux ViT et aux CNN, atteignant des performances compétitives avec nettement moins de paramètres.

4. Résultats Expérimentaux

Les auteurs ont évalué MRT sur six benchmarks standards (IIIT5K, SVT, IC13, IC15, SVTP) et sur le benchmark à grande échelle Union-14M.

Performance vs Efficacité :
- MRT-B (Base) : Atteint une précision moyenne de 96,96 % sur les benchmarks standards, surpassant des modèles de taille comparable ou plus grands (ex: SVTRv2, SMRT) tout en maintenant une empreinte de paramètres similaire ou plus petite (23,48M).
- MRT-T (Tiny) : Une variante légère de seulement 4,72M de paramètres atteint une précision moyenne de 95,06 %, surpassant ou égalant plusieurs méthodes récentes dotées de capacités nettement plus grandes.
Benchmark Union-14M : MRT-B atteint 84,76 % de précision moyenne, surpassant ou égalant des modèles plus grands comme ABINet et LISTER, particulièrement sur les sous-ensembles difficiles tels que l'Artistique, le Salient et le Texte Multi-Orienté.
Études d'Ablation :
- NA-Mamba : Le remplacement des convolutions causales et l'ajout de la branche NA ont amélioré la précision moyenne de 0,5 %, avec des gains significatifs (jusqu'à 1,7 %) sur les jeux de données de texte irrégulier (ex: SVTP).
- Transformer Réutilisable : L'introduction du Transformer a amélioré la précision d'environ 2 % par rapport au modèle de base. Le partage de paramètres (Reuse) a atteint une précision presque identique aux Transformers non partagés (différence de 0,22 %) mais avec une réduction de 17,8 % de la taille du modèle.
- Convergence : La configuration "Reuse" a démontré une réduction de perte plus rapide et une convergence plus rapide durant la phase initiale d'entraînement par rapport aux configurations non partagées.

5. Signification et Revendications

L'article affirme que les architectures basées sur Mamba peuvent servir de backbones compétitifs et efficaces pour la STR lorsqu'elles sont équipées d'une modélisation spatiale appropriée à la tâche et d'un raffinement global léger.

Équilibre : Le cadre répond avec succès à la tension inhérente entre la précision localisée et le raisonnement contextuel holistique, atteignant un compromis précision-efficacité robuste.
Efficacité : En évitant la sur-paramétrisation grâce au Transformer Réutilisable et en optimisant la modélisation locale via NA-Mamba, MRT facilite une optimisation plus efficace et est adapté aux scénarios à ressources limitées.
Direction Future : Les auteurs notent que bien que MRT améliore les limitations du balayage séquentiel, les travaux futurs visent à explorer des modèles d'espace d'état intrinsèquement spatiaux pour surmonter davantage les limites du traitement du texte visuel avec des modèles séquentiels.

Le travail se positionne non pas comme un remplacement de toutes les méthodes de STR existantes, mais comme une alternative hautement efficace qui rivalise avec les performances de l'état de l'art avec un nombre de paramètres nettement réduit.