Technische Samenvatting: MRT – Een Mamba-gebaseerd Framework met een Herbruikbare Transformer voor Scène-tekstherkenning

1. Probleemstelling

Scène-tekstherkenning (Scene Text Recognition, STR) vereist dat modellen gelijktijdig twee conflicterende uitdagingen oplossen: het behouden van fijnmazige lokale details (de structuur van karakters en grenzen) en het vastleggen van langetermijn globale semantische afhankelijkheden om vervormde of geblokkeerde tekst te ontwarren.

Terwijl Convolutionele Neurale Netwerken (CNN's) uitblinken in lokale kenmerkextractie, worstelen hun beperkte receptieve velden met langetermijn afhankelijkheden. Vision Transformers (ViT's) leggen daarentegen globale context vast via self-attention, maar lijden onder kwadratische computationele complexiteit, wat leidt tot hoog geheugengebruik en inferentielatentie. Recentelijk zijn State Space Models (SSM's), specifiek Mamba, opgekomen als efficiënte alternatieven met lineaire tijdscomplexiteit. De auteurs identificeren echter een kritieke structurele mismatch bij het toepassen van vanilla Mamba op STR:

1. Causale Scanning: Mamba's sequentiële, causale scanning is unidirectioneel, waardoor het de bidirectionele aard van taal en de 2D ruimtelijke lokaliteit van visuele tekstkenmerken niet kan vastleggen.
2. Gebrek aan Ruimtelijke Lokaliteit: De oorspronkelijke formulering is sequentie-gecentreerd en codeert niet expliciet de 2D ruimtelijke lokaliteit die essentieel is voor het herkennen van fijnmazige karakterglyph-structuren.

Deze beperkingen resulteren in ineffectieve lokale kenmerkextractie en suboptimale globale contextmodellering, waardoor de winst in efficiëntie ontkoppeld raakt van de herkenningsnauwkeurigheid.

2. Methodologie

De auteurs stellen MRT (Mamba-based framework with Reusable Transformer) voor, een hiërarchische architectuur die is ontworpen om de efficiëntie van Mamba te verzoenen met de specifieke eisen van STR. Het framework bestaat uit drie hoofdonderdelen:

A. NA-Mamba (Neighborhood Attention Mamba)

Om de structurele mismatch van vanilla Mamba aan te pakken, introduceren de auteurs NA-Mamba, die het SSM-pad op twee manieren wijzigt:

• Verwijdering van Causaliteit: De oorspronkelijke causale 1D-convolutie wordt vervangen door een standaard (niet-causale) 1D-convolutie. Dit stelt de huidige token in staat om zowel voorgaande als volgende lokale contexten te benaderen, wat bidirectionele lokale interacties mogelijk maakt die cruciaal zijn voor het oplossen van karakterambiguïteit.
• Parallelle Neighborhood Attention (NA) Branch: Er wordt een parallelle tak toegevoegd naast het SSM-pad. Deze tak voert content-adaptieve aggregatie uit binnen een lokaal buurtvenster ($\Omega(i)$) in plaats van globaal te attenderen. Dit versterkt expliciet de modellering van fijnmazige tekststructuren tegen lagere computationele kosten dan globale self-attention, wat bijzonder gunstig is voor onregelmatige lay-outs en perspectivische distorties.
• Fusie: De outputs van de SSM- en NA-branches worden geprojecteerd om dimensies te laten overeenkomen, gefuseerd via elementgewijze optelling en door een residuale verbinding geleid.

B. Reusable Transformer

Om het gebrek aan bidirectionele globale context in Mamba te compenseren, voegen de auteurs een Reusable Transformer module toe.

• Plaatsing: Deze module wordt toegepast na de tweede en derde fase van de hiërarchie van kenmerkextractie.
• Parameterdeling: Een enkele Transformer-encoder (geparameteriseerd door $\theta$) wordt hergebruikt over deze fasen. In plaats van onafhankelijke Transformer-blokken voor elke fase te gebruiken, worden dezelfde gewichten toegepast op kenmerken uit verschillende fasen.
• Architectie: De Transformer volgt een standaard encoder-paradigma, maar vervangt de standaard residuale verbinding na self-attention door een Squeeze-and-Excitation (SE) blok voor kanaalwijze kenmerkrecalibratie.
• Voordelen: Dit ontwerp vermindert de parameteroverhead drastisch, terwijl het consistentie in globale kenmerkinteracties afdwingt en de training versnelt.

C. Algehele Architectuur

MRT hanteert een driefasig hiërarchisch ontwerp:

1. Patch Embedding: Zet invoerbeelden om in ruimtelijk uitgelijnde visuele tokens.
2. Kenmerkextractie: Drie fasen, elk bestaande uit een downsampling-module (MBConv) en meerdere NA-Mamba-lagen.
3. Verfijning: Reusable Transformer-blokken worden geïnsereerd na fase 2 en 3.
4. Decoding: Verfijnde kenmerken worden gecomprimeerd en gevoed aan een pre-genormaliseerde Transformer-decoder met dual-stream attention om de voorspellingssequentie te genereren.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Op maat gemaakte adaptatie van Mamba voor STR: De voorstel van NA-Mamba, die standaard convoluties en een parallelle Neighborhood Attention-tak integreert om de tekortkomingen van Mamba in lokale kenmerkextractie en unidirectionele scanning aan te pakken.
2. Ontwerp van de Reusable Transformer: De introductie van een strategie voor parameterdeling waarbij een enkele Transformer-encoder wordt hergebruikt bij meerdere fasen. Dit versterkt de modellering van globale afhankelijkheden terwijl het aantal parameters aanzienlijk wordt verminderd.
3. Het MRT-framework: Een volledige backbone die afwijkt van progressieve downsampling-paradigma's om kenmerkschalen te behouden die in lijn zijn met de herbruikbare module. Het dient als een levensvatbaar alternatief voor ViT's en CNN's, waarbij competitieve prestaties worden behaald met aanzienlijk minder parameters.

4. Experimentele Resultaten

De auteurs hebben MRT geëvalueerd op zes standaard benchmarks (IIIT5K, SVT, IC13, IC15, SVTP, CUTE80) en de grootschalige Union-14M benchmark.

• Prestaties vs. Efficiëntie:
  • MRT-B (Base): Behaalt 96,96% gemiddelde nauwkeurigheid op standaard benchmarks, waarmee het vergelijkbare of grotere modellen (zoals SVTRv2, SMRT) overtreft terwijl het een vergelijkbare of kleinere parameterfootprint (23,48M) behoudt.
  • MRT-T (Tiny): Een lichtgewicht variant met slechts 4,72M parameters behaalt 95,06% gemiddelde nauwkeurigheid, waarmee het recente methoden met veel grotere capaciteiten evenaart of overtreft.
• Union-14M Benchmark: MRT-B behaalt 84,76% gemiddelde nauwkeurigheid, waarmee het grotere modellen zoals ABINet en LISTER overtreft of evenaart, met name op uitdagende subsets zoals Artistieke, Saliente en Multi-Oriëntatie tekst.
• Ablatie-studies:
  • NA-Mamba: Het vervangen van causale convoluties en het toevoegen van de NA-branch verbeterde de gemiddelde nauwkeurigheid met 0,5%, met significante winsten (tot 1,7%) op onregelmatige tekstdatasets (bijv. SVTP).
  • Reusable Transformer: Het introduceren van de Transformer verbeterde de nauwkeurigheid met ~2% ten opzichte van de baseline. Parameterdeling (Reuse) bereikte bijna dezelfde nauwkeurigheid als niet-gedeelde Transformers (0,22% verschil), maar met een reductie van 17,8% in modelgrootte.
  • Convergentie: De Reuse-configuratie vertoonde een snellere reductie van de loss en een snellere convergentie tijdens de vroege trainingsfase vergeleken met niet-gedeelde configuraties.

5. Betekenis en Claims

Het artikel claimt dat MRT aantoont dat Mamba-gebaseerde architecturen competitieve en efficiënte backbones kunnen dienen voor STR wanneer ze zijn uitgerust met taakspecifieke ruimtelijke modellering en lichtgewicht globale verfijning.

• Balansact: Het framework adresseert succesvol de inherente spanning tussen lokale precisie en holistische contextuele redenering, en bereikt een sterke nauwkeurigheid-efficiëntie trade-off.
• Efficiëntie: Door over-parameterisatie te vermijden via de Reusable Transformer en lokale modellering te optimaliseren via NA-Mamba, faciliteert MRT een efficiëntere optimalisatie en is het geschikt voor scenario's met beperkte middelen.
• Toekomstige Richting: De auteurs merken op dat hoewel MRT de beperkingen van sequentiële scanning verbetert, toekomstig werk erop gericht is om inherent ruimtelijke state-space modellen te verkennen om de beperkingen van het verwerken van visuele tekst met sequentiële modellen verder te overwinnen.

Het werk wordt gepositioneerd niet als een vervanging voor alle bestaande STR-methoden, maar als een zeer efficiënt alternatief dat de prestaties van state-of-the-art evenaart met een aanzienlijk lager aantal parameters.