💻 computer science

Scaling State-Space Models from Lines to Paragraphs: An Ablation of Mamba-based OCR

Dit artikel onderzoekt de schaalbaarheid van Mamba-gebaseerde OCR van korte regels naar volledige paragrafen, waarbij wordt onthuld dat hoewel State-Space Models aanzienlijke snelheidsvoordelen bieden ten opzichte van Transformers op synthetische data, ze momenteel onderpresteren op echt handschrift door een gebrek aan data in plaats van inherente architecturale beperkingen.

Oorspronkelijke auteurs: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Merveilles Agbeti-Messan, Pierrick Tranouez, Stéphane Nicolas, Clément Chatelain, Thierry Paquet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te bouwen die handgeschreven en gedrukte documenten kan lezen, van een enkele regel tekst tot een volledige pagina van een roman. Lange tijd gebruikten de beste robots een "Transformer"-brein. Dit brein is ongelooflijk slim en nauwkeurig, maar heeft een groot gebrek: het wordt steeds langzamer naarmate de tekst langer wordt. Het lezen van een hele paragraaf duurt veel langer dan het lezen van een enkel woord, omdat het constant alles wat het net heeft gezien opnieuw moet lezen om de nieuwe woorden te begrijpen. Het is alsof je probeert een puzzel op te lossen door naar elk stukje dat je al hebt geplaatst te kijken, elke keer dat je een nieuw stukje toevoegt.

Dit artikel introduceert een nieuw type robotbrein genaamd Mamba (gebaseerd op State-Space Models). De grote belofte van Mamba is dat het niet het verleden herleest. In plaats daarvan houdt het een "mentale samenvatting" bij van wat het tot nu toe heeft gezien. Dit betekent dat het een hele paragraaf net zo snel kan lezen als een enkele regel.

De onderzoekers wilden weten: Is dit nieuwe Mamba-brein daadwerkelijk klaar om het oude Transformer-brein te vervangen voor het lezen van lange documenten?

Hier is wat ze ontdekten, eenvoudig uitgelegd:

1. De "Perfecte Wereld" Test (Synthetische Data)

Eerst testten de onderzoekers de robot in een "perfecte wereld". Ze voerden het heldere, computergegenereerde tekst (zoals Wikipedia-artikelen) die perfect eruitzag, zonder vlekken of vreemd handschrift.

Het resultaat: Zowel de oude Transformer als de nieuwe Mamba waren ongelooflijk nauwkeurig (bijna perfect).
De snelheid: Mamba was de duidelijke winnaar. Het was 1,4 tot 4,5 keer sneller dan de Transformer. Hoe langer de tekst werd, hoe groter het snelheidsverschil werd.
De les: In een schone omgeving is Mamba een fantastisch, razendsnel alternatief dat geen concessies doet aan de nauwkeurigheid.

2. De "Echte Wereld" Test (Handschrift)

Vervolgens testten ze de robot op rommelige, echte gegevens: werkelijk handschrift uit de IAM-database. Dit is waar het lastig werd.

Het resultaat: Mamba had aanzienlijke problemen. Bij handgeschreven regels maakte het veel meer fouten dan de Transformer. Bij volledige handgeschreven paragrafen was het verschil enorm: Mamba was bijna drie keer slechter in het correct krijgen van de woorden.
De analogie: Stel je voor dat de Transformer een student is die even terug kan kijken naar hun tekstboek (de afbeelding) wanneer ze vastlopen. Mamba is een student die het hele tekstboek in zijn hoofd moet onthouden voordat hij begint met het schrijven van een essay. Als het tekstboek rommelig is (handschrift) en het essay lang is (paragrafen), raakt de student die op het geheugen vertrouwt (Mamba) overweldigd en maakt hij fouten.

3. De "Waarom" (De Datahonger)

De onderzoekers groeven diep om te ontdekken waarom Mamba faalde bij handschrift. Ze ontdekten dat het niet noodzakelijkerwijs kwam doordat het brein van Mamba "dom" was. Het kwam omdat Mamba extreem hongerig is naar data.

Het experiment: Wanneer ze probeerden Mamba te trainen op een kleine hoeveelheid data (zoals de 8.000 paragrafen die beschikbaar zijn in sommige datasets), onthield de robot simpelweg de antwoorden in plaats van de regels te leren. Het slaagde er niet in om te generaliseren.
De oplossing: Toen ze Mamba 1 miljoen voorbeelden gaven om op te trainen, begon het plotseling perfect te werken, zelfs bij lange sequenties.
De conclusie: Het probleem met handschrift was niet dat Mamba het niet kan; het is dat we het nog niet genoeg oefenmateriaal hebben gegeven. De Transformer is beter in het leren van kleine hoeveelheden data, terwijl Mamba een enorme bibliotheek aan voorbeelden nodig heeft om zijn magie te laten werken.

4. Het Eindoordeel

Het artikel sluit af met een duidelijke gids over welke robot je wanneer moet gebruiken:

Gebruik Mamba voor gedrukte tekst: Als je miljoenen gedrukte historische kranten of boeken digitaliseert, is Mamba de beste keuze. Het is snel, nauwkeurig en bespaart veel rekenkracht.
Wees voorzichtig met handschrift: Als je rommelige handgeschreven aantekeningen probeert te lezen, loopt Mamba momenteel achter op de oudere Transformer-modellen, vooral als je niet over een enorme hoeveelheid trainingsdata beschikt.
De toekomst: Om Mamba goed te laten werken voor handschrift, moeten we ofwel veel meer data aanbieden (zoals 1 miljoen voorbeelden), of een "hybride" robot bouwen die de snelheid van Mamba combineert met het vermogen van de Transformer om van minder data te leren.

Kortom: Mamba is een snelheidsduivel die perfect werkt in schone, gedrukte omgevingen, maar momenteel een enorme bibliotheek aan oefenmateriaal nodig heeft om de rommeligheid van echt handschrift aan te kunnen. Het is niet kapot; het heeft gewoon meer training nodig.

Technische Samenvatting: Schalen van State-Space Modellen van Regels naar Paragrafen

Probleemstelling
End-to-end Optical Character Recognition (OCR) voor historische documenten leunt steeds vaker op autoregressieve sequentiemodellen. Hoewel Transformer-gebaseerde architecturen de huidige research domineren, beperkt hun kwadratische aandachtcomplexiteit ( $O(n^2)$ ) de efficiënte transcriptie van lange, paragraaf-niveau tekst. State-Space Models (SSMs), specifiek Mamba, bieden lineaire decodering en hebben een nauwkeurigheid aangetoond die gelijkwaardig is aan Transformers voor gedrukte historische regels. Echter, drie kritieke hiaten blijven bestaan: de optimale architecturale configuratie voor paragraaf-niveau Mamba-OCR is nog niet geverifieerd; het schaalgedrag van Mamba-OCR van korte regels naar volledige paragrafen is niet gekarakteriseerd onder gecontroleerde omstandigheden; en de generalisatie van SSM-gebaseerde OCR van gedrukte tekst naar handschrift blijft onverkend.

Methodologie
De auteurs bouwen voort op een Mamba-gebaseerde OCR-architectuur (Mamba-AR) bestaande uit een gedeelde CNN visuele encoder, een bidirectionele Mamba multimodale connector, en een autoregressieve Mamba decoder. Om de onderzoeks hiaten aan te pakken, hanteert de studie een drieledige methodologie:

Hyperparameter Exploratie: Er werd een systematische ablatie-studie uitgevoerd op vier kernhyperparameters: decoderdiepte ( $L$ ), staat-dimensie ( $N$ ), expansiefactor ( $E$ ) en connector-diepte ($MC$). Experimenten maakten gebruik van synthetische paragrafen afgeleid van English Wikipedia, variërend van 100 tot 1.000 tekens (1 tot 10 regels).
Gecontroleerde Schaalstudie: Mamba-OCR werd vergeleken met een Transformer-baseline (DAN) die onder een identiek protocol op dezelfde synthetische data werd getraind. Dit isoleerde de effecten van sequentielengte en architectuur van variaties in documentkwaliteit.
Validatie in de Praktijk: De modellen werden geëvalueerd op echte datasets: gedrukte historische regels en paragrafen (BnL dataset) en handgeschreven regels en paragrafen (IAM Handwriting Database).

Een kritieke methodologische observatie betrof de omvang van de trainingsdata. Voorlopige experimenten toonden aan dat de autoregressieve Mamba-decoder niet convergeerde op lange sequenties met een vaste set van 8.000 trainingsparagrafen, waarbij sprake was van memorisatie. Stabiele convergentie vereiste het genereren van ongeveer 1 miljoen dynamisch gesamplede paragrafen per configuratie.

Belangrijkste Bijdragen

Hyperparameter Optimalisatie: De studie identificeert de staat-dimensie ( $N$ ) en de expansiefactor ( $E$ ) als de dominante hefbomen voor nauwkeurigheid bij lange sequenties. De aanbevolen configuratie ($L=4, N=256, E=6, MC=1$) komt overeen met de defaults gebruikt in eerder werk, maar is empirisch gevalideerd als optimaal voor paragraaf-niveau synthetische data. Opvallend genoeg wordt de keuze voor $N=256$ begrensd door implementatiebeperkingen (cache-grootte en parallel-scan doorvoer) in plaats van een nauwkeurigheid-plateau.
Schaalgedrag: Op schone synthetische data behoudt Mamba-OCR een sub-1% Character Error Rate (CER) over alle lengtes (tot 1.000 tekens), waarbij het presteert op gelijke voet met de Transformer-baseline. Mamba-OCR vertoont echter een aanzienlijk efficiëntievoordeel, waarbij het 1,4 tot 4,5 keer sneller is dan DAN, waarbij de versnelling lineair toeneemt met de sequentielengte vanwege de $O(n)$ versus $O(n^2)$ complexiteit.
Generalisatielimieten en Datatekort: Op echte handgeschreven data (IAM) presteert Mamba-OCR aanzienlijk minder goed dan Transformers en RetNet-gebaseerde modellen (bijv. 10,02% CER versus 3,51% voor DAN op IAM-paragrafen). De auteurs schrijven dit gat primair toe aan datatekort in plaats van een intrinsiek architecturaal gebrek. De autoregressieve decoder vereist het comprimeren van alle visuele context in een enkele recurrente staat, een proces dat substantieel meer trainingsdiversiteit (lexicaal en syntactisch) vereist om effectief te generaliseren dan Transformer-modellen, die opnieuw naar de afbeelding kunnen attenderen.

Resultaten

Synthetische Data: Beide modellen bereikten <1% CER. Mamba-OCR was 1,4× sneller bij 1 regel en 4,5× sneller bij 10 regels vergeleken met DAN.
Gedrukte Tekst (BnL): Mamba-OCR bleef competitief met Transformers (6,07% CER versus 5,24% voor DAN op paragrafen) terwijl het een 2,05× versnelling bood.
Handgeschreven Tekst (IAM):
- Regels: Mamba-OCR behaalde 8,21% CER, wat achterblijft bij DAN (4,23%) en DRetHTR (2,26%).
- Paragrafen: Het prestatiekloof werd aanzienlijk groter, met Mamba-OCR op 10,02% CER versus 3,51% voor DAN.
Gevoeligheid voor Datavolume: Experimenten bevestigden dat 8.000 vaste paragrafen onvoldoende waren voor Mamba-OCR om te convergeren op lange sequenties, terwijl 1 miljoen dynamisch gesamplede paragrafen stabiele training mogelijk maakten. De IAM-dataset (747 trainingsparagrafen) valt binnen het regime van datatekort waar Mamba-OCR moeite mee heeft.

Significantie
Dit artikel verheldert de praktische toepasbaarheid van SSM's voor grootschalige documenttranscriptie. Het stelt vast dat Mamba-OCR een levensvatbare, hoog-doorvoersnelheid keuze is voor de digitalisering van gedrukte documenten op grote schaal, waarbij het aanzienlijke snelheidswinst biedt met een vergelijkbare nauwkeurigheid als Transformers. Echter, voor handschriftherkenning, met name op paragraafniveau met beperkte trainingsdata, staat de huidige autoregressieve SSM-architectuur voor aanzienlijke uitdagingen vanwege de honger naar data. De auteurs concluderen dat hoewel SSM's een indrukwekkende efficiëntie bieden, hun inzet op nieuwe domeinen of handschriften ofwel aanzienlijk grotere trainingscorpora (via synthetische pre-training) of architecturale augmentaties (zoals hybride SSM-attention ontwerpen) vereist om de geobserveerde kloof in de inductieve bias in kleine-data-regimes te overbruggen.

1. De "Perfecte Wereld" Test (Synthetische Data)

2. De "Echte Wereld" Test (Handschrift)

3. De "Waarom" (De Datahonger)

4. Het Eindoordeel

Meer zoals dit