DODO: Discrete OCR Diffusion Models

DODO introduceert de eerste Vision-Language Model die block discrete diffusie toepast om OCR-taken tot 3x sneller te maken dan autoregressieve methoden, terwijl het de nauwkeurigheid behoudt door de stabiliteitsproblemen van bestaande diffusiemodellen op te lossen.

De kern

Het Grote Probleem: De "Eén-Tegelijk" Strijd

Stel je voor dat je een heel lang document moet overtypen van een foto. De huidige slimme computers (die we Autoregressive Models noemen) werken als een zeer nauwkeurige, maar trage typist. Deze typist kijkt naar het eerste woord, typt het, kijkt dan naar het tweede woord, typt dat, en zo gaat het door tot het einde.

• Het nadeel: Als je een heel lang document hebt, duurt dit eeuwig. Het is alsof je een trein moet bouwen door één voor één de wielen te monteren, terwijl je wacht tot het vorige wiel perfect zit voordat je aan het volgende begint. Dit heet een "bottleneck" (knelpunt).

De Oplossing: De "Alles-Tegelijk" Revolutie

De auteurs van dit paper, DODO, zeggen: "Wacht even. Bij het overtypen van tekst (OCR) is er maar één juiste antwoord. Als je een foto van een bordje ziet met 'STOP', dan is het woord 'STOP'. Er is geen ruimte voor creativiteit of variatie."

Omdat er maar één juiste uitkomst is, denken ze: "Waarom wachten we niet tot alles tegelijk?"

Ze gebruiken een techniek die Diffusion heet. Stel je voor dat je een schilderij hebt dat volledig is bedekt met witte verf (verstoord). De computer moet langzaam de witte verf wegvegen om de tekst eronder te laten zien.

• De oude manier: De computer veegt één klein stukje weg, kijkt goed, veegt het volgende stukje weg, etc. (Langzaam).
• De DODO-methode: De computer probeert grote stukken van het schilderij tegelijkertijd te onthullen.

Het Grote Misverstand: De "Wilde" Schilder

Er is echter een probleem. Als je probeert een heel lang schilderij in één keer te onthullen, raakt de computer in de war over de afstand en de volgorde.

• Analogie: Stel je voor dat je een lange rij auto's moet parkeren. Als je probeert ze allemaal tegelijk te parkeren zonder te kijken naar de rij, kan het gebeuren dat auto #100 plotseling voor auto #1 staat, of dat er een gat van 50 meter is tussen auto #1 en #2.
• In creatieve taken (zoals het beschrijven van een foto) maakt dit niet veel uit; je kunt zeggen "een auto" of "een vrachtwagen" en het is nog steeds een goed verhaal.
• Maar bij OCR (tekst overtypen) is dit catastrofaal. Als het woord "STOP" per ongeluk 50 plekken te vroeg of te laat wordt geplaatst, is de zin onleesbaar. De computer kan niet "teruggaan" en het corrigeren, omdat de regels van de oude methode zeggen: "Wat er al staat, blijft staan."

De DODO Oplossing: De "Blokken" Methode

DODO lost dit op door het probleem op te delen in blokken.

• De Analogie: In plaats van te proberen de hele trein in één keer te bouwen, bouwen we de trein in wagons van 256 wielen.
  1. We bouwen de eerste wagon (blok 1) volledig en controleren of hij perfect staat.
  2. Zodra die wagon klaar is, "vergrendelen" we hem.
  3. Dan bouwen we de tweede wagon (blok 2) tegelijkertijd, wetende dat de eerste wagon al perfect op zijn plek staat.
  4. We herhalen dit tot de hele trein klaar is.

Dit heet Block Discrete Diffusion.

Waarom werkt dit zo goed?

1. Snelheid: Omdat we binnen één wagon veel wielen tegelijk plaatsen, is het veel sneller dan één voor één.
2. Nauwkeurigheid: Omdat we de eerste wagon vergrendelen voordat we aan de tweede beginnen, weten we zeker dat de volgorde klopt. Er is geen kans dat de auto's door elkaar lopen.
3. Slimme Hergebruik: De computer onthoudt de eerste wagon (zoals een notitieblok) en hoeft die niet opnieuw te berekenen als hij aan de tweede wagon werkt. Dit maakt het nog sneller.

De Resultaten: Een Sprinter in plaats van een Sluipschutter

Het paper toont aan dat DODO:

• 3 keer sneller is dan de huidige beste methoden.
• Even nauwkeurig is als de langzame methoden.
• In staat is om hele documenten (zoals wetenschappelijke papers of formele contracten) in een fractie van de tijd om te zetten in tekst.

Samenvatting in één zin

DODO is als een slimme bouwmeester die niet meer één steen per keer zet, maar hele muren in één keer bouwt, maar wel in kleine secties, zodat de muur nooit scheef gaat staan en het werk drie keer sneller klaar is.

Technische samenvatting

Titel: DODO: Discrete OCR Diffusion Models

1. Het Probleem

Optische Tekstherkenning (OCR) is een fundamentele taak voor het digitaliseren van informatie. Hoewel moderne Vision-Language Models (VLM's) hoge nauwkeurigheid bereiken, vertrouwen ze bijna uitsluitend op autoregressieve decoding.

• De Bottleneck: Autoregressieve modellen genereren tekst sequentieel (token voor token). Voor lange documenten leidt dit tot een aanzienlijke vertraging, omdat elke token een nieuwe voorwaartse pass (forward pass) vereist.
• De Misvatting: Er is een kans om dit op te lossen met Diffusiemodellen (die parallel kunnen genereren), maar bestaande Masked Diffusion Models (MDM's) falen hierin voor OCR.
• De Oorzaak: OCR is een semantisch rigide taak (er is slechts één correcte output voor een gegeven afbeelding), in tegenstelling tot flexibele taken zoals beeldbeschrijving (captioning). Bestaande MDM's gebruiken een "globale canvas" benadering die aannames doet over onafhankelijkheid en positie. In OCR leiden kleine fouten in lengte-schattingen of positie-uitlijning tot catastrofale fouten (bijv. tekst die wordt afgekapt of "gehallucineerde" padding), omdat het model de tekst niet kan "herschrijven" om de fout te compenseren zoals bij creatieve schrijftaken.

2. Methodologie: DODO

De auteurs introduceren DODO, het eerste Vision-Language Model dat block-discrete diffusie toepast om de snelheid van diffusie te combineren met de stabiliteit van autoregressieve modellen.

• Block Discrete Diffusie: In plaats van het hele document in één keer te genereren (globale diffusie), deelt DODO de generatie op in opeenvolgende blokken (bijv. 256 tokens).
  • Het model genereert een blok parallel via diffusie.
  • Dit blok wordt vervolgens "vastgezet" (committed) als context voor het volgende blok.
  • Dit creëert een causale anker (causal anchoring) die de risico's van lange-afstands-uitlijningsfouten elimineert.
• Aanpassing aan OCR:
  • Grote Blokgrootte: Waar eerdere tekstmodellen kleine blokken (4-32 tokens) gebruikten, schalen de auteurs de blokgrootte op tot 256 tokens. Dit is mogelijk omdat OCR een zeer deterministische taak is met een lage entropie (de visuele input dicteert de output sterk).
  • KV-Caching: DODO implementeert twee varianten:
    1. DODO: Gebruikt volledige bidirectionele aandacht binnen blokken. Dit is nauwkeurig maar vereist herberekening van de prefix.
    2. DODO-fast: Gebruikt block-causale masking. Hierbij worden de Key-Value (KV) caches van de reeds gegenereerde blokken bewaard en niet opnieuw berekend. Dit maximaliseert de doorvoersnelheid (throughput).
• Training: Het model is getraind op het olmOCR-mix-1025 dataset (270k document-paren) met een maximale sequentielengte van 8192 tokens, gebruikmakend van Qwen2.5-VL-3B als backbone.

3. Belangrijkste Bijdragen

1. Identificatie van een Structureel Conflict: De auteurs tonen aan dat standaard masked diffusion onverenigbaar is met de rigide eisen van OCR vanwege de gevoeligheid voor lengte- en positiefouten.
2. Innovatie (DODO): Het introduceren van het eerste VLM dat block-discrete diffusie gebruikt voor documenttranscriptie, waardoor lokale uitlijning wordt afgedwongen en dynamische lengte-aanpassing mogelijk is.
3. Empirisch Bewijs: Demonstratie dat DODO de nauwkeurigheid van state-of-the-art autoregressieve modellen evenaart, maar tot 3x snellere inferentie biedt.

4. Resultaten

De prestaties zijn geëvalueerd op twee benchmarks: OmniDocBench (complexe lay-outs, tabellen, formules) en Fox-Page-EN (pure tekst).

• Nauwkeurigheid:
  • DODO bereikt een Normalized Edit Distance (NED) van 0,066 op OmniDocBench.
  • Dit is een enorme verbetering ten opzichte van eerdere diffusiemodellen (zoals Dimple of LLaDA-V) die NED-scores van >0,5 hadden (wat betekent dat ze grotendeels faalden).
  • DODO presteert vergelijkbaar met of beter dan gespecialiseerde OCR-systemen (zoals MonkeyOCR en Mistral OCR) en de autoregressieve Qwen2.5-VL backbone.
• Snelheid (Throughput):
  • DODO (standaard): ≈22,9 tokens/seconde (al snelheidiger dan autoregressieve baselines zonder caching).
  • DODO-fast: ≈63,1 tokens/seconde. Dit is een 3x snelheidswinst ten opzichte van de autoregressieve Qwen2.5-VL (≈21 tokens/sec) en de bidirectionele DODO-variant.
  • De snelheidswinst komt voort uit het feit dat DODO parallelle decoding gebruikt, waardoor het aantal benodigde voorwaartse passes drastisch daalt (van 1 pass per token naar gemiddeld <0,1 pass per token).

5. Betekenis en Impact

DODO bewijst dat parallelle decoding voor OCR niet alleen theoretisch mogelijk is, maar ook praktisch haalbaar en superieur in efficiëntie.

• Paradigmaverschuiving: Het paper breekt het idee dat OCR per se sequentieel moet worden gedaan. Het toont aan dat diffusiemodellen, mits correct gestructureerd (via blokken), de "stabiliteitsrails" bieden die nodig zijn voor nauwkeurige tekstherkenning.
• Toepassing: De technologie maakt het mogelijk om zeer lange documenten (zoals juridische dossiers, boeken of wetenschappelijke papers) veel sneller te digitaliseren zonder in te leveren op nauwkeurigheid.
• Toekomst: Het opent de deur voor het gebruik van diffusiemodellen in andere strikt deterministische visuele-taakgebieden waar huidige autoregressieve modellen te traag zijn.

Kortom, DODO lost het snelheidsprobleem van OCR op door de voordelen van diffusie (parallelisme) te benutten terwijl de nadelen (instabiliteit) worden opgeheven door een blok-gebaseerde architectuur.