ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts

Dit rapport presenteert de ICDAR 2025 competitie voor end-to-end machinevertaling van documentafbeeldingen met complexe lay-outs, waarbij 69 teams deelnamen aan twee tracks (OCR-vrij en OCR-gebaseerd) en de resultaten aantonen dat grote modellen een veelbelovend paradigma vormen voor dit domein.

De kern

Stel je voor dat je een oude, ingewikkelde krant of een wetenschappelijk artikel uit een ander land in handen hebt. De tekst staat erin, maar hij is verstrikt in een wirwar van kolommen, tabellen, voetnoten en plaatjes. Als je dit wilt vertalen, is het alsof je een enorme puzzel moet oplossen waarbij je niet alleen de woorden moet begrijpen, maar ook precies moet weten waar ze staan op de pagina.

Dit is precies wat de ICDAR 2025 Competitie over "Document Image Machine Translation" (DIMT) heeft uitgedaagd. Hier is een simpele uitleg van wat er gebeurde, vertaald naar alledaags Nederlands:

🧩 De Grote Uitdaging: De "Puzzel-Vertaler"

Normaal gesproken kunnen computers tekst vertalen (zoals Google Translate) en kunnen ze tekst uit plaatjes halen (zoals OCR, oftewel "scannen"). Maar als je een heel document met een rommelige lay-out wilt vertalen, haken deze systemen vaak af. Het is alsof je een vertaler vraagt die blind is, maar wel een boek moet lezen terwijl iemand de pagina's door elkaar haalt.

De organisatoren van deze wedstrijd wilden een systeem bouwen dat dit in één keer kan: van het plaatje van het document direct naar een perfect vertaalde, goed gestructureerde tekst.

🏁 Twee Spoorwegen (Tracks)

Deelnemers moesten kiezen uit twee verschillende manieren om dit probleem aan te pakken:

1. Spoor 1: De "OCR-Hulp" (Met hulpmiddelen)

   • Het idee: Hier mag je eerst een scanner (OCR) gebruiken om de tekst uit het plaatje te halen. Maar de scanner maakt vaak fouten: woorden staan in de verkeerde volgorde, of stukjes ontbreken.
   • De taak: De AI moet die rommelige, door elkaar gehaalde woorden weer in de juiste volgorde zetten en ze vertalen. Het is alsof je een zee van losse legpuzzelstukjes krijgt en die moet samenvoegen tot een compleet plaatje.
   • Deelnemers: 34 teams deden hieraan mee.

2. Spoor 2: De "OCR-Vrije" (Zonder hulpmiddelen)

   • Het idee: Hier mag je geen scanner gebruiken. De AI moet rechtstreeks naar het plaatje kijken en begrijpen wat er staat, net zoals een mens dat doet.
   • De taak: De AI moet het hele document "zien", de lay-out begrijpen (waar zit de titel? waar begint de tabel?) en het direct vertalen naar een netjes opgemaakt bestand (Markdown). Dit is de moeilijkste versie, alsof je blindelings een boek moet lezen en vertalen.
   • Deelnemers: 35 teams deden hieraan mee.

🧠 Grote Reuzen vs. Slimme Dwergen

Binnen elk spoor waren er twee categorieën voor de "hersenen" (de modellen) die de teams gebruikten:

• De Reuzen (LLMs): Grote modellen met meer dan 1 miljard parameters. Dit zijn de "super-intelligente" systemen die veel kunnen, maar ook veel rekenkracht nodig hebben.
• De Dwergen (Small Models): Kleiner dan 1 miljard parameters. Deze moeten slim zijn met weinig middelen, alsof je een fiets hebt in plaats van een vrachtwagen.

🏆 Wat gebeurde er?

In totaal deden 69 teams mee, waaronder universiteiten en bedrijven zoals Huawei. Ze leverden 27 goede inzendingen in.

• De winnaars: Het team Hw-tsc (van Huawei) won in bijna alle categorieën. Ze gebruikten een krachtig model genaamd InternVL2.5.
• Het resultaat: De "Reuzen" (grote modellen) deden het over het algemeen beter dan de "Dwergen". Ze konden de ingewikkelde lay-outs en de betekenis van de tekst beter begrijpen.
• De verrassing: Hoewel de "OCR-Hulp" (Spoor 1) nog steeds iets beter presteerde, naderden de "OCR-Vrije" systemen (Spoor 2) ze snel. Dit betekent dat AI steeds beter wordt in het "zien" en begrijpen van documenten zonder dat ze eerst tekst hoeven te scannen.

💡 De Grote Les (Conclusie)

Deze wedstrijd toonde aan dat:

1. Groot is vaak beter: Voor complexe documenten (zoals wetenschappelijke papers met veel tabellen) werken de grote modellen het beste.
2. Finetuning is key: Zelfs kleinere modellen konden goed presteren als ze specifiek waren getraind op dit soort documenten.
3. De toekomst is "OCR-vrij": We bewegen ons snel naar een tijd waarin computers documenten kunnen lezen en vertalen zonder dat we eerst een tussenstap nodig hebben.

Kortom: De AI is nu in staat om die rommelige, ingewikkelde documenten van vroeger niet alleen te vertalen, maar ook te begrijpen hoe ze eruitzien. Het is een enorme stap voorwaarts voor het automatiseren van documentverwerking in de toekomst!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper over de ICDAR 2025 Competitie voor End-to-End Document Image Machine Translation (DIMT), geschreven in het Nederlands.

Titel: ICDAR 2025 Competitie over End-to-End Document Image Machine Translation gericht op Complexe Lay-outs

1. Het Probleem

Document Image Machine Translation (DIMT) is de taak om tekst die is ingebed in documentafbeeldingen van de ene naar de andere taal te vertalen. Hoewel Large Language Models (LLM's) grote doorbraken hebben geboekt in OCR (Optical Character Recognition) en tekstvertaling, blijven ze worstelen met realistische documentafbeeldingen. Deze documenten hebben vaak complexe lay-outs, zoals:

• Gemengde kolomindelingen.
• Tabellen en voetnoten.
• Visueel rijke elementen.

De huidige uitdagingen zijn:

• Multi-modale en cross-linguale complexiteit: Het combineren van visuele lay-outbegrip met taalverwerking is moeilijk.
• Ruis: Beelddefecten en OCR-fouten kunnen de input verstoren.
• Gebrek aan gestandaardiseerde benchmarks: Bestaande datasets hebben vaak onvoldoende steekproeven, inconsistente labels of ontbreken een uniforme evaluatiemethode voor complexe lay-outs.

Het doel van de DIMT 2025-competitie is om deze kloof te overbruggen door een end-to-end oplossing te bieden die zowel tekstinhoud als paginalay-out tegelijkertijd modelleert.

2. Methodologie en Competitieopzet

De competitie, georganiseerd door het Institute of Automation van de Chinese Academie van Wetenschappen (CASIA), omvatte twee hoofdtracks, elk met twee subtracks gebaseerd op modelgrootte:

De Tracks:

1. OCR-gebaseerde DIMT: De invoer bestaat uit de afbeelding én de OCR-uitvoer (woorden en hun bounding boxes). De taak is om deze vaak chaotische, ongeordende OCR-fragmenten opnieuw te ordenen en te vertalen naar een coherent doeltekst.
2. OCR-vrije DIMT: De invoer is uitsluitend de documentafbeelding. Het model moet end-to-end de afbeelding vertalen naar een Markdown-formaat, waarbij het de lay-out en context direct uit het beeld haalt zonder tussenkomst van een OCR-engine.

Subtracks (Modelgrootte):

• Small Models: ≤ 1 miljard parameters.
• Large Models (LLM): > 1 miljard parameters.

Dataset:
Er werden twee grote datasets samengesteld:

• DIMT-WebDoc-300K: Voor Track 1 (OCR-gebaseerd), afkomstig van webdocumenten (300k trainingsafbeeldingen).
• DIMT-arXiv-124K: Voor Track 2 (OCR-vrij), afkomstig van wetenschappelijke artikelen (124k trainingsafbeeldingen).
• Beide datasets bevatten paren van bron- en doeltekst (Engels naar Chinees) met gedetailleerde annotaties voor lay-out en leesvolgorde.

Evaluatie:
De prestaties werden gemeten met Document-level BLEU (gebruikmakend van Jieba voor Chinese segmentatie en NLTK voor de berekening). De hele output van een afbeelding werd als één tekststring behandeld.

3. Belangrijkste Resultaten

De competitie trok 69 teams aan, met in totaal 27 geldige inzendingen.

• Algemene Prestatie:

  • OCR-gebaseerde modellen presteerden over het algemeen beter dan OCR-vrije modellen, wat de betrouwbaarheid van gevestigde OCR-technologieën voor tekstextractie bevestigt.
  • Grote modellen (LLM's) presteerden significant beter dan kleine modellen in beide tracks.

• Top Prestaties (BLEU-scores):

  • Track 1.1 (OCR-gebaseerd, LLM): Het team Hw-tsc (Huawei Translation Service Center) behaalde de hoogste score van 70,48 met het InternVL2.5-8B-MPO framework.
  • Track 1.2 (OCR-gebaseerd, Small): Hw-tsc won ook hier met 66,16 punten, gebruikmakend van InternVL2.5-1B-MPO.
  • Track 2.1 (OCR-vrij, LLM): Hw-tsc behaalde 60,78 punten (InternVL2.5-8B-MPO).
  • Track 2.2 (OCR-vrij, Small): Het team Intime & HY won met 59,96 punten, gebruikmakend van een eigen model HYOCR-1B met Reinforcement Learning (DPO).

• Opvallende trends:

  • De prestatiekloof tussen OCR-gebaseerde en OCR-vrije modellen neemt af, vooral bij grote modellen.
  • Teams die Supervised Fine-Tuning (SFT) en Direct Preference Optimization (DPO) toepasten, behaalden over het algemeen de beste resultaten.
  • Modellen zoals InternVL2.5 en Qwen2.5 bleken superieur aan gespecialiseerde, lay-outbewuste modellen (zoals LayoutLM) voor complexe, ongestructureerde taken.

4. Belangrijkste Bijdragen

1. Eerste Omvattende Benchmark: De introductie van de eerste gestandaardiseerde, grote benchmark voor end-to-end documentbeeldvertaling met complexe lay-outs.
2. Gedetailleerde Datasets: Publicatie van twee nieuwe datasets (WebDoc en arXiv) met duizenden geadverteerde voorbeelden, inclusief leesvolgorde en vertalingen op woord-, zin- en documentniveau.
3. Evaluatie van End-to-End Benaderingen: Het succesvol evalueren van OCR-vrije benaderingen, wat aantoont dat multimodale modellen steeds beter in staat zijn om complexe documenten direct te interpreteren zonder tussenstap van OCR.
4. Inzicht in Modelarchitecturen: Het paper levert empirisch bewijs dat grote multimodale modellen (LLM's) de nieuwe standaard worden voor documentvertaling, zelfs in OCR-vrije scenario's, en dat fijnafstemming (fine-tuning) cruciaal is voor prestaties.

5. Betekenis en Toekomstperspectief

De DIMT 2025-competitie markeert een belangrijke stap in de evolutie van Document AI. De resultaten tonen aan dat:

• LLM's een nieuw paradigma vormen: Grote multimodale modellen kunnen complexe lay-outs en semantische inhoud tegelijkertijd begrijpen, wat traditionele, gefragmenteerde pipelines (eerst OCR, dan vertaling) overbodig maakt.
• OCR-vrije vertaling haalbaar wordt: Hoewel er nog een prestatiekloof is, sluiten OCR-vrije modellen snel aan bij OCR-gebaseerde systemen, wat leidt tot robuustere systemen die minder gevoelig zijn voor OCR-fouten.
• Toekomstige richting: De focus verschuift naar het optimaliseren van kleinere modellen voor resource-beperkte omgevingen en het verder verbeteren van OCR-vrije modellen voor nog complexere documenttypes.

Deze competitie stimuleert verdere innovatie op het snijvlak van OCR en NLP, met directe toepassingen in automatische documentverwerking en cross-linguale informatiewinning.