Layout-Aware Curriculum Learning for Lightweight Document OCR

In het digitale tijdperk bestaan enorme bibliotheken aan informatie in de vorm van afbeeldingen van papieren documenten: gescande contracten, handgeschreven aantekeningen, dichte academische papers en complexe financiële rapporten. Om deze informatie bruikbaar te maken voor computers, moeten we deze plaatjes vertalen naar tekst die machines kunnen lezen en begrijpen. Dit proces wordt optische tekenherkenning genoemd. Decennialang was de standaardmanier om dit te doen het opdelen van de taak in veel kleine, afzonderlijke stappen. Eerst zou een computer vinden waar de tekst op de pagina staat. Daarna zou het tabellen of formules identificeren. Ten slotte zou het de woorden lezen. Hoewel deze methode werkte, was het fragiel; een fout in de eerste stap zou de rest verpesten, en het draaien van zoveel verschillende programma's vereiste zware rekenkracht. Onlangs is er een nieuwe aanpak naar voren gekomen met behulp van grote visuele taalmodellen. Dit zijn krachtige systemen die een afbeelding kunnen bekijken en er in één keer een beschrijving van kunnen schrijven, waardoor ze de afzonderlijke stappen overslaan. Deze modellen zijn echter vaak enorm, wat massale datacenters vereist om te draaien, en ze worstelen nog steeds met de rommelige realiteit van complexe documenten.

Onderzoekers van het Exploration and Development Research Institute van de Daqing Oilfield Company hebben een nieuwe manier ontwikkeld om deze modellen te onderwijzen die het spel verandert. Ze stelden een eenvoudige vraag: kan een zeer klein, lichtgewicht model net zo goed documenten leren lezen als een reusachtig model als het op de juiste manier wordt onderwezen? Hun antwoord is ja. Ze creëerden een trainingsmethode die werkt als een zorgvuldige leraar, beginnend met de makkelijkste pagina's en langzaam moeilijkere pagina's introducerend. Ze voegden ook een specifieke regel toe aan het leerproces die de computer dwingt om aandacht te besteden aan precies waar dingen zich op de pagina bevinden, en niet alleen aan wat de woorden zeggen. Het resultaat is een piepklein model, met slechts 256 miljoen parameters, dat even goed presteert als modellen die duizenden keren groter zijn.

De kern van hun ontdekking ligt in hoe ze de trainingsdata hebben georganiseerd. Stel je een student voor die leert lezen. Als je hem een eenvoudige zin geeft, dan een paragraaf, en dan een pagina met een grafiek en een wiskundig probleem allemaal gemengd door elkaar, leert hij sneller dan wanneer je hem eerst de moeilijkste pagina voorlegt. De onderzoekers pasten deze logica toe op de computer. Ze analyseerden duizenden documentafbeeldingen en gaven elk een moeilijkheidsscore gebaseerd op hoe druk de pagina was, hoe complex de tekst was en hoeveel tabellen of formules deze bevatte. Vervolgens sorteerden ze deze documenten van de eenvoudigste naar de meest complexe. In plaats van de computer alle pagina's tegelijk te tonen, voerden ze eerst de gemakkelijke pagina's in. Zodra het model de eenvoudige pagina's onder de knie had, voegden ze de iets moeilijkere pagina's toe, en bleven ze de moeilijkheid opbouwen. Deze stapsgewijze aanpak, bekend als curriculum learning, stelde het kleine model in staat om een sterke basis op te bouwen voordat het de rommelige, ingewikkelde documenten aanpakte die machines normaal gesproken in de war brengen.

Om dit nog effectiever te maken, veranderden de onderzoekers de manier waarop het model werd gecorrigeerd wanneer het fouten maakte. Standaard trainingsmethoden richten zich bijna volledig op de vraag of de woorden die de computer schrijft overeenkomen met de woorden in het document. Ze negeren vaak of de computer de locatie van die woorden correct heeft geïdentificeerd. In een echt document is weten dat een tabel in de rechterbovenhoek staat net zo belangrijk als weten wat er in de tabel staat. Het team introduceerde een nieuwe regel die het model strafte als het de verkeerde plek raadde voor een stuk tekst, een formule of een tabel. Dit dwong het model om de fysieke lay-out van de pagina te leren, waardoor de woorden verankerd werden op hun juiste plaatsen. Dit ruimtelijk bewustzijn hielp het model de structuur van het document te begrijpen, wat op zijn beurt de prestaties bij het lezen van de tekst verbeterde.

De resultaten van deze aanpak waren opmerkelijk. De onderzoekers testten hun nieuwe model, dat ze LACL-OCR noemden, op een benchmark die meer dan duizend diverse documentafbeeldingen bevat, variërend van tekstboeken tot handgeschreven aantekeningen. Met slechts 256 miljoen parameters behaalde het model een score van 85,18. Om dit in perspectief te plaatsen: dit piepkleine model presteerde beter dan andere gespecialiseerde modellen die veel groter waren, waaronder één met drie miljard parameters en een andere met zeven miljard parameters. Het kwam zelfs heel dicht in de buurt van de prestaties van een algemeen doelgericht kunstmatige intelligentiemodel met één biljoen parameters, wat duizenden malen groter is. Het kleine model was niet alleen in staat om de grotere modellen te evenaren; het overtrof ze zelfs in specifieke taken zoals het herkennen van tabellen en wiskundige formules. De studie suggereert dat de manier waarop een model wordt getraind even belangrijk is als hoe groot het is. Door het model op een logische volgorde te onderwijzen en ervoor te zorgen dat het de lay-out van de pagina begrijpt, kan een lichtgewicht systeem resultaten behalen die voorheen werden geacht een enorme hoeveelheid rekenkracht te vereisen.

Dit werk daagt het idee uit dat groter altijd beter is in kunstmatige intelligentie. De onderzoekers ontdekten dat de eerdere problemen van kleine modellen niet te wijten waren aan een gebrek aan omvang, maar aan een gebrek aan een slimme trainingsstrategie. Door een combinatie van een op moeilijkheidsgraad geordend leertraject en een focus op de ruimtelijke lay-out, ontsloten ze het volledige potentieel van een compact model. Dit betekent dat krachtige documentleestools in de toekomst op standaardcomputers of zelfs mobiele apparaten kunnen draaien, in plaats van dat ze dure, energieverslindende servers nodig hebben. De bevindingen suggereren dat met de juiste onderwijsmethode, kleine modellen de complexe, rommelige realiteit van de wereldwijde documenten net zo goed kunnen aan kunnen als hun reusachtige tegenhangers.