Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

In de stille hoekjes van kantoren en overheidsgebouwen door heel Duitsland bestaat een enorme hoeveelheid papierwerk nog steeds in zijn oorspronkelijke, fysieke vorm. Ondanks het digitale tijdperk handelt bijna veertig procent van de bedrijven daar nog steeds de helft van hun administratieve taken op papier af, en velen anderen leunen er zelfs nog zwaarder op. Dit creëert een hardnekkige flessenhals: handgeschreven aantekeningen op formulieren moeten worden omgezet in digitale gegevens om bruikbaar te zijn. Hoewel computers verrassend goed zijn geworden in het lezen van gedrukte tekst, hebben ze grote moeite met menselijk handschrift, vooral wanneer dat schrift verspreid is over een pagina in kleine, geïsoleerde vakken in plaats van in doorlopende zinnen te stromen. De uitdaging is niet alleen het herkennen van de letters, maar het begrijpen van welk woord bij welk specifiek veld hoort, zoals een naam, een datum of een handtekening. Voor organisaties die te maken hebben met gevoelige persoonlijke informatie, kan de oplossing niet inhouden dat deze documenten naar een cloudserver worden gestuurd; de gegevens moeten binnen de eigen beveiligde muren van het bedrijf blijven. Deze beperking dwingt tot een moeilijke keuze tussen het bouwen van gespecialiseerde, op maat gemaakte software of het gebruiken van krachtige, algemene kunstmatige intelligentie die de specifieke vorm nog nooit eerder heeft gezien.

Een team van onderzoekers aan de Hogeschool van toegepaste wetenschappen in Karlsruhe zette zich schouder aan schouder met dit puzzelstukje door een nieuwe benchmark te creëren voor exact dit scenario. Ze verzamelden 291 echte administratieve formulieren, ingevuld door 95 verschillende mensen, om een dataset te creëren die zij de Handwritten German Administrative Forms noemden. Om ervoor te zorgen dat de gegevens publiekelijk gedeeld konden worden zonder de privacy te schenden, was de inhoud synthetisch, wat betekent dat de namen en adressen nep waren, maar het handschrift echt en gevarieerd. De onderzoekers ontwierpen drie verschillende versies van hetzelfde formulier, aangeduid als Layout A, B en C. Layout A was ruim en gemakkelijk in te vullen, Layout B was een compacte tabel die mensen dwong kleiner te schrijven, en Layout C had helemaal geen vakken, waardoor de schrijver zelf kon beslissen waar de antwoorden geplaatst moesten worden. Cruciaal was dat elke schrijver alle drie de layouts met exact dezelfde informatie invulde, waardoor het team de vorm en structuur van het papier zelf kon isoleren om te zien hoe dit de bekwaamheid van de computer om de tekst te lezen beïnvloedde.

De studie vergeleek twee verschillende benaderingen voor het digitaliseren van deze formulieren. De eerste was een "specialistische" pijplijn, een traditionele methode waarbij een computerprogramma eerst elk individueel vak met handschrift uitknipt, het opschoont en het vervolgens aan een model voert dat specifelijk is getraind op duizenden soortgelijke voorbeelden. De tweede benadering maakte gebruik van "vision-language modellen", een type kunstmatige intelligentie dat een volledige afbeelding kan bekijken en deze begrijpt zoals een mens dat doet, zonder dat het voor elke nieuwe taak opnieuw getraind hoeft te worden. De onderzoekers testten deze systemen op de drie layouts om te zien welke methode nauwkeuriger was en welke beter kon omgaan met veranderingen in het ontwerp van het formulier zonder te falen.

De resultaten onthulden een verrassende verschuiving in de machtsbalans. Op de eenvoudige, ruime Layout A presteerden de algemene modellen voor kunstmatige intelligentie de gespecialiseerde expert zelfs beter. Twee vision-language modellen maakten minder fouten dan de specialistische pijplijn, ook al was de specialist specifiek verfijnd op exact die layout. Het specialistische model had de meeste moeite met de lange, vrije tekstvelden, waar het handschrift minder beperkt was, terwijl de algemene modellen deze secties met meer gemak afhandelden. Wanneer de onderzoekers overgingen naar de moeilijkere layouts, B en C, werd het gat groter. Het specialistische model, dat vertrouwde op de exacte locatie van de vakken, begon aanzienlijk te falen wanneer de vakken klein waren of geheel ontbraken. Het kon zich niet aanpassen aan de nieuwe visuele structuren, terwijl de algemene modellen robuust bleven en de tekst accuraat bleven lezen ondanks de veranderingen in de layout.

Een van de meest cruciale bevindingen betrof de betrouwbaarheid van de output. Hoewel de algemene modellen gemiddeld genomen nauwkeuriger waren, stelden de onderzoekers vast dat geen enkel geëvalueerd systeem de menselijke beoordelaar volledig kon vervangen. De best presterende on-premise opstelling slaagde er slechts in om een formulier zonder een enkele fout te transcriberen in ongeveer 7,7 procent van de gevallen. Dit betekent dat voor het overgrote deel van de formulieren een mens nog steeds het werk moet controleren. De studie benadrukte echter een groot voordeel voor de algemene modellen wat betrekt de flexibiliteit. Om de specialistische pijplijn aan te passen aan een nieuw formulierontwerp, zouden ingenieurs het model opnieuw moeten trainen en de code die de tekstvakken uitknipt moeten herschrijven. In tegenstelling hiertoe kunnen de algemene modellen worden aangepast aan een nieuwe layout door simpelweg de instructies die aan hen worden gegeven te wijzigen, zonder dat er hertraining nodig is. Dit suggereert dat voor organisaties die met veel verschillende soorten formulieren te maken hebben, het gebruik van een flexibel, algemeen model praktischer kan zijn dan het bouwen van een op maat gemaakt systeem voor elk afzonderlijk geval, mits men accepteert dat een mens nog steeds de resultaten moet verifiëren.

De studie raakte ook aan de beperkingen van de huidige technologie. Hoewel de algemene modellen goed presteerden, maakten ze soms vreemde fouten, zoals het herhalen van woorden of het niet herkennen wanneer een schrijver iets had doorgestreept. Het specialistische model was ondertussen broos; als de computer het tekstvak niet perfect kon lokaliseren omdat de schrijver iets buiten de lijnen had geschreven, werd het hele vel verkeerd gelezen. De onderzoekers concludeerden dat hoewel kunstmatige intelligentie grote stappen heeft gezet, de droom van volledig automatische, foutloze digitalisering van handgeschreven formulieren voorlopig nog onbereikbaar blijft. De meest effectieve weg voorwaarts lijkt een hybride aanpak te zijn: het gebruik van krachtige, algemene modellen om het zware werk van het lezen van de tekst te doen, terwijl men vertrouwt op menselijk toezicht om de onvermijdelijke fouten op te vangen, terwijl de gevoelige gegevens veilig binnen de eigen infrastructuur van de organisatie blijven.