DocAnnot -- Accelerating the Creation of Key Information Extraction Datasets with GenAI-Powered Auto-annotation
DocAnnot is een door GenAI aangedreven framework dat de creatie van Key Information Extraction-datasets versnelt door Large Vision Language Models, OCR en een nieuw Spatially Informed Contextual Matching-algoritme te combineren om hoogwaardige automatische annotaties te genereren die handmatige inspanning aanzienlijk verminderen terwijl ze effectieve training van downstream-modellen mogelijk maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren om een slordig, handgeschreven bonnetje of een complex verzekeringsformulier te lezen. Je wilt dat de robot de "Totaal", de "Datum" en de "Winkelnaam" vindt en deze in een net lijstje opschrijft. Dit wordt Key Information Extraction (KIE) genoemd. Lange tijd was de enige manier om een robot dit trucje te leren dat een mens met de hand elk woord en getal op duizenden documenten moest aanwijzen. Het is alsof je een team mensen inhuurt om handmatig gegevens van een miljoen bonnetjes te kopiëren en plakken—traag, duur en saai.
Onlangs is er een nieuw soort superintelligent computerbrein gearriveerd, een Large Vision Language Model (LVM). Denk aan een robot die niet alleen tekst kan lezen, maar ook de afbeelding van het document kan "zien", waardoor hij begrijpt hoe woorden op de pagina zijn gerangschikt. Echter, deze robots zijn nog een beetje als overijverige stagiairs: ze zijn geweldig in het begrijpen van het verhaal, maar raken soms in de war over precies welk getal bij welk label hoort, of ze kunnen feiten verzinnen die er niet zijn (een fenomeen dat bekend staat als "hallucineren"). De grote vraag die wetenschappers stellen is: Kunnen we deze slimme robots gebruiken om het saaie werk van het labelen van data voor ons te doen, zodat we andere robots sneller en goedkoper kunnen trainen, zonder dat een mens elke regel hoeft te controleren?
Dit is precies waar het papier DocAnnot zich mee bezighoudt. De onderzoekers hebben een nieuw systeem gebouwd dat fungeert als een superefficiënte lopende band voor het creëren van trainingsdata. In plaats van dat een mens dozen rond woorden tekent, gebruikt hun systeem een driedelige dans om dit automatisch te doen. Eerst kijkt een "Visie-Robot" (de LVLM) naar het document en raadt wat de belangrijke labels en waarden zijn, zoals het vinden van de "Totaal" en het getal dat ernaast staat. Tweede is een klassieke "Tekstscanner" (OCR) die elk woord op de pagina leest en een nauwkeurige box rond de positie van elk woord tekent.
Hier gebeurt de magie. De derde stap is een nieuw algoritme genaamd SICM (Spatially Informed Contextual Matching). Stel je voor dat de Visie-Robot zegt: "Het totaal is 100 dollar," maar de Tekstscanner ziet het getal "100" drie keer op de pagina verschijnen. Hoe weet het systeem dan welk "100" de juiste is? Het SICM-algoritme werkt als een detective met een liniaal. Het kijkt naar de "Key Text" (het woord "Totaal") die de Visie-Robot heeft gevonden, meet de afstand tot alle kandidaat-"100"s, en kiest degene die fysiek het dichtst bij het woord "Totaal" ligt. Het combineert het "brein" van de robot (begrip van betekenis) met een "liniaal" (begrip van lay-out) om de juiste keuze te maken.
Het team heeft dit systeem getest op twee beroemde sets bonnetjesdata, genaamd CORD en SROIE. De resultaten waren veelbelovend maar niet perfect. Wanneer het systeem probeerde de bonnetjes zelfstandig te labelen, behaalde het een nauwkeurigheidsscore (een F1-score) van ongeveer 0,679 op de CORD-dataset en 0,846 op de SROIE-dataset. Om dit in perspectief te plaatsen: een menselijke expert zou dichter bij een 0,9 of hoger scoren, dus de robot is goed, maar nog niet perfect.
De echte verrassing kwam echter toen ze deze door robots gemaakte labels gebruikten om een nieuwe, kleinere robot te trainen om de taak uit te voeren. Ze vroegen zich af: "Als we een model trainen alleen op de door DocAnnot gemaakte data, kan het dan nog steeds leren?" Het antwoord was een voorzichtig "ja". Een model dat volledig getraind is op de automatisch gegenereerde data, behaalde een score van 0,6765 op de CORD-testset. Hoewel dit lager is dan een model dat getraind is op perfecte menselijke data (dat een score van 0,9141 behaalde), is het een respectabele prestatie die suggereert dat je niet nodig hebt om elk document door mensen te laten labelen om een werkend systeem te krijgen.
Het papier suggereert ook dat het "Spatially Informed" deel van hun systeem cruciaal is. Toen ze het systeem draaiden zonder de "liniaal" (het SICM-algoritme), daalde de nauwkeurigheid op de CORD-dataset aanzienlijk, van 0,679 naar 0,571. Dit bewijst dat het hebben van een slimme robot alleen niet genoeg is; je hebt de ruimtelijke logica nodig om te weten welk woord bij welk label hoort.
Ten slotte probeerden de onderzoekers een "hybride" aanpak. Ze mengden het werk van de robot met slechts een heel klein beetje menselijke hulp—specifiek, ze voegden 10%, 20% of 30% aan door mensen gelabelde data toe aan de data van de robot. Deze kleine boost duwde de prestaties omhoog, waarbij de F1-score steeg naar 0,7241 met slechts 30% menselijke hulp. Dit suggereert dat de beste toekomst misschien niet "alleen robots" of "alleen mensen" is, maar een team waarbij de robot het zware werk doet en de mens alleen bijspringt om de lastige stukjes te corrigeren.
Kortom, DocAnnot beweert niet het probleem van perfecte automatisering te hebben opgelost. In plaats daarvan biedt het een praktisch, kostenbesparend hulpmiddel dat "goed genoeg" data kan generen om modellen te trainen, of kan dienen als een krachtige assistent die de tijd die mensen besteden aan saai papierwerk vermindert. Het is een stap naar het sneller en goedkoper maken van documentverwerking, zelfs als we nog steeds een mens nodig hebben om het werk te controleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.