DocAnnot -- Accelerating the Creation of Key Information Extraction Datasets with GenAI-Powered Auto-annotation
DocAnnot ist ein durch GenAI gestütztes Framework, das die Erstellung von Datensätzen für die Extraktion von Schlüsselinformationen beschleunigt, indem es Large Vision Language Models, OCR und einen neuartigen räumlich informierten kontextuellen Abgleich-Algorithmus kombiniert, um hochwertige Auto-Annotationen zu generieren, die den manuellen Aufwand erheblich reduzieren und gleichzeitig ein effektives Training nachgeschalteter Modelle ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen unordentlichen, handschriftlichen Beleg oder ein komplexes Versicherungsformular zu lesen. Sie möchten, dass der Roboter den „Gesamtbetrag“, das „Datum“ und den „Ladenamen“ findet und sie in einer ordentlichen Liste aufschreibt. Dies nennt man Key Information Extraction (KIE). Lange Zeit war der einzige Weg, einem Roboter diesen Trick beizubringen, darin zu bestehen, dass ein Mensch sich hinsetzt und auf tausenden Dokumenten jedes einzelne Wort und jede Zahl manuell markiert. Es ist, als würde man ein Team von Menschen anheuern, um Daten von einer Million Quittungen per Hand kopieren und einzufügen – langsam, teuer und langweilig.
Vor kurzem ist eine neue Art von superintelligentem Computergehirn namens Large Vision Language Model (LVLM) erschienen. Denken Sie an einen Roboter, der nicht nur Text lesen kann, sondern auch das Bild des Dokuments „sieht“ und versteht, wie die Wörter auf der Seite angeordnet sind. Diese Roboter sind jedoch noch ein wenig wie übereifrige Praktikanten: Sie sind großartig darin, die Geschichte zu verstehen, aber manchmal verwirren sie sich darüber, genau welche Zahl zu welchem Label gehört, oder sie erfinden Fakten, die gar nicht da sind (ein Phänomen, das als „Halluzination“ bekannt ist). Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir diese smarten Roboter nutzen, um die langweilige Arbeit des Labelns für uns zu erledigen, damit wir andere Roboter schneller und günstiger trainieren können, ohne dass ein Mensch jede einzelne Zeile überprüfen muss?
Genau das adressiert das Paper DocAnnot. Die Forscher haben ein neues System entwickelt, das wie ein super-effiziente Fließband für die Erstellung von Trainingsdaten fungiert. Anstatt dass ein Mensch Kästchen um Wörter zeichnet, nutzt ihr System einen dreistufigen Tanz, um dies automatisch zu erledigen. Zuerst schaut ein „Vision-Roboter“ (das LVLM) auf das Dokument und rät, was die wichtigen Labels und Werte sind, wie zum Beispiel das Finden des „Gesamtbetrags“ und der Zahl daneben. Zweitens liest ein klassischer „Text-Scanner“ (OCR) jedes einzelne Wort auf der Seite und zeichnet ein präzises Kästchen darum, wo sich jedes Wort befindet.
Hier geschieht die Magie: Der dritte Schritt ist ein neuer Algorithmus namens SICM (Spatially Informed Contextual Matching). Stellen Sie sich vor, der Vision-Roboter sagt: „Der Gesamtbetrag ist 100 Dollar“, aber der Text-Scanner sieht die Zahl „100“ dreimal auf der Seite erscheinen. Wie weiß das System, welches der richtigen „100“ es ist? Der SICM-Algorithmus agiert wie ein Detektiv mit einem Lineal. Er schaut sich den „Schlüsseltext“ (das Wort „Gesamtbetrag“) an, den der Vision-Roboter gefunden hat, misst die Entfernung zu allen Kandidaten-„100“s und wählt diejenige aus, die physisch am nächsten am Wort „Gesamtbetrag“ liegt. Er kombelt das „Gehirn“ des Roboters (das Verständnis der Bedeutung) mit einem „Lineal“ (dem Verständnis des Layouts), um die richtige Wahl zu treffen.
Das Team testete dieses System auf zwei berühmten Datensätzen für Quittungen, genannt CORD und SROIE. Die Ergebnisse waren vielversprechend, aber nicht perfekt. Wenn das System versuchte, die Quittungen eigenständig zu labeln, erreichte es einen Genauigkeitswert (einen F1-Score) von etwa 0,679 beim CORD-Datensatz und 0,846 beim SROIE-Datensatz. Um das einzuordnen: Ein menschlicher Experte würde einen Wert von näher an 0,9 oder höher erzielen, was bedeutet, dass der Roboter gut, aber noch nicht perfekt ist.
Die eigentliche Überraschung kam jedoch, als sie diese robotergestützten Labels verwendeten, um einen neuen, kleineren Roboter für diese Aufgabe zu trainieren. Sie fragten sich: „Wenn wir ein Modell nur mit den von DocAnnot erstellten Daten trainieren, kann es dann trotzdem lernen?“ Die Antwort war ein vorsichtiges „Ja“. Ein Modell, das ausschließlich auf den auto-annotierten Daten trainiert wurde, erreichte einen Score von 0,6765 auf dem CORD-Testdatensatz. Obwohl dies niedriger ist als ein Modell, das mit perfekten, von Menschen erstellten Daten trainiert wurde (welches 0,9141 erreichte), ist es eine respektable Leistung, die darauf hindeutet, dass man nicht Menschen braucht, um jedes einzelne Dokument zu labeln, um ein funktionierendes System zu erhalten.
Das Paper legt zudem nahe, dass der „räumlich informierte“ Teil ihres Systems entscheidend ist. Als sie das System ohne das „Lineal“ (den SICM-Algorithmus) laufen ließen, sank die Genauigkeit auf dem CORD-Datensatz signifikant von 0,679 auf 0,571. Dies beweist, dass es nicht ausreicht, einfach nur einen smarten Roboter zu haben; man benötigt die räumliche Logik, um zu wissen, welches Wort zu welchem Label gehört.
Schließlich probierten die Forscher einen „Hybrid-Ansatz“ aus. Sie mischten die Arbeit des Roboters mit nur einem winzigen Anteil menschlicher Hilfe – genauer gesagt, fügten sie 10 %, 20 % oder 30 % an menschlich gelabelten Daten hinzu. Dieser kleine Schub steigerte die Leistung, wobei der F1-Score mit nur 30 % menschlicher Hilfe auf 0,7241 kletterte. Dies deutet darauf hin, dass die beste Zukunft vielleicht nicht „nur Roboter“ oder „nur Menschen“ ist, sondern ein Team, in dem der Roboter die schwere Arbeit erledigt und der Mensch nur einspringt, um die kniffligen Teile zu korrigieren.
Kurz gesagt: DocAnnot behauptet nicht, das Problem der perfekten Automatisierung gelöst zu zu haben. Stattdessen bietet es ein praktisches, kostensparendes Werkzeug an, das „gut genuge“ Daten generieren kann, um Modelle zu trainieren, oder als leistungsstarker Assistent dienen kann, der die Zeit reduziert, die Menschen für langweilige Papierarbeit aufwenden müssen. Es ist ein Schritt in Richtung einer schnelleren und günstigeren Dokumentenverarbeitung, auch wenn wir immer noch einen Menschen brauchen, der die Arbeit überprüft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.