Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

In den stillen Ecken von Büros und Regierungsgebäuden in ganz Deutschland existiert noch immer eine gewaltige Menge an Papierarbeit in ihrer ursprünglichen, physischen Form. Trotz des digitalen Zeitalters bewältigen fast vierzig Prozent der Unternehmen dort immer noch die Hälfte ihrer administrativen Aufgaben auf Papier, und viele andere verlassen sich sogar noch stärker darauf. Dies schafft einen hartnäckigen Engpass: Handschriftliche Notizen auf Formularen müssen in digitale Daten umgewandelt werden, um nutzbar zu sein. Während Computer mittlerweile bemerkenswert gut darin geworden sind, gedruckten Text zu lesen, haben sie mit menschlicher Handschrift erhebliche Schwierigkeiten – insbesondere dann, wenn diese Schrift über eine Seite verteilt in kleinen, isolierten Kästchen statt in fortlaufenden Sätzen steht. Die Herausforderung besteht nicht nur darin, die Buchstaben zu erkennen, sondern zu verstehen, welches Wort zu welchem spezifischen Feld gehört, wie etwa einem Namen, einem Datum oder einer Unterschrift. Für Organisationen, die mit sensiblen personenbezogenen Informationen arbeiten, kann die Lösung nicht darin bestehen, diese Dokumente an einen Cloud-Server zu senden; die Daten müssen innerhalb der eigenen sicheren Mauern des Unternehmens bleiben. Diese Einschränkung erzwingt eine schwierige Wahl zwischen dem Aufbau spezialisierter, maßgeschneiderter Software oder der Nutzung leistungsfähiger, allgemeiner künstlicher Intelligenz, die dieses spezifische Formular noch nie gesehen hat.

Ein Team von Forschern der Hochschule für angewandte Wissenschaften Karlsruhe setzte sich zum Ziel, dieses Rätsel zu lösen, indem sie einen neuen Benchmark für genau dieses Szenario entwickelten. Sie sammelten 291 reale Verwaltungsformulare, die von 95 verschiedenen Personen ausgefüllt wurden, um einen Datensatz zu erstellen, den sie „Handwritten German Administrative Forms“ nannten. Um sicherzustellen, dass die Daten öffentlich geteilt werden konnten, ohne die Privatsphäre zu verletzen, waren die Inhalte synthetisch, was bedeutet, dass Namen und Adressen gefälscht waren, die Handschrift jedoch echt und vielfältig war. Die Forscher entwarfen drei verschiedene Versionen desselben Formulars, bezeichnet als Layout A, B und C. Layout A war geräumig und leicht auszufüllen, Layout B war eine kompakte Tabelle, die die Menschen dazu zwang, kleiner zu schreiben, und Layout C hatte gar keine Kästchen, sodass der Schreiber selbst entscheiden musste, wo er seine Antworten platzierte. Entscheidend war, dass jeder Schreiber alle drei Layouts mit exakt denselben Informationen ausfüllte, was es dem Team ermöglichte, zu isolieren, wie die Form und Struktur des Papiers selbst die Fähigkeit des Computers beeinflusste, den Text zu lesen.

Die Studie verglich zwei unterschiedliche Ansätze zur Digitalisierung dieser Formulare. Der erste war eine „Spezialisten“-Pipeline, eine traditionelle Methode, bei der ein Computerprogramm zuerst jedes einzelne Feld der Handschrift ausschneidet, bereinigt und dann an ein Modell weiterleitet, das speziell auf tausenden ähnlichen Beispielen trainiert wurde. Der zweite Ansatz nutzte „Vision-Language-Modelle“, eine Art von künstlicher Intelligenz, die ein gesamtes Bild betrachten und es wie ein Mensch verstehen kann, ohne für jede neue Aufgabe neu trainiert werden zu müssen. Die Forscher testeten diese Systeme auf den drei Layouts, um zu sehen, welche Methode genauer war und welche die Änderungen im Design des Formulars ohne Probleme bewältigen konnte.

Die Ergebnisse zeigten eine überraschende Verschiebung des Machtgefüges. Auf dem einfachen, geräumigen Layout A übertrafen die allgemeinen Modelle der künstlichen Intelligenz tatsächlich den hochtrainierten Spezialisten. Zwei der Vision-Language-Modelle machten weniger Fehler als die Spezialisten-Pipeline, obwohl der Spezialist exakt auf dieses Layout feinabgestimmt worden war. Das Spezialisten-Modell hatte die größten Schwierigkeiten mit den langen Freitext-Kommentarfeldern, in denen die Handschrift weniger eingeschränkt war, während die allgemeinen Modelle diese Abschnitte mit größerer Leichtigkeit bewältigten. Als die Forscher zu den schwierigeren Layouts B und C übergingen, weitete sich die Lücke. Das Spezialisten-Modell, das darauf angewiesen war, genau zu wissen, wo sich die Kästchen befanden, begann signifikant zu versagen, als die Kästchen klein oder gar nicht vorhanden waren. Es konnte sich nicht an die neuen visuellen Strukturen anpassen, wohingegen die allgemeinen Modelle robust blieben und den Text trotz der Änderungen im Layout weiterhin präzise lasen.

Einer der kritischsten Befunde betraf die Zuverlässigkeit der Ausgabe. Obwohl die allgemeinen Modelle im Durchschnitt genauer waren, stellten die Forscher fest, dass kein evaluiertes System den menschlichen Prüfer vollständig ersetzen konnte. Das leistungsfähigste On-Premise-Setup schaffte es nur in etwa 7,7 Prozent der Fälle, ein Formular ohne einen einzigen Fehler zu transkribieren. Das bedeutet, dass für die überwiegende Mehrheit der Formulare immer noch ein Mensch die Arbeit überprüfen müsste. Die Studie hob jedoch einen großen Vorteil der allgemeinen Modelle in Bezug auf die Flexibilität hervor. Um die Spezialisten-Pipeline an ein neues Formular-Design anzupassen, müssten Ingenieure das Modell neu trainieren und den Code umschreiben, der die Textfelder ausschneidet. Im Gegensatz dazu konnten die allgemeinen Modelle durch eine einfache Änderung der Anweisungen an ein neues Layout angepasst werden, ohne dass ein erneutes Training erforderlich war. Dies deutet darauf an, dass es für Organisationen, die mit vielen verschiedenen Arten von Formularen arbeiten, praktischer sein könnte, ein flexibles, allgemeines Modell zu verwenden, anstatt für jedes einzelne ein maßgeschneidertes System zu bauen – vorausgesetzt, man akzeptiert, dass ein Mensch die Endergebnisse noch prüfen muss.

Die Studie befasste sich auch mit den Grenzen der aktuellen Technologie. Während die allgemeinen Modelle gut funktionierten, produzierten sie manchmal seltsame Fehler, wie etwa das Wiederholen von Wörtern oder das Versagen beim Erkennen, wenn ein Schreiber etwas durchgestrichen hatte. Das Spezialisten-Modell hingegen war spröde; wenn der Computer das Textfeld nicht perfekt lokalisieren konnte, weil der Schreiber etwas außerhalb der Linien geschrieben hatte, wurde das gesamte Feld falsch gelesen. Die Forscher kamen zu dem Schluss, dass die Digitalisierung handschriftlicher Formulare zwar große Fortschritte gemacht hat, der Traum einer vollautomatischen, fehlerfreien Digitalisierung jedoch vorerst unerreichbar bleibt. Der effektivste Weg nach vorne scheint ein hybrider Ansatz zu sein: die Nutzung leistungsstarker, allgemeiner Modelle für die Hauptarbeit des Textlesens, während man gleichzeitig auf die menschliche Aufsicht vertraut, um die unvermeidlichen Fehler abzufangen, und dabei die sensiblen Daten sicher innerhalb der eigenen Infrastruktur der Organisation hält.