Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

Negli angoli silenziosi di uffici e palazzi governativi in tutta la Germania, una vasta quantità di documenti esiste ancora nella sua forma fisica originale. Nonostante l'era digitale, quasi il quaranta per cento delle aziende lì opera ancora gestendo metà dei propri compiti amministrativi su carta, e molte altre vi si affidano ancora più pesantemente. Ciò crea un collo di bottiglia persistente: gli appunti scritti a mano sui moduli devono essere convertiti in dati digitali per essere utili. Sebbene i computer siano diventati straordinariamente bravi a leggere il testo stampato, hanno grandi difficoltà con la scrittura umana, specialmente quando tale scrittura è sparsa su una pagina in piccoli riquadri isolati anziché fluire in frasi continue. La sfida non è solo riconoscere le lettere, ma capire quale parola appartenga a un campo specifico, come un nome, una data o una firma. Per le organizzazioni che trattano informazioni personali sensibili, la soluzione non può prevedere l'invio di questi documenti a un server cloud; i dati devono rimanere all'interno delle mura sicure dell'azienda stessa. Questo vincolo impone una scelta difficile tra la costruzione di software specializzati e personalizzati o l'uso di un'intelligenza artificiale potente e generalista, che non ha mai visto quel modulo specifico prima d'ora.

Un team di ricercatori della Università di Scienze Applicate di Karlsruhe si è posto l'obiettivo di risolvere questo enigma creando un nuovo benchmark per questo esatto scenario. Hanno raccolto 291 moduli amministrativi reali, compilati da 95 persone diverse, per creare un dataset che hanno chiamato Handwritten German Administrative Forms. Per garantire che i dati potessero essere condivisi pubblicamente senza violare la privacy, i contenuti erano sintetici, il che significa che i nomi e gli indirizzi erano falsi, ma la grafia era autentica e varia. I ricercatori hanno progettato tre versioni distinte dello stesso modulo, etichettate come A, B e C. Il Layout A era spazioso e facile da compilare, il Layout B era una tabella compatta che costringeva le persone a scrivere in piccolo, e il Layout C non aveva riquadri, lasciando al mittente la decisione di dove collocare le proprie risposte. Fondamentalmente, ogni scrivente compilava tutti e tre i layout con le stesse identiche informazioni, permettendo al team di isolare come la forma e la struttura della carta influenzassero la capacità del computer di leggere il testo.

Lo studio ha confrontato due approcci differenti per la digitalizzazione di questi moduli. Il primo era una pipeline "specialista", un metodo tradizionale in cui un programma per computer ritaglia prima ogni singolo riquadro della scrittura, lo pulisce e poi lo alimenta a un modello che è stato specificamente addestrato su migliaia di esempi simili. Il secondo approccio utilizzava i "modelli vision-language", un tipo di intelligenza artificiale capace di guardare un'intera immagine e comprenderla come farebbe un essere umano, senza la necessità di essere riaddestrato per ogni nuova attività. I ricercatori hanno testato questi sistemi sui tre layout per vedere quale metodo fosse più accurato e quale potesse gestire i cambiamenti nel design del modulo senza interrompersi.

I risultati hanno rivelato uno sorprendente spostamento di potere. Sul semplice e spazioso Layout A, i modelli di intelligenza artificiale generale hanno effettivamente superato lo specialista altamente addestrato. Due dei modelli vision-language hanno commesso meno errori rispetto alla pipeline specialistica, nonostante quest'ultima fosse stata specificamente perfezionata su quel preciso layout. Il modello specialista ha incontrato le maggiori difficoltà con i lunghi campi di commento a testo libero, dove la scrittura era meno vincolata, mentre i modelli generali hanno gestito queste sezioni con maggiore facilitità. Quando i ricercatori si sono spostati verso i layout più difficili, B e C, il divario si è ampliato. Il modello specialista, che faceva affidamento sulla conoscenza esatta di dove fossero i riquadri, ha iniziato a fallire significativamente quando i riquadri erano piccoli o del tutto assenti. Non riusciva ad adattarsi alle nuove strutture visive, mentre i modelli generali rimanevano robusti, continuando a leggere il testo con precisione nonostante i cambiamenti nel layout.

Uno dei risultati più critici riguardava l'affidabilità dell'output. Sebbene i modelli generali fossero più accurati in media, i ricercatori hanno scoperto che nessun sistema valutato poteva sostituire completamente un revisore umano. Il sistema on-premise con le migliori prestazioni è riuscito a trascrivere un modulo senza un singolo errore solo in circa il 7,7 per cento dei casi. Ciò significa che per la stragrande maggioranza dei moduli, un essere umano dovrebbe ancora controllare il lavoro. Tuttavia, lo studio ha evidenziato un grande vantaggio per i modelli generali in termini di flessibilità. Per adattare la pipeline specialistica a un nuovo design di modulo, gli ingegneri dovrebbero riaddestrare il modello e riscrivere il codice che ritaglia i riquadri di testo. Al contrario, i modelli generali potevano essere adattati a un nuovo layout semplicemente cambiando le istruzioni fornite loro, senza alcun riaddestramento. Ciò suggerisce che per le organizzazioni che gestiscono molti tipi diversi di moduli, l'uso di un modello generale e flessibile potrebbe essere più pratico rispetto alla costruzione di un sistema personalizzato per ognuno, a patamente che si accetti che un essere umano dovrà ancora verificare i risultati finali.

Lo studio ha anche toccato i limiti dell'attuale tecnologia. Sebbene i modelli generali si siano comportati bene, a volte producevano errori bizzarri, come la ripetizione di parole o il mancato riconoscimento di quando un autore avesse sbarrato qualcosa. Il modello specialista, nel frattempo, era fragile; se il computer non riusciva a individuare perfettamente il riquadro di testo perché l'autore aveva scritto leggermente fuori dalle linee, l'intero campo veniva letto erroneamente. I ricercatori hanno concluso che, sebbene l'intelligenza artificiale abbia compiuto grandi passi avanti, il sogno di una digitalizzazione della scrittura manuale completamente automatica e priva di errori rimane per ora fuori portata. La via più efficace sembra essere un approccio ibrido: utilizzare modelli generali potenti per svolgere il lavoro pesante di lettura del testo, contando al contempo sulla supervisione umana per cogliere gli inevitabili errori, il tutto mantenendo i dati sensibili in modo sicuro all'interno dell'infrastruttura dell'organizzazione stessa.