Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

Dans les recoins tranquilles des bureaux et des bâtiments gouvernementaux à travers l'Allemagne, une immense quantité de paperasse existe encore sous sa forme physique originale. Malgré l'ère numérique, près de quarante pour cent des entreprises y traitent encore la moitié de leurs tâches administratives sur papier, et beaucoup d'autres s'appuient même plus lourdement sur celui-ci. Cela crée un goulot d'étranglement persistant : les notes manuscrites sur les formulaires doivent être converties en données numériques pour être exploitables. Bien que les ordinateurs soient devenus remarquablement doués pour lire le texte imprimé, ils éprouvent des difficultés significatives avec l'écriture manuscrite humaine, surtout lorsque cette écriture est éparpillée sur une page dans de petites cases isolées plutôt que de couler en phrases continues. Le défi ne consiste pas seulement à reconnaître les lettres, mais à comprendre quel mot appartient à quel champ spécifique, tel qu'un nom, une date ou une signature. Pour les organisations traitant des informations personnelles sensibles, la solution ne peut pas consister à envoyer ces documents vers un serveur cloud ; les données doivent rester à l'intérieur des propres murs sécurisés de l'entreprise. Cette contrainte impose un choix difficile entre la construction d'un logiciel spécialisé et personnalisé ou l'utilisation d'une intelligence artificielle puissante et généraliste qui n'a jamais vu le formulaire spécifique auparavant.

Une équipe de chercheurs de l'Université des sciences appliquées de Karlsruhe s'est donné pour mission de résoudre ce casse-tête en créant un nouveau référentiel pour ce scénario précis. Ils ont rassemblé 291 formulaires administratifs réels, remplis par 95 personnes différentes, pour créer un ensemble de données qu'ils ont nommé « Handwritten German Administrative Forms » (Formulaires administratifs allemands manuscrits). Pour garantir que les données puissent être partagées publiquement sans violer la vie privée, le contenu était synthétique, ce qui signifie que les noms et les adresses étaient fictifs, mais que l'écriture manuscrite était authentique et variée. Les chercheurs ont conçu trois versions distinctes du même formulaire, nommées A, B et C. La mise en page A était spacieuse et facile à remplir, la mise en page B était un tableau compact qui forçait les gens à écrire plus petit, et la mise en page C n'avait aucune case, laissant l'auteur décider de l'emplacement de ses réponses. Crucialement, chaque rédacteur a rempli les trois mises en page avec exactement les mêmes informations, permettant à l'équipe d'isoler la manière dont la forme et la structure du papier affectaient la capacité de l'ordinateur à lire le texte.

L'étude a comparé deux approches différentes pour la numérisation de ces formulaires. La première était un pipeline « spécialiste », une méthode traditionnelle où un programme informatique découpe d'abord chaque boîte individuelle d'écriture, la nettoie, puis l'envoie à un modèle qui a été spécifiquement entraîné sur des milliers d'exemples similaires. La seconde approche utilisait des « modèles de vision-langage », un type d'intelligence artificielle capable de regarder une image entière et de la comprendre comme un humain le ferait, sans avoir besoin d'être réentraîné pour chaque nouvelle tâche. Les chercheurs ont testé ces systèmes sur les trois mises en page pour voir quelle méthode était la plus précise et laquelle pouvait gérer les changements de conception du formulaire sans se briser.

Les résultats ont révélé un basculement surprenant de l'équilibre des forces. Sur la mise en page A, simple et spacieuse, les modèles d'intelligence artificielle générale ont en fait surpassé le spécialiste hautement entraîné. Deux des modèles de vision-langage ont commis moins d'erreurs que le pipeline spécialiste, même si ce dernier avait été spécifiquement affiné sur cette mise en page exacte. Le modèle spécialiste a le plus lutté avec les longs champs de commentaires en texte libre, où l'écriture était moins contrainte, tandis que les modèles généraux géraient ces sections avec plus d'aisance. Lorsque les chercheurs sont passés aux mises en page plus difficiles, B et C, l'écart s'est creusé. Le modèle spécialiste, qui reposait sur la connaissance exacte de l'emplacement des cases, a commencé à échouer de manière significative lorsque les cases étaient petites ou totalement absentes. Il ne pouvait pas s'adapter aux nouvelles structures visuelles, alors que les modèles généraux restaient robustes, continuant à lire le texte avec précision malgré les changements de mise en page.

L'une des conclusions les plus critiques concernait la fiabilité du résultat. Bien que les modèles généraux aient été plus précis en moyenne, les chercheurs ont constaté qu'aucun système évalué ne pouvait remplacer complètement un réviseur humain. La configuration sur site (on-premise) la plus performante a réussi à transcrire un formulaire sans une seule erreur dans seulement environ 7,7 % des cas. Cela signifie que pour la grande majorité des formulaires, un humain devra encore vérifier le travail. Cependant, l'étude a souligné un avantage majeur pour les modèles généraux en termes de flexibilité. Pour adapter le pipeline spécialiste à un nouveau design de formulaire, les ingénieurs devraient réentraîner le modèle et réécrire le code qui découpe les zones de texte. En revanche, les modèles généraux peuvent être adaptés à une nouvelle mise en page simplement en changeant les instructions qui leur sont données, sans aucun réentraînement. Cela suggère que pour les organisations traitant de nombreux types de formulaires différents, l'utilisation d'un modèle général et flexible pourrait être plus pratique que de construire un système personnalisé pour chacun d'eux, à condition d'accepter qu'un humain devra toujours vérifier les résultats finaux.

L'étude a également abordé les limites de la technologie actuelle. Bien que les modèles généraux aient bien performé, ils produisaient parfois des erreurs étranges, comme la répétition de mots ou l'incapacité à reconnaître lorsqu'un auteur avait rayé quelque chose. Le modèle spécialiste, quant à lui, était fragile ; si l'ordinateur ne pouvait pas localiser parfaitement la zone de texte parce que l'auteur avait écrit légèrement en dehors des lignes, l'ensemble du champ était mal lu. Les chercheurs ont conclu que bien que l'intelligence artificielle ait fait des progrès considérables, le rêve d'une numérisation entièrement automatique et sans erreur des formulaires manuscrits reste hors de portée pour le moment. La voie la plus efficace semble être une approche hybride : utiliser des modèles généraux puissants pour effectuer le gros du travail de lecture du texte, tout en s'appuyant sur la supervision humaine pour rattraper les erreurs inévitables, le tout en gardant les données sensibles en toute sécurité au sein de l'infrastructure de l'organisation.