JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder est un cadre d'apprentissage profond multimodal qui exploite l'identité du manuscrit comme un substitut supervisé et évolutif pour apprendre des plongements robustes afin d'identifier et de récupérer des fragments de manuscrits historiques, atteignant une performance supérieure dans la découverte de jointures candidates à travers le corpus de la Geniza du Caire sans nécessiter d'annotations de jointure explicites.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'histoire est souvent écrite en fragments. Depuis des siècles, les chercheurs reconstituent des manuscrits anciens en faisant correspondre physiquement les bords déchirés ou en comparant les styles d'écriture, un processus laborieux qui repose sur l'œil et l'intuition des experts. Lorsqu'un livre unique est dispersé dans différentes bibliothèques, ou lorsqu'une page est endommagée au point d'être méconnaissable, la tâche consistant à retrouver ses pièces manquantes devient presque impossible. Ce défi est particulièrement aigu avec la Geniza du Caire, une vaste collection de fragments de manuscrits juifs conservés dans la geniza (une salle de stockage) d'une synagogue du Caire. Au cours du dernier siècle, ces fragments ont été dispersés dans des institutions du monde entier, souvent répertoriés séparément sans aucune indication qu'ils appartenaient autrefois au même livre. Le volume considérable de matériel — des centaines de milliers de pages — rend la reconstruction manuelle irréalisable, laissant d'innombrables connexions historiques cachées à la vue de tous.
Pour résoudre ce problème, les chercheurs ont besoin d'un moyen d'apprendre aux ordinateurs à reconnaître l'« empreinte digitale » d'un manuscrit. Cette empreinte n'est pas seulement le texte écrit sur la page, mais les caractéristiques physiques du document lui-même : la texture du papier, la disposition des lignes, la forme spécifique des lettres et la façon dont l'encre repose sur la surface. Bien que les ordinateurs soient devenus excellents pour lire le texte, ils ont eu du mal à comprendre ces indices visuels et structurels subtils, surtout lorsque les documents sont anciens, endommagés ou écrits dans des langues différentes. L'objectif est de créer un système capable d'examiner un fragment et de trouver instantanément d'autres fragments partageant son histoire, même s'ils sont stockés dans un pays différent ou s'ils paraissent légèrement différents en raison de l'âge ou de l'éclairage.
Une équipe de chercheurs de l'Université de Tel Aviv a développé une nouvelle approche pour ce problème appelée JoinFinder. Au lieu d'essayer d'apprendre à l'ordinateur à trouver des « jointures » ou des connexions spécifiques entre les pages — une tâche pour laquelle il existe très peu d'exemples pour apprendre — ils ont appris au système à reconnaître l'identité de manuscrits entiers. Ils ont utilisé une grande collection de manuscrits connus comme terrain d'entraînement, montrant à l'ordinateur des milliers de pages et lui demandant de les regrouper selon le livre dont elles provenaient. En apprenant à distinguer un manuscrit d'un autre, le système a appris par inadvertance les détails visuels et structurels subtils qui rendent chaque manuscrit unique. Une fois entraîné, le système pouvait être appliqué à un nouvel ensemble de fragments qu'il n'avait jamais vus auparavant, recherchant des correspondances basées sur les motifs qu'il avait appris.
Les chercheurs ont construit un système qui examine une page de manuscrit de trois manières différentes simultanément. Premièrement, il examine l'apparence globale de la page, en observant la mise en page, la densité de l'écriture et la texture du matériau. Deuxièmement, il zoome sur les lettres individuelles, analysant les formes et les traits spécifiques qui caractérisent l'écriture. Troisièmement, il lit le texte lui-même, utilisant la reconnaissance optique de caractères pour comprendre les mots et leur agencement. Le système ne traite pas ces trois sources d'information comme étant égales ; il les pondère en fonction de leur fiabilité. Si une page est trop endommagée pour lire le texte clairement, le système s'appuie davantage sur la forme des lettres ou sur l'aspect général de la page. Cette flexibilité lui permet de gérer la réalité désordonnée et incomplète des documents historiques.
Les résultats de cette approche ont été testés sur une collection massive de fragments de la Geniza. Lorsqu'on a demandé au système de trouver des pages appartenant au même manuscrit, il a réussi à placer la correspondance correcte parmi les dix premiers résultats pour près de la moitié des requêtes. Lorsque les chercheurs ont cherché des pages partageant le même numéro de catalogue ou le même emplacement sur l'étagère, le taux de réussite est monté à plus de 60 pour cent. Plus important encore, le système a trouvé des connexions que les catalogues existants avaient manquées. Il a identifié des paires de fragments provenant de bibliothèques différentes qui partageaient la même écriture et la même mise en page, suggérant qu'ils appartenaient autrefois au même livre. Ces découvertes ont été confirmées par des experts humains, prouvant que l'ordinateur avait trouvé de véritables liens historiques jusque-là inconnus.
L'étude a également révélé que le système fonctionne même lorsque les conditions changent radicalement. Il a réussi à faire correspondre des images en noir et blanc de manuscrits, bien qu'il ait été principalement entraîné sur des images en couleur. Il a également trouvé des connexions dans des manuscrits arabes, malgré sa conception basée sur les lettres hébraïques. Cela suggère que le système a appris le langage visuel fondamental des manuscrits — la façon dont l'encre coule, le rythme des lignes et la structure de la page — plutôt que de simplement mémoriser des lettres ou des couleurs spécifiques. Les chercheurs ont constaté que les indices les plus importants provenaient de la forme des lettres et de la mise en page globale, tandis que le contenu textuel fournissait un soutien utile mais secondaire.
Ce travail représente une étape significative dans la reconstruction numérique de l'histoire. En utilisant l'identité d'un manuscrit comme un substitut pour l'apprentissage, les chercheurs ont créé un outil capable de traiter des millions de pages, une tâche qui prendrait des siècles aux érudits humains. Le système ne remplace pas l'expert ; il agit plutôt comme un filtre puissant, passant au crible de vastes archives pour présenter les candidats les plus prometteurs à l'examen humain. Il transforme la tâche impossible de trouver une aiguille dans une botte de foin en une recherche gérable, permettant aux chercheurs de se concentrer sur les connexions les plus probables. Le succès de JoinFinder suggère qu'avec la bonne approche, les fragments dispersés du passé peuvent être rassemblés, révélant les histoires complètes qu'ils racontaient autrefois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.