JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder ist ein multimodales Deep-Learning-Framework, das die Identität eines Manuskripts als skalierbaren überwachten Proxy nutzt, um robuste Embeddings für die Identifizierung und den Abruf historischer Manuskriptfragmente zu erlernen, wobei eine überlegene Leistung bei der Entdeckung potenzieller Zusammenfügungen innerhalb des Kairoer Geniza-Korpus erzielt wird, ohne dass explizite Zusammenfügungs-Annotationen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Geschichte wird oft in Fragmenten geschrieben. Seit Jahrhunderten setzen Gelehrte antike Manuskripte zusammen, indem sie physisch die gerissenen Kanten abgleichen oder Handschriften vergleichen – ein mühsamer Prozess, der auf dem Auge und der Intuition von Experten beruht. Wenn ein einzelnes Buch über verschiedene Bibliotheken verstreut ist oder wenn eine Seite so stark beschädigt ist, dass sie nicht mehr erkennbar ist, wird die Aufgabe, ihre fehlenden Teile zu finden, nahezu unmöglich. Diese Herausforderung ist besonders akut beim Kairoer Geniza, einer riesigen Sammlung jüdischer Manuskriptfragmente, die in der Geniza (einem Lagerraum) einer Synagoge in Kairo aufbewahrt werden. Im letzten Jahrhundert wurden diese Fragmente an Institutionen weltweit verteilt, oft separat katalogisiert, ohne dass ein Hinweis darauf besteht, dass sie einst zum selben Buch gehörten. Das schiere Volumen des Materials – Hunderttausende von Seiten – macht eine manuelle Rekonstruktion unmöglich und lässt unzählige historische Verbindungen direkt vor unseren Augen verborgen.
Um dies zu lösen, müssen Forscher einen Weg finden, Computer dazu zu bringen, den einzigartigen „Fingerabdruck“ eines Manuskripts zu erkennen. Dieser Fingerabdruck ist nicht nur der Text, der auf der Seite geschrieben steht, sondern die physischen Merkmale des Dokuments selbst: die Textur des Papiers, das Layout der Zeilen, die spezifische Form der Buchstaben und die Art und Weise, wie die Tinte auf der Oberfläche liegt. Während Computer exzellent darin geworden sind, Texte zu lesen, hatten sie Schwierigkeiten, diese subtilen visuellen und strukturellen Hinweise zu verstehen, insbesondere wenn die Dokumente alt, beschädigt oder in verschiedenen Sprachen verfasst sind. Das Ziel ist es, ein System zu schaffen, das ein Fragment betrachten und sofort andere Fragmente finden kann, die seine Geschichte teilen, selbst wenn diese in einem anderen Land gelagert werden oder aufgrund von Alter und Beleuchtung etwas anders aussehen.
Ein Forschungsteam der Tel Aviv University hat einen neuen Ansatz für dieses Problem entwickelt, der JoinFinder genannt wird. Anstatt zu versuchen, dem Computer beizubringen, spezifische „Verbindungen“ oder Zusammenfügungen zwischen Seiten zu finden – eine Aufgabe, für die es nur sehr wenige Beispiele zum Lernen gibt –, haben sie dem System beigebracht, die Identität ganzer Manuskripte zu erkennen. Sie nutzten eine große Sammlung bekannter Manuskripte als Trainingsgrundlage, zeigten dem Computer tausende von Seiten und baten ihn, sie danach zu gruppieren, aus welchem Buch sie stammten. Indem das System lernte, ein Manuskript von einem anderen zu unterscheiden, lernte es unbewusst die subtilen visuellen und strukturellen Details, die jedes Manuskript einzigartig machen. Einmal trainiert, konnte das System auf einen völlig neuen Satz von Fragmenten angewendet werden, den es zuvor noch nie gesehen hatte, um Übereinstimmungen basierend auf den gelernten Mustern zu suchen.
Die Forscher bauten ein System, das eine Manuskriptseite auf drei verschiedene Arten gleichzeitig betrachtet. Zuerst untersucht es das allgemeine Erscheinungsbild der Seite, indem es auf das Layout, die Dichte der Schrift und die Textur des Materials achtet. Zweitens zoomt es auf einzelne Buchstaben und analyst die spezifischen Formen und Striche, die die Handschrift charakterisieren. Drittens liest es den Text selbst, indem es optische Zeichenerkennung verwendet, um die Wörter und deren Anordnung zu verstehen. Das System behandelt diese drei Informationsquellen nicht als gleichwertig; stattdessen gewichtet es sie basierend auf ihrer Zuverlässigkeit. Wenn eine Seite zu stark beschädigt ist, um den Text klar lesen zu können, stützt sich das System stärker auf die Form der Buchstaben oder das allgemeine Aussehen der Seite. Diese Flexibilität ermöglicht es ihm, mit der chaotischen, unvollständigen Realität historischer Dokumente umzugehen.
Die Ergebnisse dieses Ansatzes wurden an einer massiven Sammlung von Geniza-Fragmenten getestet. Als das System aufgefordert wurde, Seiten zu finden, die zum selben Manuskript gehören, gelang es ihm, die korrekte Übereinstimmung unter den Top-Ten-Ergebnissen für fast die Hälfte der Abfragen zu platzieren. Wenn die Forscher nach Seiten suchten, die dieselbe Katalognummer oder denselben Regalstandort teilten, stieg die Erfolgsquote auf über 60 Prozent. Noch wichtiger ist, dass das System Verbindungen fand, die die bestehenden Kataloge übersehen hatten. Es identifizierte Paare von Fragmenten aus verschiedenen Bibliotheken, die dieselbe Handschrift und dasselbe Layout teilten, was darauf hindeutete, dass sie einst Teil desselben Buches waren. Diese Entdeckungen wurden von menschlichen Experten bestätigt, was bewies, dass der Computer echte historische Verbindungen gefunden hatte, die zuvor unbekannt waren.
Die Studie zeigte auch, dass das System funktioniert, selbst wenn sich die Bedingungen drastisch ändern. Es konnte Schwarz-Weiß-Bilder von Manuskripten erfolgreich abgleichen, obwohl es primlich auf Farbbildern trainiert wurde. Es fand auch Verbindungen in arabischen Manuskripten, obwohl es mit Blick auf hebräische Buchstaben entwickelt wurde. Dies deutet darauf hin, dass das System die grundlegende visuelle Sprache von Manuskripten gelernt hat – die Art und Weise, wie die Tinte fließt, der Rhythmus der Linien und die Struktur der Seite –, anstatt nur spezifische Buchstaben oder Farben auswendig zu lernen. Die Forscher fanden heraus, dass die wichtigsten Hinweise aus den Formen der Buchstaben und dem allgemeinen Layout der Seite stammten, während der Textinhalt eine hilfreiche, aber sekundäre Unterstützung bot.
Diese Arbeit stellt einen bedeutenden Fortschritt in der digitalen Rekonstruktion der Geschichte dar. Durch die Verwendung der Identität eines Manuskripts als Stellvertreter für das Lernen haben die Forscher ein Werkzeug geschaffen, das auf Millionen von Seiten skalierbar ist – eine Aufgabe, die menschliche Gelehrte Jahrhunderte kosten würde. Das System ersetzt nicht den Experten; vielmehr fungiert es als leistungsstarker Filter, der riesige Archive durchsiebt, um die vielversprechendsten Kandidaten für eine menschliche Überprüfung zu präsentieren. Es verwandelt die unmögliche Aufgabe, die Nadel im Heuhaufen zu finden, in eine handhabbare Suche und ermöglicht es Wissenschaftlern, sich auf die wahrscheinlichsten Verbindungen zu konzentrieren. Der Erfolg von JoinFinder legt nahe, dass mit dem richtigen Ansatz die verstreuten Fragmente der Vergangenheit wieder zusammengeführt werden können, um die vollständigen Geschichten zu enthüllen, die sie einst erzählten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.