JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder is een multimodale deep learning-framework dat manuscriptidentiteit gebruikt als een schaalbare gesuperviseerde proxy om robuuste embeddings te leren voor het identificeren en ophalen van historische manuscriptfragmenten, waarbij superieure prestaties worden behaald bij het ontdekken van kandidaat-verbindingen binnen de Cairo Geniza-corpus zonder dat expliciete verbinding-annotaties vereist zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Geschiedenis wordt vaak geschreven in fragmenten. Eeuwenlang hebben geleerden oude manuscripten samengesteld door fysiek de gescheurde randen te matchen of door handschriften te vergelijken, een arbeidszaam proces dat steunt op het oog en de intuïtie van experts. Wanneer een enkel boek verspreid is over verschillende bibliotheken, of wanneer een pagina onherkenbaar beschadigd is, wordt de taak om de ontbrekende stukken te vinden bijna onmogelijk. Deze uitdaging is bijzonder acuut bij de Cairo Geniza, een enorme collectie Joodse manuscriptfragmenten die worden bewaard in de genizah (een opslagruimte) van een synagoge in Caïro. In de afgelopen eeuw zijn deze fragmenten verspreid naar instellingen wereldwijd, vaak afzonderlijk gecatalogiseerd zonder enige indicatie dat ze ooit tot hetzelfde boek behoorden. De enorme omvang van het materiaal — honderdduizenden pagina's — maakt handmatige reconstructie onhaalbaar, waardoor talloze historische verbindingen voor het zicht verborgen blijven.
Om dit op te lossen, hebben onderzoekers een manier nodig om computers te leren de unieke "vingerafdruk" van een manuscript te herkennen. Deze vingerafdruk is niet alleen de tekst die op de pagina staat, maar de fysieke kenmerken van het document zelf: de textuur van het papier, de lay-out van de regels, de specifieke vorm van de letters en de manier waarop de inkt op het oppervlak ligt. Hoewel computers uitstekend zijn geworden in het lezen van tekst, hebben ze moeite gehad met het begrijpen van deze subtiele visuele en structurele aanwijzingen, vooral wanneer de documenten oud, beschadigd of geschreven in verschillende talen zijn. Het doel is om een systeem te creëren dat naar een fragment kan kijken en direct andere fragmenten kan vinden die dezelfde geschiedenis delen, zelfs als ze in een ander land worden bewaard of er iets anders uitzien door ouderdom of verlichting.
Een team van onderzoekers aan de Tel Aviv Universiteit heeft een nieuwe aanpak voor dit probleem ontwikkeld, genaamd JoinFinder. In plaats van de computer te leren om specifieke "verbindingen" of koppelingen tussen pagina's te vinden — een taak waarvoor zeer weinig voorbeelden zijn om van te leren — hebben ze het systeem geleerd om de identiteit van volledige manuscripten te herkennen. Ze gebruikten een grote collectie bekende manuscripten als trainingsgrond, waarbij ze de computer duizenden pagina's lieten zien en hem vroegen om ze te groeperen op basis van welk boek ze voortkwamen. Door te leren het verschil te zien tussen het ene en het andere manuscript, leerde het systeem onbedoeld de subtiele visuele en structurele details die elk manuscript uniek maken. Eenmaal getraind, kon het systeem worden toegepast op een volledig nieuwe set fragmenten die het nog nooit eerder had gezien, waarbij het zocht naar overeenkomsten op basis van de patronen die het had geleerd.
De onderzoekers bouwden een systeem dat een manuscriptpagina op drie verschillende manieren tegelijkertijd bekijkt. Ten eerste onderzoekt het het algemene uiterlijk van de pagina, kijkend naar de lay-out, de dichtheid van het schrift en de textuur van het materiaal. Ten tweede zoomt het in op individuele letters en analyseert het de specifieke vormen en streken die het handschrift karakteriseren. Ten derde leest het de tekst zelf, waarbij het optische tekenherkenning gebruikt om de woorden en hun ordening te begrijpen. Het systeem behandelt deze drie informatiebronnen niet als gelijkwaardig; in plaats daarvan weegt het ze op basis van hun betrouwbaarheid. Als een pagina te beschadigd is om de tekst duidelijk te kunnen lezen, vertrouwt het systeem zwaarder op de vorm van de letters of het algemene uiterlijk van de pagina. Deze flexibiliteit stelt het systeem in staat om om te gaan met de rommelige, onvolledige realiteit van historische documenten.
De resultaten van deze aanpak werden getest op een enorme collectie Geniza-fragmenten. Wanneer het systeem werd gevraagd om pagina's te vinden die bij hetzelfde manuscript hoorden, slaagde het erin om de juiste match binnen de top tien resultaten te plaatsen voor bijna de helft van de zoekopdrachten. Wanneer de onderzoekers zochten naar pagina's die hetzelfde catalogusnummer of dezelfde planklocatie deelden, steeg het succespercentage naar meer dan 60 procent. Belangrijker nog, het systeem vond verbindingen die de bestaande catalogi hadden gemist. Het identificeerde paren fragmenten uit verschillende bibliotheken die hetzelfde handschrift en dezelfde lay-out deelden, wat suggereerde dat ze ooit deel uitmaakten van hetzelfde boek. Deze ontdekkingen werden bevestigd door menselijke experts, wat bewees dat de computer echte historische links had gevonden die voorheen onbekend waren.
De studie onthulde ook dat het systeem werkt zelfs wanneer de omstandigheden drastisch veranderen. Het koppelde succesvol zwart-wit afbeeldingen van manuscripten aan elkaar, ook al was het voornamelijk getraind op kleurenafbeeldingen. Het vond ook verbindingen in Arabische manuscripten, ondanks dat het ontworpen was met het oog op Hebreeuwse letters. Dit suggereert dat het systeem de fundamentele visuele taal van manuscripten heeft geleerd — de manier waarop de inkt vloeit, het ritme van de regels en de structuur van de pagina — in plaats van alleen specifieke letters of kleuren te hebben onthouden. De onderzoekers ontdekten dat de belangrijkste aanwijzingen voortkwamen uit de vormen van de letters en de algemene lay-out van de pagina, terwijl de tekstinhoud ondersteunend maar secundair was.
Dit werk vormt een belangrijke stap voorwaarts in de digitale reconstructie van de geschiedenis. Door de identiteit van een manuscript als een surrogaat voor het leren te gebruiken, hebben de onderzoekers een hulpmiddel gecreëerd dat kan schalen naar miljoenen pagina's, een taak die menselijke geleerden eeuwen zou kosten. Het systeem vervangt de expert niet; het fungeert eerder als een krachtig filter dat door enorme archieven sift om de meest veelbelovende kandidaten voor menselijke beoordeling te presenteren. Het verandert de onmogelijke taak van het zoeken naar een naald in een hooiberg in een beheersbare zoektocht, waardoor wetenschappers zich kunnen concentreren op de meest waarschijnlijke verbindingen. Het succes van JoinFinder suggereert dat, met de juiste aanpak, de verspreide fragmenten van het verleden weer bij elkaar gebracht kunnen worden, waardoor de volledige verhalen die ze ooit vertelden, weer zichtbaar worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.