JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder è un framework di deep learning multimodale che sfrutta l'identità del manoscritto come una proxy supervisionata scalabile per apprendere embedding robusti per l'identificazione e il recupero di frammenti di manoscritti storici, ottenendo prestazioni superiori nella scoperta di possibili giunzioni attraverso il corpus della Geniza del Cairo senza richiedere annotazioni esplicite di giunzione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La storia è spesso scritta in frammenti. Per secoli, gli studiosi hanno ricomposto antichi manoscritti accostando fisicamente i bordi strappati o confrontando gli stili di scrittura, un processo laborioso che si affida all'occhio e all'intuizione degli esperti. Quando un singolo libro è disperso in biblioteche diverse, o quando una pagina è danneggiata oltre il riconoscimento, il compito di trovare i suoi pezzi mancanti diventa quasi impossibile. Questa sfida è particolarmente acuta con la Geniza del Cairo, una vasta collezione di frammenti di manoscritti ebraici conservati nella genizah (una stanza di stoccaggio) di una sinagoga al Cairo. Nell'ultimo secolo, questi frammenti sono stati dispersi in istituzioni in tutto il mondo, spesso catalogati separatamente senza alcuna indicazione del fatto che un tempo appartenessero allo stesso libro. L'enorme volume di materiale — centinaia di migliaia di pagine — rende impossibile la ricostruzione manuale, lasciando innumerevoli connessioni storiche nascoste sotto gli occhi di tutti.
Per risolvere questo problema, i ricercatori hanno bisogno di un modo per insegnare ai computer a riconoscere l'impronta digitale unica di un manoscritto. Questa impronta digitale non è solo il testo scritto sulla pagina, ma le caratteristiche fisiche del documento stesso: la trama della carta, la disposizione delle righe, la forma specifica delle lettere e il modo in cui l'inchiostro si deposita sulla superficie. Sebbene i computer siano diventati eccellenti nel leggere il testo, hanno faticato a comprendere questi sottili indizi visivi e strutturali, specialmente quando i documenti sono antichi, danneggiati o scritti in lingue diverse. L'obiettivo è creare un sistema in grado di esaminare un frammento e trovare istantaneamente altri frammenti che condividano la sua storia, anche se sono conservati in un paese diverso o appaiono leggermente differenti a causa dell'età o dell'illuminazione.
Un team di ricercatori dell'Università di Tel Aviv ha sviluppato un nuovo approccio a questo problema chiamato JoinFinder. Invece di cercare di insegnare al computer a trovare specifici "giunti" o connessioni tra le pagine — un compito per il quale esistono pochissimi esempi da apprendere — hanno insegnato al sistema a riconoscere l'identità di interi manoscritti. Hanno utilizzato una grande collezione di manoscritti noti come campo di addestramento, mostrando al computer migliaia di pagine e chiedendogli di raggrupparle in base al libro di provenienza. Imparando a distinguere un manoscritto dall'altro, il sistema ha involontariamente appreso i dettagli visivi e strutturali sottili che rendono unico ogni manoscritto. Una volta addestrato, il sistema poteva essere applicato a un set completamente nuovo di frammenti mai visti prima, cercando corrispondenze basate sui modelli appresi.
I ricercatori hanno costruito un sistema che analizza una pagina di un manoscritto in tre modi diversi simultaneamente. Primo, esamina l'aspetto generale della pagina, osservando la disposizione, la densità della scrittura e la trama del materiale. Secondo, si concentra sulle singole lettere, analizzando le forme e i tratti specifici che caratterizzano la calligrafia. Terzo, legge il testo stesso, utilizzando il riconoscimento ottico dei caratteri per comprenderne le parole e la disposizione. Il sistema non tratta queste tre fonti di informazione come uguali; al contrario, le pesa in base alla loro affidabilità. Se una pagina è troppo danneggiata per leggere chiaramente il testo, il sistema si affida maggiormente alla forma delle lettere o all'aspetto generale della pagina. Questa flessibilità gli permette di gestire la realtà disordinata e incompleta dei documenti storici.
I risultati di questo approccio sono stati testati su una massiccia collezione di frammenti della Geniza. Quando il sistema è stato chiamato a trovare pagine che appartenevano allo stesso manoscritto, è riuscito a collocare la corrispondenza corretta tra i primi dieci risultati in quasi metà delle query. Quando i ricercatori hanno cercato pagine che condividevano lo stesso numero di catalogo o la stessa posizione sullo scaffale, il tasso di successo è salito a oltre il 60 percento. Ancora più importante, il sistema ha trovato connessioni che i cataloghi esistenti avevano mancato. Ha identificato coppie di frammenti provenienti da biblioteche diverse che condividevano la stessa calligrafia e disposizione, suggerendo che un tempo facevano parte dello stesso libro. Queste scoperte sono state confermate da esperti umani, provando che il computer aveva trovato legami storici genuini precedentemente sconosciuti.
Lo studio ha anche rivelato che il sistema funziona anche quando le condizioni cambiano drasticamente. Ha associato con successo immagini in bianco e nero di manoscritti, nonostante fosse stato addestrato principalmente su immagini a colori. Ha inoltre trovato connessioni in manoscritti arabi, nonostante fosse stato progettato con le lettere ebraiche in mente. Ciò suggerisce che il sistema abbia appreso il linguaggio visivo fondamentale dei manoscritti — il modo in cui l'inchiostro scorre, il ritmo delle linee e la struttura della pagina — piuttosto che limitarsi a memorizzare specifiche lettere o colori. I ricercatori hanno scoperto che gli indizi più importanti derivavano dalle forme delle lettere e dalla disposizione generale della pagina, mentre il contenuto testuale forniva un supporto utile ma secondario.
Questo lavoro rappresenta un passo avanti significativo nella ricostruzione digitale della storia. Utilizzando l'identità di un manoscritto come sostituto per l'apprendimento, i ricercatori hanno creato uno strumento capace di scalare su milioni di pagine, un compito che richiederebbe agli studiosi umani secoli di lavoro. Il sistema non sostituisce l'esperto; agisce piuttosto come un potente filtro, setacciando vasti archivi per presentare i candidati più promettenti alla revisione umana. Trasforma l'impossibile compito di trovare un ago in un pagliaio in una ricerca gestibile, permettendo agli studiosi di concentrarsi sulle connessioni più probabili. Il successo di JoinFinder suggerisce che, con il giusto approccio, i frammenti dispersi del passato possono essere riportati insieme, rivelando le storie complete che un tempo raccontavano.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.