Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
Questo articolo introduce "Enriched Text", una pipeline multilingue personalizzabile e open-source che preserva i metadati e consente il filtraggio controllato dall'utente della collezione di 983.004 volumi di Institutional Books: Harvard Library, annotando il testo OCR con rilevamento della lingua, cluster di deduplicazione e punteggi di qualità anziché applicare un pre-processing globale aggressivo.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate una biblioteca che custodisce quasi un milione di libri, spaziando attraverso secoli di pensiero umano, scritti in centinaia di lingue diverse. Per decenni, questi volumi sono stati scansionati da macchine, trasformando le pagine fisiche in testo digitale. Ma questo testo digitale è spesso disordinato. Contiene il rumore del processo di scansione: numeri di pagina ripetuti in fondo a ogni pagina, intestazioni che corrono lungo la parte superiore e parole spezzate goffamente alla fine di una riga. Per un computer che cerca di imparare da quel testo, tale rumore rappresenta un ostacolo importante. I metodi standard per pulire questi dati spesso consistono nel buttare via grandi blocchi di informazioni, come rimuovere tutto il testo che non è in inglese o eliminare qualsiasi paragrafo che sembri simile a un altro. Sebbene ciò renda i dati più puliti, priva il contenuto della ricca storia multilingue e del contesto strutturale che rende un libro un libro.
Un team di ricercatori della Harvard Law School ha adottato un approccio diverso. Invece di scartare le parti disordinate, hanno costruito un sistema che le organizza con cura. Chiamano il loro risultato "Enriched Text" (Testo Arricchito). Piuttosto che produrre un singolo flusso semplificato di parole, la loro pipeline mantiene intatto il testo originale ma aggiunge uno strato di annotazioni digitali. Pensatelo come l'aggiunta di un insieme di etichette invisibili a ogni paragrafo, che dicono a un computer esattamente cos'è quel paragrafo, in che lingua è e se è un duplicato di qualcos'altro. Ciò consente a chiunque utilizzi i dati di decidere da solo cosa mantenere e cosa ignorare, invece di lasciare che tali decisioni siano prese per loro da un filtro rigido.
Il progetto è iniziato con una collezione massiccia di 983.004 volumi della Harvard Library, originariamente digitalizzati attraverso una partnership con Google. Questa collezione contiene circa 242 miliardi di unità di testo, note come token, che coprono circa 250 lingue diverse. I ricercatori volevano rendere questa collezione utilizzabile per l'intelligenza artificiale moderna senza perdere l'integrità del materiale sorgente. Si sono trovati di fronte a una tensione: le pratiche standard dell'informatica per la preparazione dei dati spesso filtrano aggressivamente il testo non inglese e eliminano qualsiasi cosa che sembri una copia per risparmiare spazio. Tuttavia, per una biblioteca storica, eliminare il testo non inglese significherebbe perdere metà della collezione, e cancellare i duplicati significherebbe rompere la continuità di lunghi libri.
Per risolvere questo problema, il team ha creato una pipeline di elaborazione che agisce come un bibliotecario meticoloso. Per prima cosa, hanno pulito il testo correggendo gli errori comuni introdotti dal processo di scansione. Hanno rimosso i numeri di pagina e le intestazioni che appaiono in alto e in basso nelle pagine, che spesso si mescolano nel mezzo delle frasi. Hanno sistemato le parole che erano divise tra le righe con trattini, ricongiungendole correttamente. Hanno anche separato le "parti finali" (end matter) — le sezioni iniziali e finali di un libro come la tabella dei contenuti, l'indice e la bibliografia — dalla storia principale o dall'argomento centrale. Fondamentalmente, non hanno eliminato queste sezioni; le hanno etichettate in modo che un utente potesse scegliere di leggere solo il testo principale o studiare separatamente l'indice.
Il sistema ha poi suddiviso i libri in pezzi più piccoli e significativi. Ha identificato le singole frasi e le ha raggruppate in paragrafi basandosi sull'argomento trattato, piuttosto che semplicemente su dove cambiava la pagina. Questo è importante perché una singola pagina potrebbe contenere due argomenti diversi, o un singolo argomento potrebbe estendersi su molte pagine. Raggruppando il testo per materia trattata, i ricercatori hanno reso più facile per i computer comprendere il flusso delle idee. Hanno anche identificato i paragrafi che apparivano in più libri. Inveiché di eliminare questi duplicati, li hanno contrassegnati. Una versione del paragrafo viene evidenziata come la copia "rappresentativa", mentre le altre vengono etichettate come duplicati. Ciò preserva la storia di come le idee siano state riutilizzate e condivise attraverso diversi libri e lingue.
Uno dei passaggi più sofisticati ha riguardato la misurazione della qualità del testo. I ricercatori hanno utilizzato un piccolo modello computazionale per leggere ogni paragrafo e assegnargli un punteggio basato sulla prevedibilità e sulla fluidità del linguaggio. Questo punteggio, chiamato "bits-per-byte", aiuta a identificare i paragrafi che sono probabilmente prosa di alta qualità rispetto a quelli che sono solo rumore confuso derivante da una cattiva scansione, come una tabella letta come un unico blocco di testo. Ciò consente agli utenti di filtrare il testo di qualità peggiore senza dover eseguire il calcolo costoso autonomamente.
Il risultato finale è un dataset contenente 217 miliardi di token, organizzati in oltre 1,3 miliardi di paragrafi annotati. I ricercatori hanno scoperto che questo approccio ha pulito con successo il testo preservandone al contempo la complessità. Ad esempio, hanno scoperto che, sebbene il testo inglese costituisse la parte più grande della collezione, il sistema ha identificato correttamente che molti libri non inglesi contenevano quantità significative di latino o greco, spesso usati per citazioni o riferimenti accademici. Hanno anche scoperto che il testo è diventato più prevedibile per i computer moderni con il passare del tempo, con i libri del XIX e XX secolo che suonano più simili al linguaggio che usiamo oggi rispetto ai libri del XVII secolo.
Il team ha rilasciato l'intera pipeline come software open-source, il che significa che chiunque può usarlo per elaborare le proprie collezioni di libri. Hanno anche fornito un piccolo strumento per aiutare gli utenti a analizzare i dati, permettendo loro di rimuovere le annotazioni se desiderano una semplice lista di parole, o di mantenere le annotazioni se vogliono studiare la struttura dei libri. Scegliendo di annotare invece di eliminare, i ricercatori hanno creato una risorsa che è sia più pulita per le macchine sia più ricca per lo studio umano. Hanno dimostrato che è possibile rendere i dati storici accessibili alla tecnologia moderna senza sacrificare la sfumatura e la diversità che rendono prezioso quel passato. Il lavoro suggerisce che il futuro dell'elaborazione dei dati risieda non nel buttare via le parti disordinate, ma nell'imparare come organizzarle.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.