Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
Questo articolo presenta l'Institutional Newspapers Pipeline, un sistema modulare e computazionalmente efficiente sviluppato con la Boston Public Library per elaborare oltre 1,4 milioni di scansioni di giornali storici in un dataset strutturato e aperto contenente 16,3 miliardi di token di alta qualità attraverso un flusso di lavoro multi-step di segmentazione, OCR e analisi testuale avanzata.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I giornali sono il registro quotidiano della vita umana, catturando tutto, dalle elezioni locali al prezzo della farina, dagli necrologi agli annunci di nuove invenzioni. Per secoli, queste storie sono state preservate su carta fragile, ma nell'era digitale le biblioteche hanno scansionato milioni di queste pagine per renderle accessibili. Tuttavia, trasformare l'immagine di una pagina di giornale in un testo utile e ricercabile è sorprendentemente difficile. Le pagine sono dense e disordinate, piene di colonne di testo, titoli decorativi e pubblicità che spesso si sovrappongono tra loro. I programmi informatici standard, che funzionano bene su documenti puliti, spesso si confondono davanti a questo caos, producendo testi pieni di errori o con intere sezioni mancanti. Ciò crea una barriera per i ricercatori e i sistemi di intelligenza artificiale che vogliono imparare dalla storia, poiché non possono leggere facilmente ciò che è scritto sulla pagina.
Un team di ricercatori della Harvard Law School e della Boston Public Library ha sviluppato un nuovo modo per risolvere questo problema. Hanno creato un sistema passo dopo passo progettato per scomporre una singola pagina di giornale nelle sue parti più piccole e logiche, leggere il testo in ciascuna di esse con alta precisiono e poi organizzare il tutto in modo che un computer possa comprenderne il layout e il contenuto. Il loro obiettivo non era solo digitalizzare il testo, ma creare un dataset pulito e strutturato che rivelasse il vero contenuto di oltre un milione di scansioni di giornali storici. Trattando ogni distinto blocco di testo o immagine come un elemento separato, sono riusciti a estrarre miliardi di parole da materiali che prima erano troppo disordinati per essere utilizzati efficacemente.
Il processo inizia prendendo l'immagine digitale di una pagina di giornale e insegnando a un computer a vederla come farebbe un lettore umano. Invece di cercare di leggere l'intera pagina in una volta sola, il sistema identifica prima ogni distinto blocco di contenuto, come un singolo articolo, una fotografia o una pubblicità. I ricercatori hanno addestrato un modello informatico a riconoscere questi blocchi, o "ritagli", mostrandogli migliaia di esempi. Questo modello ha imparato a ignorare lo spazio bianco vuoto intorno ai bordi e i complessi confini tra le colonne, concentrandosi solo sul contenuto effettivo. Quando è stato testato, questo strumento di segmentazione si è dimostrato altamente efficace, identificando con successo oltre 83 milioni di singoli blocchi in più di 1,4 milioni di pagine di giornale. In media, ogni pagina è stata suddivisa in circa 56 pezzi separati, permettendo al sistema di gestire i complessi layout del passato con precisione.
Una volta che la pagina è stata divisa in questi pezzi gestibili, il sistema legge il testo all'interno di ciascuno di essi. I ricercatori hanno utilizzato due metodi diversi per farlo, eseguendoli affiancati per garantire i migliori risultati. Il primo metodo utilizza uno strumento tradizionale che viene usato da decenni per convertire immagini di testo in lettere digitali. Il secondo metodo utilizza un tipo di modello di intelligenza artificiale più recente e avanzato, capace di comprendere meglio il contesto di un'immagine. Questo modello più recente si è rivelato particolarmente bravo a leggere il testo danneggiato, sbiadito o scritto in font decorativi che confondevano lo strumento più vecchio. In molti casi, il modello avanzato è stato persino in grado di indovinare le lettere mancanti in una sezione strappata della pagina, colmando le lacune per creare una frase completa. Combinando gli output di entrambi i metodi, il team ha generato una collezione massiccia di testo, per un totale di 16,3 miliardi di token, quanto basta per riempire migliaia di libri.
Con il testo estratto, il sistema lavora poi per capire cosa sia effettivamente ogni pezzo di contenuto. Classifica i milioni di blocchi in categorie, distinguendo tra articoli di notizie, pubblicità, fotografie e vignette. Per farlo accuratamente, il sistema analizza sia l'aspetto visivo del blocco che le parole che contiene. Ad esempio, un blocco che sembra una fotografia ma non contiene testo viene identificato come un'immagine, mentre un blocco con un titolo e una storia viene identificato come una notizia. I ricercatori hanno scoperto che le pubblicità costituivano il maggior numero di questi blocchi, ma le notizie vere e proprie contenevano la maggior parte delle parole. Questa distinzione è cruciale perché permette ai ricercatori di studiare come la natura visiva dei giornali sia cambiata nel tempo, notando che le pubblicità sono diventate sempre più visive e hanno occupato più spazio sulla pagina con il passare dei decenni.
Il sistema organizza anche il testo nell'ordine in cui un essere umano lo leggerebbe naturalmente. I giornali hanno spesso articoli che iniziano in una colonna e continuano in un'altra, o storie che sono interrotte da immagini. I ricercatori hanno sviluppato un metodo per mappare questi percorsi, determinando quale blocco viene dopo e quale segue quello precedente. Sebbene sia un compito complesso, il loro approccio ha ricostruito con successo l'ordine di lettura per una parte significativa delle pagine, raggiungendo un'accuratezza del 72,1% su scala macro e dell'80,8% su scala micro, permettendo al testo di fluire logicamente dall'inizio alla fine. Questo passaggio trasforma una collezione disordinata di frammenti di immagini in una narrazione coerente che può essere cercata e analizzata proprio come un documento moderno.
Oltre a leggere e organizzare il testo, il sistema aggiunge livelli di informazioni utili a ogni singolo blocco. Identifica la lingua utilizzata, riscontrando che, sebbene la maggior parte della collezione sia in inglese, vi sono porzioni significative in yiddish, tedesco, svedese e francese, riflettendo le diverse comunità di immigrati dell'epoca. Scansiona inoltre il testo per trovare nomi di persone, luoghi e organizzazioni, etichettando milioni di menzioni di località come Boston e New York, o istituzioni come il Congresso. Inoltre, il sistema assegna un argomento a ogni blocco, etichettandone alcuni come rapporti economici, altri come notizie politiche e altri ancora come aggiornamenti scientifici. Questo ricco sistema di etichettatura permette ai ricercatori di porre domande specifiche, come: "Quanto spesso la parola 'Boston' è stata menzionata nelle pubblicità rispetto alle notizie?" o "Quali argomenti erano più comuni negli anni 1880?".
L'intera operazione è stata progettata per essere abbastanza efficiente da poter girare su hardware informatico standard, senza richiedere supercomputer enormi ed costosi. I ricercatori hanno elaborato i dati in lotti, ottimizzando ogni passaggio per garantire che il sistema potesse gestire l'enorme volume di materiale senza bloccarsi o diventare troppo lento. Il costo totale per eseguire questa pipeline sulla potenza di calcolo affittata è stato stimato in circa 25.000 dollari, una frazione di quanto sarebbe costato utilizzare i modelli più avanzati ed costosi disponibili. Questa efficienza significa che altre biblioteche e istituzioni potrebbero potenzialmente utilizzare gli stessi strumenti per sbloccare le proprie collezioni storiche.
Il risultato di questo lavoro è un dataset massiccio e aperto che include non solo il testo, ma anche la struttura e il contesto di oltre un milione di pagine di giornale tra il 1795 e il 1930. I ricercatori hanno reso pubblici gli strumenti, i modelli e i dati finali, permettendo a chiunque di esplorare questa storia in nuovi modi. Sebbene il sistema non sia perfetto e richieda ancora la supervisione umana per i casi più difficili, rappresenta un salto significativo nel rendere i giornali storici accessibili. Trasformando immagini caotiche e rumorose in dati puliti e strutturati, il team ha aperto una finestra sulle vite quotidiane delle persone del passato, fornendo una base per la ricerca futura e un nuovo modo per l'intelligenza artificiale di apprendere dalla storia umana.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.