Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

Le biblioteche sono vasti depositi della storia umana, ma per decenni le versioni digitali dei loro libri hanno raccontato solo metà della storia. Quando le istituzioni scansionano i volumi antichi per renderli ricercabili, si sono tradizionalmente concentrate sul testo, utilizzando software per leggere le parole e trasformarle in dati. Questo processo, noto come riconoscimento ottico dei caratteri, è stato un trionfo, permettendo ai ricercatori di cercare attraverso milioni di pagine in pochi secondi. Tuttavia, le immagini all'interno di quei libri — le illustrazioni, le fotografie, le incisioni e i bordi decorativi — sono rimaste in gran parte invisibili alle macchine. Questi elementi visivi racchiudono uno strato unico di contesto e sfumature che il solo testo non può catturare, eppure sono stati difficili da studiare su larga scala perché non erano strutturati in modo che i computer potessero comprenderli facilmente. Man mano che i sistemi di intelligenza artificiale diventano più capaci di "vedere" e interpretare il mondo, è emersa una lacuna significativa: questi sistemi sono addestrati principalmente su immagini moderne provenienti da internet e spesso faticano a dare senso alla cultura visiva storica. Per colmare questo divario, i ricercatori hanno bisogno di una collezione massiccia e diversificata di immagini storiche che sia organizzata e pronta affinché le macchine possano imparare da esse.

Un team di ricercatori dell'Università di Harvard ha affrontato questa sfida costruendo un nuovo sistema open-source progettato per trovare, classificare e descrivere gli elementi visivi all'interno di quasi un milione di libri digitalizzati. Il loro lavoro, dettagliato in un rapporto tecnico, crea una pipeline che agisce come un bibliotecario altamente qualificato capace di scansionare un libro, individuare ogni immagine, capire di cosa si tratti e scriverne una breve descrizione, il tutto senza l'intervento umano. Il risultato è un dataset contenente oltre 22 milioni di elementi visivi estratti da 983.004 volumi. Questa collezione include tutto, dai diagrammi scientifici alle partiture musicali, passando per ritratti ed elementi decorativi, ognuno con un tag relativo al proprio tipo e, in molti casi, una didascalia generata dal computer. Rendendo disponibili questi dati, il team spera di aiutare i modelli di intelligenza artificiale a comprendere meglio i materiali storici, creando un ciclo in cui strumenti migliori portano a più dati, che a loro volta portano a strumenti ancora migliori per esplorare il nostro passato condiviso.

Il processo inizia con il compito più basilare: trovare le immagini. I ricercatori hanno sviluppato un sistema che scansiona le pagine digitali dei libri per localizzare qualsiasi regione che contenga un'immagine. Poiché la collezione è così vasta, contenente centinaia di milioni di pagine, il sistema doveva essere incredibilmente efficiente. Hanno addestrato un modello informatico specializzato per riconoscere gli elementi visivi mostrandogli migliaia di esempi di pagine con e senza immagini. Questo modello ha imparato a ignorare il testo e a concentrarsi sulle parti visive, tracciando un riquadro attorno a ogni illustrazione, foto o diagramma trovato. Nella corsa finale, il sistema ha elaborato l'intera collezione e ha identificato oltre 28 milioni di potenziali immagini. Per garantire un'alta qualità, i ricercatori hanno applicato filtri rigorosi per rimuovere i falsi allarmi, come macchie o errori di scansione, lasciando un set finale di 22,6 milioni di elementi visivi distinti.

Una volta trovate le immagini, il passo successivo è stato capire cosa fossero. Il sistema ha classificato i 22,6 milioni di immagini in cinque categorie principali: illustrazioni e fotografie generali, notazione musicale, elementi decorativi come i segnalibri (bookplates), grafici e diagrammi, ed elementi di scansione come dita o graffette che sono apparse accidentalmente nelle scansioni. I ricercatori hanno addestrato un altro modello per effettuare queste distinzioni, insegnandogli a distinguere tra una partitura musicale e una pagina di testo, o tra un bordo decorativo e un diagramma scientifico. Il sistema si è dimostrato altamente accurato, identificando correttamente la stragrande maggioranza delle immagini. Ad esempio, riusciva a distinguere la notazione musicale con una fiducia quasi perfetta, sebbene abbia trovato alcune categorie, come i bordi decorativi, leggermente più difficili da separare da altri tipi di illustrazioni. Questo processo di classificazione è fondamentale perché consente ai ricercatori di porre domande specifiche, come "mostrami tutti i grafici del XVIII secolo" o "trova ogni istanza di un particolare segnalibro".

Dopo la classificazione, il team ha affrontato il problema dei duplicati. Nei grandi progetti di digitalizzazione, la stessa immagine appare spesso molte volte, sia perché è stata utilizzata in più edizioni di un libro, sia perché il processo di scansione ha accidentalmente catturato la stessa pagina due volte. Per pulire questo aspetto, i ricercatori hanno utilizzato due metodi diversi per trovare immagini corrispondenti. Il primo metodo confrontava i pattern di pixel delle immagini per trovare copie esatte, mentre il secondo cercava il significato più profondo delle immagini per trovare quasi-duplicati che potevano apparire leggermente diversi a causa delle variazioni di scansione. Combinando questi approcci, hanno identificato e raggruppato milioni di immagini ripetute, assicurando che il dataset finale rappresentasse contenuti visivi unici piuttosto che un semplice elenco di ogni singola volta in cui un'immagine è apparsa. Questo passaggio ha ridotto il numero totale di elementi di circa il 20 percento, lasciando una collezione più pulita e preziosa per lo studio.

La parte finale e più sperimentale del progetto ha riguardato l'insegnamento al sistema di scrivere descrizioni per le immagini. Utilizzando un grande modello linguistico, i ricercatori hanno chiesto al computer di generare una breve didascalia per ogni immagine, spiegando cosa mostrasse. Per aiutare il computer a comprendere il contesto, gli hanno fornito il testo della pagina circostante insieme all'immagine stessa. Al sistema è stato ordinato di essere preciso e di evitare di indovinare, descrivendo solo ciò che era chiaramente visibile. Sebbene i ricercatori abbiano sottolineato che queste didascalie sono sperimentali e dovrebbero essere usate con cautela, sono riusciti a generare quasi 18 milioni di descrizioni. Queste didascalie, scritte nella lingua originale del libro ove possibile, forniscono un nuovo modo per cercare contenuti visivi, permettendo agli utenti di trovare immagini in base al loro contenuto piuttosto che solo in base ai nomi dei file o alle categorie.

I ricercatori hanno prestato attenzione anche all'aspetto pratico di questa impresa massiccia, assicurandosi che il processo fosse efficiente e potesse essere ripetuto da altre istituzioni. Hanno scoperto che il collo di bottiglia principale non era la capacità di pensiero del computer, ma il tempo necessario per caricare e preparare le immagini per l'elaborazione. Ottimizzando il loro flusso di lavoro, sono riusciti a elaborare l'intera collezione in poche settimane utilizzando risorse computazionali standard. Il team ha rilasciato l'intera pipeline, i modelli addestrati e il relativo dataset come strumenti open-source, invitando altre biblioteche e ricercatori a utilizzare e migliorare il loro lavoro. Hanno anche incluso avvertenze chiare sulle limitazioni dei loro dati, notando che alcune immagini contengono pregiudizi storici o un linguaggio offensivo che riflette l'epoca in cui sono state create, e che le didascalie generate dal computer non sono perfette.

Questo progetto rappresenta un passo avanti significativo nel rendere la storia visiva della cultura umana accessibile sia agli esseri umani che alle macchine. Trasformando una massiccia collezione non strutturata di immagini di libri in un dataset ricercabile, classificato e descritto, i ricercatori hanno fornito una nuova base per lo studio del passato. Il dataset include oltre 22 milioni di elementi visivi, offrendo una ricca risorsa per addestrare l'intelligenza artificiale a comprendere i contesti storici e per abilitare nuove forme di ricerca nelle digital humanities. Il lavoro dimostra che, con una pianificazione attenta e gli strumenti giusti, i tesori visivi nascosti all'interno di milioni di vecchi libri possono essere portati alla luce, offrendo nuove intuizioni sulle storie che raccontano.