Institutional Books - Visual Elements: An open-source pipeline for extracting, classifying, deduplicating, and captioning visual elements from digital book collections

Bibliotheken zijn uitgestrekte opslagplaatsen van de menselijke geschiedenis, maar decennialang hebben de digitale versies van hun boeken slechts de helft van het verhaal verteld. Wanneer instellingen oude volumes scannen om ze doorzoekbaar te maken, richten ze zich traditioneel op de tekst, waarbij ze software gebruiken om de woorden te lezen en om te zetten in data. Dit proces, bekend als optische tekenherkenning, is een triomf geweest, waardoor onderzoekers miljoenen pagina's in seconden kunnen doorzoeken. De afbeeldingen in die boeken — de illustraties, foto's, gravures en decoratieve randen — zijn echter grotendeels onzichtbaar gebleven voor machines. Deze visuele elementen bevatten een unieke laag context en nuance die tekst alleen niet kan vangen, maar ze waren moeilijk op grote schaal te bestuderen omdat ze niet gestructureerd waren op een manier die computers gemakkelijk konden begrijpen. Nu kunstmatige intelligentiesystemen steeds beter in staat zijn om de wereld te "zien" en te interpreteren, is er een aanzienlijke kloof ontstaan: deze systemen zijn voornamelijk getraind op moderne afbeeldingen van het internet en hebben vaak moeite om historische visuele cultuur te begrijpen. Om deze kloof te overbruggen, hebben onderzoekers een enorme, diverse collectie historische afbeeldingen nodig die georganiseerd en klaar is voor machines om van te leren.

Een team onderzoekers van de Harvard University heeft deze uitdaging aangepakt door een nieuw, open-source systeem te bous dat ontworpen is om visuele elementen binnen bijna één miljoen gedigitaliseerde boeken te vinden, te sorteren en te beschrijven. Hun werk, uiteengezet in een technisch rapport, creëert een pijplijn die fungeert als een zeer bekwame bibliothecaris die een boek kan scannen, elke afbeelding kan opsporen, kan bepalen wat het is en een korte beschrijving kan schrijven, en dat alles zonder menselijke tussenkomst. Het resultaat is een dataset met meer dan 22 miljoen visuele elementen geëxtraheerd uit 983.004 volumes. Deze collectie bevat alles van wetenschappelijke diagrammen en muziekpartituren tot portretten en decoratieve kunst, elk voorzien van informatie over het type en, in veel gevallen, een door de computer gegenereerd bijschrift. Door deze data beschikbaar te stellen, hoopt het team kunstmatige intelligentiemodellen te helpen beter begrijpen van historisch materiaal, waardoor een cyclus ontstaat waarbij betere tools leiden tot meer data, wat op zijn beurt weer leidt tot nog betere tools voor het verkennen van ons gedeelde verleden.

Het proces begint met de meest basale taak: het vinden van de plaatjes. De onderzoekers ontwikkelden een systeem dat de digitale pagina's van de boeken scant om elke regio te lokaliseren die een afbeelding bevat. Omdat de collectie zo omvangrijk is en honderden miljoenen pagina's bevat, moest het systeem uiterst efficiënt zijn. Ze trainden een gespecialiseerd computermodel om visuele elementen te herkennen door het duizenden voorbeelden van pagina's met en zonder afbeeldingen te tonen. Dit model leerde de tekst te negeren en zich te concentreren op de visuele onderdelen, waarbij het een kader trok rond elke illustratie, foto of diagram die het vond. In de definitieve run verwerkte het systeem de gehele collectie en identificeerde het meer dan 28 miljoen potentiële afbeeldingen. Om een hoge kwaliteit te waarborgen, pasten de onderzoekers strikte filters toe om valse meldingen te verwijderen, zoals vlekken of scanningsfouten, waardoor een definitieve set van 22,6 miljoen onderscheidende visuele elementen overbleef.

Zodra de afbeeldingen gevonden waren, was de volgende stap begrijpen wat het waren. Het systeem sorteerde de 22,6 miljoen afbeeldingen in vijf hoofdcategorieën: algemene illustraties en foto's, muzikale notatie, decoratieve elementen zoals boekplaten, grafieken en diagrammen, en scanningsartefacten zoals vingers of paperclips die per ongeluk in de scans verschenen. De onderzoekers trainden een ander model om deze onderscheiden te maken, waarbij ze het leerden het verschil te zien tussen een muziekpartituur en een pagina met tekst, of tussen een decoratieve rand en een wetenschappelijk diagram. Het systeem bleek zeer accuraat en identificeerde de overgrote meerderheid van de afbeeldingen correct. Zo kon het bijvoorbeeld muzikale notatie met bijna perfect vertrouwen onderscheiden, hoewel het sommige categorieën, zoals decoratieve randen, iets moeilijker van andere soorten illustraties kon scheiden. Dit sorteerproces is cruciaal omdat het onderzoekers in staat stelt specifieke vragen te stellen, zoals "toon me alle grafieken uit de 18e eeuw" of "vind elke instantie van een specifieke boekplaat".

Na het sorteren pakte het team het probleem van duplicaten aan. In grote digitaliseringsprojecten komt dezelfde afbeelding vaak meerdere keren voor, ofwel omdat deze in meerdere edities van een boek werd gebruikt, ofwel omdat het scanningsproces per ongeluk dezelfde pagina twee keer heeft vastgelegd. Om dit op te schonen, gebruikten de onderzoekers twee verschillende methoden om overeenkomstige afbeeldingen te vinden. De eerste methode vergeleek de pixelpatronen van de afbeeldingen om exacte kopieën te vinden, terwijl de tweede methode naar de diepere betekenis van de afbeeldingen keek om bijna-duplicaten te vinden die er door variaties in het scannen iets anders uit zouden kunnen zien. Door deze benaderingen te combineren, identificeerden en groepeerden ze miljoenen herhaalde afbeeldingen, waardoor werd gewaarborgd dat de definitieve dataset unieke visuele inhoud vertegenwoordigde in plaats van slechts een lijst van elke keer dat een afbeelding voorkwam. Deze stap verminderde het totaal aantal items met ongeveer 20 procent, wat een schonere, waardevollere collectie voor studie achterliet.

Het laatste en meest experimentele deel van het project hield in dat het systeem werd geleerd om beschrijvingen voor de afbeeldingen te schrijven. Met behulp van een groot taalmodel vroegen de onderzoekers de computer om een kort bijschrift voor elke afbeelding te genereren, waarin wordt uitgelegd wat deze toont. Om de computer te helpen de context te begrijpen, voerden ze de tekst van de omliggende pagina samen met de afbeelding aan. Het systeem kreeg de instructie om precies te zijn en geen aannames te doen, door alleen te beschrijven wat duidelijk zichtbaar was. Hoewel de onderzoekers opmerkten dat deze bijschriften experimenteel zijn en met zorg moeten worden gebruikt, genereerden ze succesvol bijna 18 miljoen beschrijvingen. Deze bijschriften, geschreven in de oorspronkelijke taal van het boek waar mogelijk, bieden een nieuwe manier om visuele inhoud te doorzoeken, waardoor gebruikers afbeeldingen kunnen vinden op basis van hun inhoud in plaats van alleen op hun bestandsnamen of categorieën.

De onderzoekers besteedden ook veel aandacht aan de praktische kant van deze enorme onderneming, door ervoor te zorgen dat het proces efficiënt is en door andere instellingen kan worden herhaald. Ze ontdekten dat de grootste flessenhals niet het vermogen van de computer om na te denken was, maar de tijd die het kostte om de afbeeldingen te laden en voor te bereiden voor verwerking. Door hun workflow te optimaliseren, slaagden ze erin de gehele collectie in enkele weken te verwerken met standaard rekenmiddelen. Het team heeft de volledige pijplijn, de getrainde modellen en de resulterende dataset als open-source tools vrijgegeven, waarbij zij andere bibliotheken en onderzoekers uitnodigen om hun werk te gebruiken en te verbeteren. Ze voegden ook duidelijke waarschuwingen toe over de beperkingen van hun data, waarbij zij opmerkten dat sommige afbeeldingen historische vooroordelen of schadelijke taal bevatten die de tijd weerspiegelen waarin ze zijn gemaakt, en dat de door de computer gegenereerde bijschriften niet perfect zijn.

Dit project vormt een belangrijke stap voorwaarts in het toegankelijk maken van de visuele geschiedenis van de menselijke cultuur voor zowel mensen als machines. Door een enorme, ongestructureerde collectie boekafbeeldingen om te zetten in een doorzoekbare, geclassificeerde en beschreven dataset, hebben de onderzoekers een nieuw fundament gelegd voor het bestuderen van het verleden. De dataset bevat meer dan 22 miljoen visuele elementen en biedt een rijke bron voor het trainen van kunstmatige intelligentie om historische contexten te begrijpen en om nieuwe vormen van digitaal geesteswetenschappelijk onderzoek mogelijk te maken. Het werk laat zien dat met zorgvuldige planning en de juiste instrumenten de visuele schatten die verborgen liggen in miljoenen oude boeken aan het licht kunnen worden gebracht, wat frisse inzichten biedt in de verhalen die zij vertellen.