Kranten zijn het dagelijkse verslag van het menselijk leven en leggen alles vast, van lokale verkiezingen tot de prijs van bloem, van overlijdensberichten tot advertenties voor nieuwe uitvindingen. Eeuwenlang zijn deze verhalen bewaard gebleven op kwetsbaar papier, maar in het digitale tijdperk hebben bibliotheken miljoenen van deze pagina's gescand om ze toegankelijk te maken. Het omzetten van een afbeelding van een krantenpagina in bruikbare, doorzoekbare tekst is echter verrassend moeilijk. De pagina's zijn dicht en rommelig, gevuld met kolommen tekst, decoratieve koppen en advertenties die vaak in elkaar overvloeien. Standaard computerprogramma's, die goed werken op schone documenten, raken vaak in de war door deze chaos en produceren tekst die vol fouten zit of hele secties mist. Dit creëert een barrière voor onderzoekers en kunstmatige intelligentiesystemen die van de geschiedenis willen leren, omdat zij niet gemakkelijk kunnen lezen wat er op de pagina staat.

Een team van onderzoekers van de Harvard Law School en de Boston Public Library heeft een nieuwe manier ontwikkeld om dit probleem op te lossen. Ze hebben een stapsgewijs systeem ontwikkeld dat ontworpen is om een enkele krantenpagina op te splitsen in de kleinste, meest logische stukjes, de tekst in elk stukje met een hoge nauwkeurigheid te lezen en vervolgens alles te organiseren zodat een computer de lay-out en inhoud kan begrijpen. Hun doel was niet alleen om de tekst te digitaliseren, maar om een schone, gestructureerde dataset te creëren die de ware inhoud van meer dan een miljoen scans van historische kranten onthult. Door elk afzonderlijk tekstblok of beeld als een apart item te behandelen, slaagden ze erin om miljarden woorden te extraheren uit materiaal dat voorheen te rommelig was om effectief te gebruiken.

Het proces begint met het nemen van een digitale afbeelding van een krantenpagina en het aanleren aan een computer om de pagina te zien zoals een menselijke lezer dat doet. In plaats van te proberen de hele pagina in één keer te lezen, identificeert het systeem eerst elk afzonderlijk blok met inhoud, zoals een enkel artikel, een foto of een advertentie. De onderzoekers trainden een computermodel om deze blokken, of "crops", te herkennen door het duizenden voorbeelden te laten zien. Dit model leerde de lege witte ruimte rond de randen en de complexe grenzen tussen kolommen te negeren, en zich alleen te concentreren op de werkelijke inhoud. Bij tests bleek dit segmentatietool zeer effectief; het identificeerde succesvol meer dan 83 miljoen individuele blokken over meer dan 1,4 miljoen krantenpagina's. Gemiddeld werd elke pagina opgedeeld in ongeveer 56 afzonderlijke stukken, waardoor het systeem de complexe lay-outs uit het verleden met precisie kon afhandelen.

Zodra de pagina in deze beheersbare stukjes is verdeeld, leest het systeem de tekst binnen elk stukje. De onderzoekers gebruikten twee verschillende methoden om dit te doen, waarbij ze deze naast elkaar lieten draaien om de beste resultaten te garanderen. De eerste methode maakt gebruik van een traditionele tool die al decennia wordt gebruikt om afbeeldingen van tekst om te zetten in digitale letters. De tweede methode gebruikt een nieuwere, meer geavanceerde soort kunstmatige intelligentie-model dat de context van een afbeelding beter kan begrijpen. Dit nieuwere model bleek bijzonder goed in het lezen van tekst die beschadigd, vervaagd of geschreven was in decoratieve lettertypen die de oudere tool in verwarring brachten. In veel gevallen kon het geavanceerde model zelfs ontbrekende letters in een gescheurd deel van een pagina raden, waardoor de gaten werden opgevuld om een volledige zin te creëren. Door de outputs van beide methoden te combineren, genereerde het team een enorme collectie tekst, in totaal 16,3 miljard tokens, wat genoeg is om duizenden boeken te vullen.

Zodra de tekst is geëxtraheerd, werkt het systeem eraan om te begrijpen wat elk stuk inhoud daadwerkelijk is. Het sorteert de miljoenen blokken in categorieën, waarbij onderscheid wordt gemaakt tussen nieuwsartikelen, advertenties, foto's en cartoons. Om dit nauwkeurig te doen, kijkt het systeem naar zowel de visuele verschijning van het blok als de woorden die het bevat. Een blok dat bijvoorbeeld op een foto lijkt maar geen tekst bevat, wordt geïdentificeerd als een afbeelding, terwijl een blok met een kop en een verhaal wordt geïdentificeerd als nieuws. De onderzoekers ontdekten dat advertenties het grootste aantal van deze blokken vormden, maar dat de eigenlijke nieuwsberichten de meerderheid van de woorden bevatten. Dit onderscheid is cruciaal, omdat het onderzoekers in staat stelt om te bestuderen hoe de visuele aard van kranten in de loop der tijd veranderde, waarbij ze opmerkten dat advertenties steeds visueler werden en meer ruimte op de pagina innamen naarmate de decennia verstreken.

Het systeem organiseert de tekst ook in de volgorde waarin een mens deze natuurlijk zou lezen. Kranten hebben vaak artikelen die in één kolom beginnen en in een andere verdergaan, of verhalen die worden onderbroken door afbeeldingen. De onderzoekers ontwikkelden een methode om deze paden in kaart te brengen, waarbij ze bepalen welk blok volgt op het vorige en welk blok daarna komt. Hoewel dit een complexe taak is, slaagde hun aanpak erin de leesvolgorde voor een aanzienlijk deel van de pagina's te reconstrueren, waarbij een nauwkeurigheid van 72,1% op een macro-niveau en 80,8% op een micro-niveau werd bereikt, waardoor de tekst logisch van begin tot eind doorloopt. Deze stap transformeert een rommelige verzameling beeldfragmenten in een samenhangend narratief dat net als een modern document kan worden doorzocht en geanalyseerd.

Naast het simpelweg lezen en organiseren van de tekst, voegt het systeem lagen van nuttige informatie toe aan elk afzonderlijk blok. Het identificeert de gebruikte taal en stelt vast dat hoewel het grootste deel van de collectie in het Engels is, er ook aanzienlijke delen in het Jiddisch, Duits, Zweeds en Frans aanwezig zijn, wat de diverse immigrantengemeenschappen van die tijd weerspiegelt. Het scant de tekst ook om namen van mensen, plaatsen en organisaties te vinden, en tagt miljoenen vermeldingen van locaties zoals Boston en New York, of instellingen zoals het Congres. Bovendien wijst het systeem een onderwerp toe aan elk blok, waarbij sommige worden gelabeld als bedrijfsrapporten, andere als politiek nieuws en andere als wetenschappelijke updates. Deze rijke tagging stelt onderzoekers in staat om specifieke vragen te stellen, zoals: "Hoe vaak werd het woord 'Boston' genoemd in advertenties vergeleken met nieuwsberichten?" of "Welke onderwerpen waren het meest voorkomend in de jaren 1880?".

De gehele operatie was ontworpen om efficiënt genoeg te zijn om op standaard computerhardware te draaien, in plaats van te vereisen dat er enorme, dure supercomputers worden gebruikt. De onderzoekers verwerkten de gegevens in batches en optimaliseerden elke stap om ervoor te zorgen dat het systeem de enorme hoeveelheid materiaal kon verwerken zonder vast te lopen of te traag te worden. De totale kosten om deze pipeline te draaien op gehuurde rekenkracht werden geschat op ongeveer 25.000 dollar, een fractie van wat het gekost zou hebben om de meest geavanceerde, dure modellen te gebruiken. Deze efficiëntie betekent dat andere bibliotheken en instellingen potentieel dezelfde tools kunnen gebruiken om hun eigen historische collecties te ontsluiten.

Het resultaat van dit werk is een enorme, open dataset die niet alleen de tekst bevat, maar ook de structuur en context van meer dan een miljoen krantenpagina's uit de periode tussen 1795 en 1930. De onderzoekers hebben de tools, de modellen en de uiteindelijke data beschikbaar gesteld aan het publiek, waardoor iedereen deze geschiedenis op nieuwe manieren kan verkennen. Hoewel het systeem niet perfect is en nog steeds menselijk toezicht vereist voor de moeilijkste gevallen, vertegenwoordigt het een belangrijke stap voorwaarts in het toegankelijk maken van historische kranten. Door chaotische, ruisgevoelige afbeeldingen om te zetten in schone, gestructureerde gegevens, heeft het team een venster geopend naar het dagelijks leven van mensen uit het verleden, en een fundament gelegend voor toekomstig onderzoek en een nieuwe manier voor kunstmatige intelligentie om van de menselijke geschiedenis te leren.