Towards Hierarchical Structure Understanding of Newspaper Images
Dit artikel behandelt de uitdaging van het begrijpen van complexe krantenlay-outs door twee complementaire benaderingen voor te stellen — een modulaire bottom-up pijplijn en een nieuwe end-to-end transformer-architectuur genaamd Tiramisu — terwijl het een nieuwe dataset introduceert, Finlam La Liberté, om hiërarchische informatieextractie in historische kranten te evalueren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantisch, chaotisch billboard probeert te lezen dat gekruld is, bevlekt met koffie en daarna weer is platgestreken. Stel je nu voor dat dat billboard eigenlijk een pagina uit een oude krant is, vol gepakt met kleine koppen, lange verhalen, vreemde advertenties en plaatjes, allemaal bij elkaar gegooid zonder duidelijke lijnen die aangeven waar het ene verhaal eindigt en het volgende begint. Dit is de dagelijkse realiteit voor computers die de geschiedenis proberen te "lezen". Decennialang hebben wetenschappers machines geleerd om woorden te herkennen (een proces dat OCR wordt genoemd) en om te begrijpen hoe een pagina is ingedeeld. Maar oude kranten zijn een bijzonder soort nachtmerrie: ze zijn dicht, rommelig en georganiseerd in een complexe hiërarchie waarbij een groot gedeelte kleinere artikelen bevat, die weer bestaan uit paragrafen, die weer bestaan uit woorden. Als een computer de volgorde verkeerd krijgt, leest hij misschien het einde van een verhaal voordat hij het begin leest, of mengt hij twee verschillende nieuwsberichten tot één gigantische, onzinnige paragraaf. Het begrijpen hiervan gaat niet alleen over het uittypen van woorden; het gaat over het begrijpen van de structuur van de pagina, zoals een bibliothecaris die precies weet welk boek in welke plank thuishoort, zelfs wanneer de boeken op een stapel liggen.
Dit artikel pakt die exacte chaos aan door twee zeer verschillende manieren te testen om een computer te leren een krantenpagina te ontwarren. De onderzoekers, werkend met de Franse Nationale Bibliotheek, wilden zien of ze een systeem konden bouwen dat automatisch de lay-out, de leesvolgorde en de inhoud van deze historische documenten kon begrijpen. Ze hebben niet simpelweg geraden; ze hebben twee verschillende "robots" gebouwd om de taak uit te voeren en hebben ze tegen elkaar laten strijden.
De eerste robot is een Bottom-Up Pipeline. Denk hierbij aan een team van gespecialiseerde detectives die in een rij werken. Eerst scant een detective (een model genaamd YOLO) de pagina en wijst elk object aan: "Dat is een foto," "Dat is een titel," "Dat is een paragraaf." Vervolgens kijkt een tweede detective (LayoutReader) naar al die verspreide objecten en bepaalt de volgorde waarin je ze moet lezen, zoals het verbinden van de puntjes. Ten slotte gebruikt een derde detective een aangepast regelboek om die puntjes te groeperen tot volledige verhalen en secties. Het is een modulaire aanpak waarbij elke stap afhankelijk is van de vorige om het stokje door te geven.
De tweede robot is een Top-Down Transformer genaamd Tiramisu. In plaats van een team van specialisten, is Tiramisu één enkel, superintelligent brein dat naar de hele pagina tegelijk kijkt en probeert de hiërarchie van boven naar beneden te begrijpen. Het is als een meesterkok die niet alleen groenten één voor één snijdt, maar het hele gerecht ziet en begrijpt hoe de voorgerecht, het hoofdgerecht en het dessert bij elkaar passen voordat hij zelfs maar een mes aanraakt. Tiramisu werkt in "passes": eerst identificeert het de grote secties; dan zoomt het in om de artikelen binnen die secties te vinden; dan vindt het de blokken binnen de artikelen; en tot slot leest het de tekst. Het doet dit alles in één keer en leert de structuur terwijl het werkt.
Om deze twee benaderingen te testen, heeft het team een gloednieuwe dataset gemaakt genaamd Finlam La Liberté, die 1.500 volledige edities bevat van een Franse krant uit de jaren 1920. Ze hebben ook een "synthetische" krantengenerator gebouwd om nep, perfecte krantenpagina's te maken om de AI te helpen trainen, aangezien echte historische pagina's vaak te rommelig of beschadigd zijn om een computer alles te leren wat hij moet weten.
De resultaten waren een verhaal van twee zeer verschillende sterktes. De Bottom-Up Pipeline bleek de snelheidskoning en de precisie-expert te zijn. Het was ongelooflijk snel (het duurde minder dan een seconde op een krachtige computer) en was het beste in het vinden en labelen van de kleine puzzelstukjes, zoals individuele paragrafen en afbeeldingen. Het kreeg de leesvolgorde van de kleine blokken in 87,20% van de gevallen goed. Het is echter een beetje een Rube Goldberg-machine; als de eerste detective een plekje mist, raakt de hele keten in de war.
Tiramisu, het alles-in-één brein, was langzamer (het duurde ongeveer 1,5 seconde) en miste soms zelfs de detectie van kleine blokken volledig. Als het een sectie in de eerste pass miste, miste het alles binnen die sectie. Echter, wanneer het wel dingen vond, was het uitstekend in het begrijpen van het grote plaatje. Het was verrassend goed in het tellen van hoeveel artikelen en secties er op een pagina waren, waarbij het de "telling" in 89% van de gevallen correct uitvoerde, wat beter is dan de pipeline. Het deed ook een fantastisch werk bij het ordenen van de hoofdverhalen, waarbij het de volgorde van de artikelen in 97,43% van de gevallen correct kreeg.
Het artikel concludeert dat er nog geen enkele "perfecte" oplossing bestaat. Als je miljoenen pagina's snel moet verwerken en precies moet weten waar elk klein tekstblokje zich bevindt, is de modulaire Bottom-Up Pipeline de winnaar. Maar als je een systeem nodig hebt dat de algemene structuur van een document in één enkel, verenigd model kan begrijpen, en bereid bent een beetje snelheid en detectieprecisie op te offeren voor die elegantie, dan is Tiramisu een veelbelovende nieuwe richting. De onderzoekers zijn zo overtuigd van de snelheid en nauwkeurigheid van de pipeline dat ze van plan zijn om meer dan 8 miljoen documenten voor de Franse Nationale Bibliotheek te digitaliseren tegen het einde van 2026, wat bewijst dat een team van specialisten soms de beste manier is om een rommelige, historische puzzel op te lossen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.