ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts
Het artikel introduceert ROBE (Reversed-Order-Biased-Experts), een nieuw framework dat prioriteitsgewogen expert-classifiers en domeinspecifieke synthetische data combineert om de extractie van schaarse, long-tail historische gebeurtenissen uit 17e- en 18e-eeuwse Nederlandse teksten aanzienlijk te verbeteren, waarbij het standaard gefinetunede modellen overtreft in precisie, recall en F1-scores.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne kunstmatige intelligentie zijn machines opmerkelijk vaardig geworden in het lezen en begrijpen van de teksten van onze huidige wereld. Ze kunnen nieuwsartikelen samenvatten, talen vertalen en vragen beantwoorden op basis van de eindeloze stroom informatie die vandaag de dag op het internet beschikbaar is. Deze krachtige systemen worstelen echter vaak wanneer ze worden geconfronteerd met het verleden, in het bijzonder met de geschreven verslagen van eeuwen geleden. Dit komt omdat de data die gebruikt worden om hen te trainen zwaar scheefgetrokken zijn naar alledaagse onderwerpen en moderne taal, waardoor er een enorme kloof ontstaat in hun kennis van zeldzame, historische gebeurtenissen. Wanneer onderzoekers deze machines proberen te leren om specifieke, ongebruikelijke gebeurtenissen in oude archieven te vinden, negeren de systemen de zeldzame details en rapporteren ze alleen de zaken die ze het vaakst zien, waardoor ze zichzelf effectief blind maken voor de unieke verhalen die verborgen liggen in de marges van de geschiedenis.
Deze uitdaging staat centraal in een nieuwe studie gericht op de archieven van de Vereenigde Oostindische Compagnie, een enorme handelsimperium dat opereerde tussen 1602 en 1799. De onderzoekers wilden computers leren om meer dan vijftig verschillende soorten gebeurtenissen te identificeren die verborgen liggen in handgeschreven Nederlandse documenten uit die tijd. Deze documenten zijn een schatkist aan geschiedenis, maar ze vormen een uniek probleem: de beschreven gebeurtenissen zijn niet gelijkmatig verdeeld. Terwijl sommige onderwerpen zoals handel en reizen frequent voorkomen, worden andere zoals muiterij, belegeringen of daden van slavernij zeer zelden genoemd. In de taal van de data way wordt dit een "long-tail"-probleem genoemd, waarbij de zeldzame items zo onfrequent zijn dat standaard computermodellen ze simpelweg over het hoofd zien. De onderzoekers zetten zich af om de "long-tail van de long-tail" op te lossen, met als doel deze schaarse, kritieke historische gebeurtenissen te extraheren die de meeste kunstmatige intelligentie zou missen.
Om dit aan te pakken, ontwikkelde het team een nieuwe methode genaamd ROBE, wat staat voor Reversed-Order-Biased-Experts. In plaats van te proberen één gigantisch computermodel te trainen om alle soorten gebeurtenissen tegelijkertijd te vinden, braken ze het probleem af in kleinere, beheersbare stukken. Ze groepeerden de zeldzame gebeurtenissen samen op basis van hoe vaak ze voorkwamen in de trainingsdata of hoe vergelijkbaar hun betekenis was. Voor elk van deze groepen trainden ze een gespecialiseerd "expert"-model. De cruciale innovatie ligt in de manier waarop deze experts worden gebruikt. In een typisch systeem zou het model dat getraind is op de meest voorkomende data de overhand krijgen in het uiteindelijke antwoord, waardoor de zeldzame gebeurtenissen worden overstemd. De ROBE-methode draait deze logica om. Wanneer de experts van mening verschillen over wat een gebeurtenis is, geeft het systeem de hoogste prioriteit aan de expert die gespecialiseerd is in de zeldzaamste gebeurtenissen. Door het systeem te dwingen eerst te luisteren naar de specialist op het gebied van de zeldzaamste onderwerpen, zorgden de onderzoekers ervoor dat de ongewone, historisch belangrijke gebeurtenissen niet werden weggevaagd door de meer frequente.
De onderzoekers experimenteerden ook met het creëren van synthetische data om de modellen beter te laten leren. Ze gebruikten een generatief taalmodel om nieuwe zinnen te schrijven die de stijl van de oude Nederlandse archieven nabootsten, gevuld met specifieke details over schepen, goederen en mensen afkomstig uit bestaande historische registers. Dit werd gedaan om de computer meer voorbeelden te geven van de zeldzame gebeurtenissen die hij moest herkennen. Hoewel het toevoegen van deze synthetische data het systeem hielp om nauwkeuriger te worden in zijn voorspellingen, verbeterde het de bekwaamheid van het systeem om op zichzelf meer van de zeldzame gebeurtenissen te vinden niet significant. De meest effectieve aanpak bleef de ROBE-methode, die vertrouwde op de strategische groepering van experts in plaats van enkel meer data toe te voegen.
Toen het team hun methoden testte tegenover een standaard computermodel en andere baselines, waren de resultaten duidelijk. Het standaardmodel, getraind op alle data tegelijkertijd, had moeite met het identificeren van de zeldzame gebeurtenissen en verwarde ze vaak met meer voorkomende onderwerpen of miste ze zelfs volledig. In contrast hiermee verbeterde de ROBE-aanpak het vermogen van het systeem om deze long-tail gebeurtenissen te vinden aanzienlijk. Specifiek behaalde het beste model een toename van 0,10 in de F1-score voor een groep long-tail klassen in hun niche-dataset, vergeleken met het standaardmodel. Het verbeterde ook de precisie van de resultaten, wat betekent dat het systeem minder waarschijnlijk valse claims maakt over wat er in de tekst gebeurt. De studie demonstreert dat door de manier waarop een computer leert zorgvuldig te organiseren en door de zeldzaamste informatie prioriteit te geven, onderzoekers historische details kunnen ontsluiten die voorheen onzichtbaar waren voor kunstmatige intelligentie, zonder dat daarvoor enorme hoeveelheden nieuwe data of extreem complexe nieuwe technologie nodig zijn.
Dit werk biedt een praktisch pad vooruit voor historici en computerwetenschappers die werken met moeilijke, arm aan middelen (low-resource) datasets. Het laat zien dat de oplossing voor het probleem van zeldzame informatie niet altijd grotere modellen of meer data vereist, maar eerder een slimmere manier om de bestaande tools te combineren. Door te luisteren naar de experts die de zeldzaamste verhalen kennen, kan het systeem eindelijk de volledige geschiedenis horen, en niet alleen de meest populaire delen ervan. De bevindingen suggereren dat we met de juiste aanpak de verloren stemmen en gebeurtenissen uit het verleden kunnen terugwinnen, zodat de digitale reconstructie van de geschiedenis even compleet en genuanceerd is als de archieven zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.