BullingerDB: A Dataset for Handwritten Text Recognition and Writer Retrieval
Het artikel introduceert BullingerDB, een grootschalige meertalige dataset van bijna 21.000 historische pagina's uit de correspondentie van Heinrich Bullinger, en evalueert de bruikbaarheid ervan voor herkenning van handschrift en tijdsbewuste schrijverherkenning, waarbij zowel de prestaties van het model als de uitdagingen die worden gesteld door langdurige stijlvariaties worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme, stoffige bibliotheek voor met meer dan 20.000 handgeschreven brieven uit de jaren 1500. Dit zijn niet zomaar brieven; het is de correspondentie van Heinrich Bullinger, een beroemd religieus leider uit Zwitserland, en de honderden mensen waarmee hij over een periode van 50 jaar brieven uitwisselde.
De auteurs van dit paper, "BullingerDB", hebben deze historische schatkamer omgetoverd tot een gigantische trainingsgym voor computers. Hun doel was om machines twee specifieke vaardigheden aan te leren: het lezen van deze rommelige oude brieven en het achterhalen van wie ze schreef, zelfs wanneer de schrijfstijl van de auteur in de loop der tijd veranderde.
Hieronder volgt een uiteenzetting van wat ze hebben gedaan, met behulp van alledaagse analogieën:
1. De Dataset: Een "Tijdsreislende" Fotoalbum
Beschouw BullingerDB als een groot, georganiseerd fotoalbum van handschriften.
- De Omvang: Het bevat bijna 500.000 regels tekst van 796 verschillende personen.
- De Variatie: De schrijvers gebruikten verschillende talen (voornamelijk Latijn en vroeg Duits) en wisselden halverwege een zin van taal, net als iemand die in het Engels en Spaans gemengd sms't.
- De Uitdaging: Het handschrift is overal anders. Sommigen schreven netjes, anderen krabbelde. Sommige brieven werden geschreven toen een persoon jong was, anderen toen ze oud waren. Het is alsof je probeert het handschrift van een vriend te herkennen op een briefje dat ze op hun 10e schreven versus een briefje dat ze op hun 60e schreven.
2. De Eerste Taak: De Computer Leren Lezen (HTR)
De eerste opdracht was om een computer deze brieven te laten lezen en correct over te typen. Dit is alsof je een zeer snelle, maar zeer vermoeide typist inhuurt om een stapel handgeschreven notities over te schrijven.
- Het Probleem: De notities zijn oud, de inkt is vervaagd en de woorden zijn in talen die door de eeuwen heen zijn veranderd.
- De Oplossing: Ze testten vier verschillende "AI-studenten" (computermodellen) om te zien welke het beste kon lezen.
- Het Resultaat: De beste student, een model genaamd TrOCR, slaagde erin de tekst te lezen met ongeveer 9% fouten.
- De Vangst: De computer had de meeste moeite met zeer korte tekstregels (zoals adressen op de achterkant van een brief) omdat het niet genoeg context had om te raden wat de woorden waren. Het is alsof je probeert een woord te raden op basis van één enkele letter; dat is veel moeilijker dan raden op basis van een hele zin.
3. De Tweede Taak: De Auteur Vinden (Schrijver Retrieval)
De tweede opdracht was om naar een pagina tekst te kijken en te vragen: "Wie heeft dit geschreven?" De computer moest door de bibliotheek van 796 schrijvers zoeken en de juiste persoon kiezen.
- De Twist: De auteurs voegden een speciale regel toe. Omdat ze precies wisten wanneer elke brief was geschreven, wilden ze dat de computer niet alleen de juiste persoon vond, maar de juiste persoon op het juiste moment.
- Analogie: Stel je voor dat je op zoek bent naar een foto van je vriend. Als je de computer vraagt om "Jan" te vinden, mag hij je niet gewoon een babyfoto van Jan laten zien als je op zoek bent naar een foto van een volwassene. Het moet begrijpen dat Jans gezicht (of handschrift) verandert naarmate hij ouder wordt.
- De Nieuwe Maatstaf: Om dit te meten, bedachten ze een nieuwe score genaamd temporal nDCG. Denk hierbij aan een "Tijdsreis-score". Het beloont de computer als hij de juiste schrijver vindt en als de andere schrijvers die hij suggereert uit dezelfde periode stammen.
- Het Resultaat: De computer was eigenlijk behoorlijk goed in het vinden van de juiste persoon (gemiddeld ongeveer 78% nauwkeurigheid). Echter, hij was niet perfect in het rangschikken van hen. Omdat het handschrift van mensen zo sterk verandert over decennia, raakte de computer soms in de war over welke versie van de schrijver hij bekeek.
4. Waarom Dit Belangrijk Is
Voor dit paper hadden onderzoekers niet genoeg "gym" om computers te trainen op historisch handschrift dat in de loop der tijd verandert.
- Het Gat: Eerdere datasets waren te klein of bevatten niet genoeg informatie over wie wanneer schreef.
- De Bijdrage: BullingerDB is nu de grootste publieke dataset van zijn soort. Het stelt onderzoekers in staat om te testen of hun AI de rommelige realiteit van de geschiedenis aankan, waarbij mensen van taal wisselen, hun schrijfstijl veranderen naarmate ze ouder worden, en in verschillende schriftsystemen schrijven.
Samenvatting
Kortom, de auteurs bouwden een enorme, van tijdstempels voorziene bibliotheek met brieven uit de 16e eeuw om computers te leren oude handschriften te lezen en auteurs te identificeren. Ze ontdekten dat computers ondertussen behoorlijk goed zijn geworden in het lezen van de tekst, maar nog steeds wat moeite hebben wanneer de stijl van een schrijver over vele jaren evolueert. Ze introduceerden ook een nieuwe manier om computers te beoordelen, waarbij ze worden beloond voor het begrijpen van de tijdslijn van de documenten, niet alleen de namen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.