TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition
Dit artikel introduceert TRIDIS, een open, geharmoniseerde corpus van middeleeuwse en vroegmoderne handgeschreven documenten ontworpen om Handwritten Text Recognition en Named Entity Recognition te ondersteunen, terwijl het een innovatieve outlier-gebaseerde evaluatiestrategie voorstelt om de beperkingen van conventionele willekeurige splitsingen bij het benchmarken van erfgoeddocumenten aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme, stoffige bibliotheek voor vol met duizenden handgeschreven brieven, juridische contracten en koninklijke decreten uit de Middeleeuwen en de Renaissance. Deze documenten zijn geschreven in verschillende talen (zoals Latijn, Frans en Duits), door verschillende schrijvers met zeer verschillende handschriften, en sommige zijn zelfs bevlekt of gescheurd.
TRIDIS is de naam van een nieuwe, supergeorganiseerde digitale collectie van deze documenten. Denk aan een "trainingsgym voor universele vertalers" voor computers. Het doel is om computers te leren hoe ze die oude, slordige handgeschreven notities nauwkeurig kunnen lezen.
Hier is een uitsplitsing van wat het artikel doet, met behulp van eenvoudige analogieën:
1. Het Probleem: De "Te Makkelijke" Test
Lama een tijdje hadden onderzoekers die computers probeerden te leren oude handschriften te lezen, een probleem. Ze trainden de computer op een heleboel documenten en testten deze vervolgens op een paar andere, willekeurig gekozen documenten.
De Analogie: Stel je een student voor die studeert voor een wiskundetoets. Hij oefent met makkelijke sommen uit Hoofdstuk 1. Wanneer de leraar een willekeurige vraag uit Hoofdstuk 1 kiest voor de toets, haalt de student een voldoende. Maar in het echte leven kan de toets een lastige vraag uit Hoofdstuk 5 bevatten die totaal niet lijkt op wat hij heeft geoefend. De willekeurige test gaf een vals gevoel van veiligheid.
In de wereld van oude manuscripten betekent dit dat computers vaak slimmer lijken dan ze in werkelijkheid zijn, omdat ze simpelweg de specifieke handschriftenstijlen die ze tijdens de training zagen, uit het hoofd leren, in plaats van te leren hoe ze met elke stijl om moeten gaan.
2. De Oplossing: De "Outlier" Uitdaging
De auteur, Sergio Torres Aguilar, creëerde TRIDIS om dit op te lossen. Maar de echte innovatie is niet alleen de collectie documenten zelf; het is hoe ze de computers testen.
In plaats van testvragen willekeurig te kiezen, gebruiken ze een strategie genaamd "Outlier-Based Splitting."
De Analogie: Stel je voor dat je een hond traint om te apporteren.
- Willekeurige Test: Je gooit een bal in de achtertuin. De hond vangt hem.
- Outlier Test: Je gooit een frisbee, een stok, een piepend speeltje en een modderige steen. Je gooit ze ook in de regen, in het donker en vanuit een vreemde hoek.
De "Outlier"-strategie kijkt naar alle handgeschreven regels en zoekt de regels op die het meest vreemd, beschadigd of ongewoon zijn. Dit kunnen regels zijn met:
- Zeer vreemde handschrifstijlen.
- Woorden die nauwelijks zichtbaar zijn (vervaagde inkt).
- Regels die ongelooflijk lang zijn of een vreemde lay-out hebben.
- Namen of woorden die zeer zeldzaam zijn.
Deze "vreemde" regels worden apart gezet als de Test Set. De computer wordt getraind op de "normale" zaken, maar wordt alleen beoordeeld op hoe goed hij de "vreemde" zaken afhandelt. Dit geeft een veel eerlijker cijfer voor hoe slim de computer echt is.
3. Wat zit er in de doos? (De Corpus)
TRIDIS is een enorme gereedschapskist met bijna 200.000 regels tekst uit diverse historische collecties.
- Tijdreizen: Het beslaat documenten van de jaren 1100 tot aan de jaren 1700.
- Talen: Het bevat Latijn, Oudfrans, Middelhoogduits en Spaans.
- Stijlen: Het heeft verschillende soorten handschriften, van nettere, blokvormige letters tot slordig, vloeiend cursief.
- Opschonen: De tekst is "opgeschoond" door menselijke redacteuren. Zij hebben afkortingen uitgebreid (zoals "dms" veranderen in "dominus") en interpunctie gecorrigeerd, zodat computers de betekenis beter kunnen begrijpen.
4. De Resultaten: De Kloof tussen "Goed" en "Geweldig"
De auteur testte twee populaire computermodellen (TrOCR en MiniCPM) met behulp van deze nieuwe methode.
- De Willekeurige Test: Wanneer getest op willekeurige regels, presteerden de computers vrij goed (ongeveer 9% foutpercentage). Dit is alsoك een student die een voldoende haalt voor die makkelijke toets van Hoofstuk 1.
- De Outlier Test: Wanneer getest op de "vreemde" regels, steeg het foutpercentage aanzienlijk (tot 12-13%).
De Les: Deze kloof bewijst dat huidige computers niet zo robuust zijn als we dachten. Ze worstelen wanneer ze een complexe, onvoorspelbare realiteit van historische documenten tegenkomen. Door deze "Outlier"-test te gebruiken, kunnen onderzoekers nu precies zien waar de computers tekortschieten en weten wat ze nog moeten leren.
Samenvatting
TRIDIS is een enorme, openbare bibliotheek van oude handgeschreven documenten, ontworpen om computers te helpen de geschiedenis te leren lezen. Het belangrijkste kenmerk is een nieuwe manier van testen: in plaats van computers een makkelijke, willekeurige quiz te geven, werpt het de moeilijkste, meest ongewone voorbeelden op hen. Dit zorgt ervoor dat wanneer we zeggen dat een computer oude manuscripten kan lezen, hij ook daadwerkelijk de rommelige, chaotische realiteit van de geschiedenis aankan, en niet alleen de perfecte voorbeelden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.