Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment
Vidya is een modulaire, open-source pijplijn die bij UEPG is ontwikkeld en gebruikmaakt van Large Language Models die worden beperkt door YAML-ontologieën en Pydantic-validatie om de semantische verrijking en archivering van historische "donkere data" te automatiseren, waardoor de verwerkingstijd aanzienlijk wordt verkort van decennia naar dagen, terwijl tegelijkertijd wordt gewaarborgd dat wordt voldaan aan internationale standaarden zoals NOBRADE en ISAD(G).
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme bibliotheek voor met oude, stoffige dozen vol historische documenten, foto's en brieven. Je hebt jarenlang zorgvuldig alles gescand om ze te redden van verval. Maar hier is het probleem: je hebt nu een berg digitale bestanden die in wezen "donkere data" zijn. Ze bestaan, maar niemand kan ze vinden omdat ze geen labels, tags of beschrijvingen hebben. Het is alsof je een gigantisch magazijn hebt vol met mysteriedozen, waarbij je niet weet wat erin zit zonder elke enkele doos met de hand te openen.
Traditioneel is het inhuren van mensen om elk document te lezen en er een samenvatting voor te schrijven ongelooflijk traag, duur en vatbaar voor fouten. Hier komt Vidya om de hoek kijken.
Wat is Vidya?
Denk aan Vidya als een super slimme, onuitputtelijke robotbibliothecaris die specifiek is gebouwd om dit labelprobleem op te lossen. Het is een "pijplijn", wat gewoon een chique woord is voor een assemblagelijn. In plaats van dat een mens aan een bureau zit, neemt Vidya je digitale bestanden, leest ze met behulp van Kunstmatige Intelligentie (AI) en schrijft automatisch de benodigde beschrijvingen (metadata) zodat mensen ze later kunnen zoeken en vinden.
Hoe werkt het? (De "Digitale Strakke Band")
Je denkt misschien: "Wacht, AI kan onbetrouwbaar zijn. Het verzint soms dingen of 'hallucineert' feiten." De auteurs van het artikel wisten dat dit een enorm risico was voor archieven, waar nauwkeurigheid alles is.
Om dit op te lossen, gebruikt Vidya een slimme truc die ze een "digitale strakke band" noemen.
- Het probleem: Stel je voor dat je een creatieve schrijver vraagt om een foto te beschrijven. Hij of zij kan details verzinnen die er niet zijn.
- De oplossing: Vidya laat de AI niet zomaar "kletsen". In plaats daarvan dwingt het de AI om een strikt, vooraf gemaakt formulier in te vullen (gedefinieerd door een bestand genaamd YAML). Het is alsof je de AI een invuloefening geeft met specifieke regels.
- De controle: Voordat het antwoord van de AI wordt geaccepteerd, controleert een digitale poortwachter (genaamd Pydantic) het werk. Als de AI probeert iets te schrijven dat niet in het formulier past of de regels breekt, wordt het systeem afgewezen. Dit zorgt ervoor dat de output altijd gestructureerd, accuraat is en voldoet aan internationale bibliothecaire regels (zoals ISAD(G) en NOBRADE).
De "Maker"-geest
Vidya is niet gebouwd in een high-tech corporate lab met onbeperkt geld. Het is gebouwd door een team aan een universiteit in Brazilië met behulp van Maker-principes.
- Lage kosten: Het is ontworpen om te draaien op bescheiden, betaalbare computers (zoals een standaard desktop of zelfs een Raspberry Pi), niet op dure supercomputers.
- Open source: Het is gratis software die iedereen kan bekijken, repareren of verbeteren.
- Samenwerking: Het brengt historici (die de geschiedenis kennen) en computerwetenschappers (die de code kennen) samen om samen te werken.
Wat hebben ze gevonden?
Het team testte Vidya op een stapel van 50 documenten (kranten en foto's) en vergeleek dit met het werk met de hand doen. De resultaten waren dramatisch:
- Snelheid: Wat een menselijk team 18,5 jaar zou kosten om handmatig te verwerken, kon Vidya doen in ongeveer 45 tot 60 dagen.
- Kosten: De AI-ondersteunde aanpak kostte slechts ongeveer 1,5% van wat menselijke arbeid zou kosten.
- Nauwkeurigheid: Vidya behaalde ongeveer 85% nauwkeurigheid op belangrijke details zoals titels, makers en data. Hoewel het niet perfect is, is het goed genoeg om het zware werk te doen, waardoor mensen alleen het werk hoeven te controleren in plaats van vanaf nul te beginnen.
- Toegankelijkheid: Door deze "donkere" afbeeldingen om te zetten in tekstbeschrijvingen, maakt Vidya deze archieven toegankelijk voor mensen die blind zijn of een slecht zicht hebben, die schermlezers gebruiken om door het web te navigeren.
Het grote plaatje
Vidya is niet zomaar een tool; het is een manier om geschiedenis te ontsluiten. Het neemt de "donkere data" van het verleden – bestanden die in het donker zaten, onzichtbaar en onzoekbaar – en verandert ze in een helder, georganiseerd en zoekbaar digitaal museum. Het bewijst dat je geen enorm budget nodig hebt om geavanceerde AI te gebruiken; je hebt alleen een slimme, gestructureerde aanpak nodig om de technologie eerlijk en behulpzaam te houden.
Kortom: Vidya is de brug die een chaotische stapel digitale bestanden verandert in een bruikbare, zoekbare bibliotheek, decennia aan werk bespaart en geschiedenis toegankelijk maakt voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.