Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment
Vidya ist eine modulare, quelloffene Pipeline, die an der UEPG entwickelt wurde und Large Language Models nutzt, die durch YAML-Ontologien und Pydantic-Validierung eingeschränkt sind, um die semantische Anreicherung und archivische Aufnahme historischer „dunkler Daten" zu automatisieren, wodurch die Verarbeitungszeit von Jahrzehnten auf Tage erheblich reduziert wird, während gleichzeitig die Einhaltung internationaler Standards wie NOBRADE und ISAD(G) gewährleistet ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek alter, staubiger Kisten, die mit historischen Dokumenten, Fotos und Briefen gefüllt sind. Sie haben Jahre damit verbracht, sie alle sorgfältig zu scannen, um sie vor dem Verrotten zu bewahren. Doch hier liegt das Problem: Sie haben nun einen Berg digitaler Dateien, die im Wesentlichen „dunkle Daten" sind. Sie existieren, aber niemand kann sie finden, da ihnen Beschriftungen, Tags oder Beschreibungen fehlen. Es ist, als hätte man ein riesiges Lager voller mysteriöser Kisten, in denen man nicht weiß, was sich darin befindet, ohne jede einzelne von Hand zu öffnen.
Traditionell ist die Einstellung von Personen, die jedes Dokument lesen und eine Zusammenfassung dafür verfassen, unglaublich langsam, teuer und fehleranfällig. Hier kommt Vidya ins Spiel.
Was ist Vidya?
Stellen Sie sich Vidya als superklugen, unermüdlichen Roboter-Bibliothekar vor, der speziell entwickelt wurde, um dieses Beschriftungsproblem zu lösen. Es ist eine „Pipeline", was nur ein ausgefallenes Wort für eine Fließbandproduktion ist. Anstatt dass ein Mensch an einem Schreibtisch sitzt, nimmt Vidya Ihre digitalen Dateien entgegen, liest sie mithilfe von Künstlicher Intelligenz (KI) und schreibt automatisch die notwendigen Beschreibungen (Metadaten), damit Menschen sie später suchen und finden können.
Wie funktioniert es? (Der „digitale Zwangsjacke")
Sie denken vielleicht: „Warten Sie, KI kann unzuverlässig sein. Sie erfindet manchmal Dinge oder ‚halluziniert' Fakten." Die Autoren des Papers wussten, dass dies ein enormes Risiko für Archive darstellt, in denen Genauigkeit alles ist.
Um dies zu beheben, verwendet Vidya einen klugen Trick, den sie „digitale Zwangsjacke" nennen.
- Das Problem: Stellen Sie sich vor, Sie bitten einen kreativen Schriftsteller, ein Foto zu beschreiben. Er könnte Details erfinden, die nicht vorhanden sind.
- Die Lösung: Vidya lässt die KI nicht einfach nur „plaudern". Stattdessen zwingt sie die KI, ein strenges, vorgefertigtes Formular (definiert durch eine YAML-Datei) auszufüllen. Es ist, als würde man der KI ein Arbeitsblatt mit Lücken und spezifischen Regeln geben.
- Die Prüfung: Bevor die Antwort der KI akzeptiert wird, überprüft ein digitaler Wächter (Pydantic genannt) die Arbeit. Wenn die KI versucht, etwas zu schreiben, das nicht in das Formular passt oder die Regeln bricht, wird es vom System abgelehnt. Dies stellt sicher, dass die Ausgabe immer strukturiert, genau und den internationalen Bibliotheksregeln (wie ISAD(G) und NOBRADE) folgend ist.
Der „Maker"-Geist
Vidya wurde nicht in einem High-Tech-Unternehmenslabor mit unbegrenzten Mitteln gebaut. Es wurde von einem Team an einer Universität in Brasilien unter Anwendung von Maker-Prinzipien entwickelt.
- Geringe Kosten: Es ist so konzipiert, dass es auf bescheidenen, erschwinglichen Computern läuft (wie einem Standard-Desktop oder sogar einem Raspberry Pi), nicht auf teuren Supercomputern.
- Open Source: Es ist kostenlose Software, die jeder einsehen, reparieren oder verbessern kann.
- Zusammenarbeit: Es bringt Historiker (die die Geschichte kennen) und Informatiker (die den Code kennen) zusammen, um gemeinsam zu arbeiten.
Was haben sie herausgefunden?
Das Team testete Vidya an einem Stapel von 50 Dokumenten (Zeitungen und Fotos) und verglich dies mit der manuellen Erledigung der Arbeit. Die Ergebnisse waren dramatisch:
- Geschwindigkeit: Was einem menschlichen Team 18,5 Jahre Zeit kosten würde, um manuell zu verarbeiten, konnte Vidya in etwa 45 bis 60 Tagen erledigen.
- Kosten: Der KI-gestützte Ansatz kostete nur etwa 1,5 % dessen, was menschliche Arbeit kosten würde.
- Genauigkeit: Vidya erreichte bei Schlüsseldetails wie Titeln, Schöpfern und Daten eine Genauigkeit von etwa 85 %. Obwohl es nicht perfekt ist, ist es gut genug, um die schwere Arbeit zu übernehmen, sodass Menschen nur noch die Arbeit überprüfen müssen, anstatt von vorne zu beginnen.
- Zugänglichkeit: Indem Vidya diese „dunklen" Bilder in Textbeschreibungen umwandelt, macht es diese Archive für blinde oder sehbehinderte Menschen zugänglich, die Bildschirmlesegeräte zur Navigation im Web nutzen.
Das große Ganze
Vidya ist nicht nur ein Werkzeug; es ist ein Weg, die Geschichte zu erschließen. Es nimmt die „dunklen Daten" der Vergangenheit – Dateien, die im Dunkeln lagen, unsichtbar und nicht durchsuchbar – und verwandelt sie in ein helles, organisiertes und durchsuchbares digitales Museum. Es beweist, dass man kein massives Budget benötigt, um fortschrittliche KI einzusetzen; man braucht nur einen klugen, strukturierten Ansatz, um die Technologie ehrlich und hilfreich zu halten.
Kurz gesagt: Vidya ist die Brücke, die einen chaotischen Haufen digitaler Dateien in eine nutzbare, durchsuchbare Bibliothek verwandelt, Jahrzehnte Arbeit spart und die Geschichte für alle zugänglich macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.