Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment
Vidya は UEPG で開発されたモジュール式オープンソースパイプラインであり、YAML 形式のオントロジーと Pydantic による検証によって制約された大規模言語モデルを活用して歴史的な「ダークデータ」のセマンティックなエンリッチメントとアーカイブへの取り込みを自動化し、NOBRADE や ISAD(G) といった国際基準への準拠を確保しつつ処理時間を数十年から数日に大幅に短縮する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
古くて埃っぽい箱が山積みになり、その中に歴史的な文書、写真、手紙が詰まった巨大な図書館を想像してみてください。それらが朽ち果ててしまうのを防ぐため、あなたは数年にわたってそれらすべてを慎重にスキャンしてきました。しかし、ここに問題があります。今やあなたは「ダークデータ」とも呼べるデジタルファイルの山を手に入れたのです。それらは存在しますが、ラベルやタグ、説明が欠落しているため、誰もそれらを見つけることができません。まるで、中身を知るには一つ一つ手作業で開けなければならない謎の箱で満たされた巨大な倉庫を持っているようなものです。
従来、すべての文書を読み、それぞれに要約を書くために人を雇う方法は、信じられないほど遅く、高額で、ミスが発生しやすいものでした。ここでVidyaが登場します。
Vidya とは何か？
Vidya は、このラベル付けの問題を解決するために特別に作られた超賢く、疲れを知らないロボット司書だと考えてください。これは「パイプライン」です。これは単に組立ラインを指す洒落た言葉に過ぎません。Vidya は、人が机に座る代わりに、あなたのデジタルファイルを受け取り、人工知能（AI）を使ってそれらを読み、後で人々が検索して見つけられるように必要な説明（メタデータ）を自動的に作成します。
どのように機能するのか？（「デジタルの拘束衣」）
「待てよ、AI は信頼性が低いのではないか。時折、事実を捏造したり、幻覚を見たりするのではないか」と思われるかもしれません。この論文の著者たちは、正確性がすべてであるアーカイブにとって、これが大きなリスクであることを知っていました。
これを解決するため、Vidya は**「デジタルの拘束衣」**と呼ばれる巧妙なトリックを使用します。
- 問題点: 写真について創造的な作家に説明を頼むと、存在しない詳細を捏造してしまうかもしれません。
- 解決策: Vidya は AI に単に「会話」させることを許しません。代わりに、AI に YAML というファイルで定義された、厳格で事前に作られたフォーム（記入用紙）を埋めさせるのです。まるで AI に特定のルールが記された穴埋めワークシートを与えるようなものです。
- チェック: AI の回答が受け入れられる前に、デジタルの門番（Pydantic と呼ばれるもの）が作業をチェックします。AI がフォームに合わないものを書こうとしたり、ルールを破ろうとしたりすると、システムはそれを拒否します。これにより、出力は常に構造化され、正確であり、ISAD(G) や NOBRADE といった国際的な図書館の規則に従うことが保証されます。
「メイカー」精神
Vidya は、無限の資金を持つハイテク企業研究所で建てられたわけではありません。ブラジルの大学のチームがメイカーの原則を用いて構築しました。
- 低コスト: 高価なスーパーコンピュータではなく、標準的なデスクトップやラズベリー・パイのような手頃な価格のコンピュータで動作するように設計されています。
- オープンソース: 誰でも見て、修正したり、改善したりできる無料のソフトウェアです。
- 協働: 歴史を知っている歴史家と、コードを知っているコンピュータ科学者が協力して作業します。
彼らは何を見つけたのか？
チームは、新聞や写真など 50 点の文書の山で Vidya をテストし、手作業で行う場合と比較しました。結果は劇的でした。
- 速度: 人間のチームが手作業で処理するのに18.5 年かかる作業を、Vidya は約45 日から 60 日で完了させることができました。
- コスト: AI 支援アプローチのコストは、人間の労働にかかるコストのわずか**1.5%**でした。
- 精度: Vidya は、タイトル、作成者、日付などの重要な詳細において約85% の精度を達成しました。完璧ではありませんが、重労働を行うには十分であり、人間は最初から始めるのではなく、作業をダブルチェックするだけで済みます。
- アクセシビリティ: これらの「暗い」画像をテキストの説明に変えることで、Vidya はこれらのアーカイブを、ウェブをナビゲートするためにスクリーンリーダーを使用する視覚障害者や弱視者にもアクセス可能にします。
全体像
Vidya は単なるツールではありません。それは歴史を解き放つ方法です。それは、闇に置かれ、見られず、検索不可能だった過去の「ダークデータ」を、明るく、整理され、検索可能なデジタル博物館へと変えます。高度な AI を使用するために莫大な予算が必要ではないことを証明しています。必要なのは、技術を誠実で有益なものに保つための、賢く構造化されたアプローチだけです。
要するに、Vidya は混沌としたデジタルファイルの山を、利用可能で検索可能な図書館へと変える架け橋であり、数十年にわたる作業を節約し、歴史をすべての人にとってアクセス可能なものにするものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。