Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment

기술 요약: Vidya – 아카이브 자동화를 위한 AI 기반 모듈형 파이프라인

문제 제기
이 논문은 현대 아카이브 과학의 중대한 역설을 다룹니다: 역사적 아카이브의 대규모 디지털화 방대한 양의 "어둠의 데이터"(검색 및 해석에 필요한 메타데이터가 결여된 디지털 객체) 를 생성했습니다. 디지털화는 콘텐츠를 보존하지만, 이러한 객체를 검색 가능하게 만들기 위해 필요한 수동 아카이브 기술은 지나치게 느리고 비용이 많이 들며 오류가 발생하기 쉽습니다. 이로 인해 상당한 처리 지연이 발생하여 귀중한 역사적 데이터가 접근 불가능한 상태로 방치됩니다. 더 나아가, 아카이브에 인공지능 (AI) 을 직접 적용하는 것은 모델의 환각 현상, 일관성 없는 출력, 그리고 ISAD(G) 및 NOBRADE 와 같은 엄격한 국제 표준 준수를 보장하는 것의 어려움과 같은 과제에 직면해 있습니다.

방법론: Vidya 파이프라인
이러한 문제들을 해결하기 위해 저자들은 상파울루 주립대학교 (UEPG) 의 디지털 인문학과 혁신 연구소 (LAMUHDI) 에서 개발한 모듈형 파이프라인 아키텍처인 Vidya를 제안합니다. Vidya 는 대규모 언어 모델 (LLM) 과 자유 및 오픈 소스 소프트웨어 (FOSS) 도구를 조율하여 의미론적 풍부화와 아카이브 수집을 자동화합니다.

시스템의 핵심 방법론은 확률적 AI 모델을 제약하기 위한 "디지털 구속복" 접근법에 기반합니다:

1. 상태 관리: 파이프라인은 SQLite 데이터베이스를 상태 머신으로 사용하여 문서 수명 주기 (예: NEW, INCLUDED, EMBEDDED, INFERRED, UPLOADED) 를 추적하고 SHA256 해싱을 통해 멱등성을 보장합니다.
2. 온톨로지 정의: 메타데이터 모델은 Dublin Core, Bibliographic Ontology 와 같은 국제 표준에 기반한 온톨로지를 지정하는 인간이 읽을 수 있는 YAML 파일로 정의됩니다. 이를 통해 아키비스트는 핵심 코드를 수정하지 않고도 기능을 확장할 수 있습니다.
3. 품질 게이트: AI 추론 전에 시스템은 다양한 유럽어 사전에 대해 Aho-Corasick 알고리즘을 사용하여 추출된 텍스트 (OCR) 를 검증하여 텍스트 품질을 보장합니다.
4. 결정론적 출력: 시스템은 YAML 스키마를 기반으로 Pydantic 검증 클래스를 동적으로 구성합니다. 이러한 클래스는 엄격한 JSON 출력 준수를 강제하여 LLM 생성물이 정의된 스키마에 대해 구조화되고 유효하며 환각 현상이 없도록 보장합니다.
5. 배포: Vidya 는 하이브리드 환경 (로컬 또는 원격 서버) 에서 작동하며 경량 YAD(Yet Another Dialog) 인터페이스를 활용합니다. 이는 저비용 하드웨어 (예: Raspberry Pi) 를 위해 설계되었으며 Omeka S, Tainacan, DSpace, Archivematica 와 같은 저장소 시스템과 통합됩니다.

주요 기여

• 모듈형 오케스트레이션: 수집, 검증, 추론, 내보내기를 중앙 인터페이스에서 관리되는 독립적인 스크립트로 분리하는 파이프라인으로, 커스터마이징과 쉬운 유지 보수를 가능하게 합니다.
• 표준 준수 AI: YAML 로 정의된 온톨로지와 Pydantic 검증을 통합하여 확률적 LLM 이 아카이브 표준 (NOBRADE, ISAD(G)) 을 엄격히 준수하는 결정론적이고 구조화된 메타데이터를 생성하도록 강제합니다.
• 접근성과 포용성: 구조화되지 않은 이미지 파일을 구조화된 텍스트와 풍부화된 메타데이터로 변환함으로써 Vidya 는 시각 장애가 있는 사용자 (예: 스크린 리더) 가 접근할 수 있게 하여 기존 디지털화된 아카이브의 공백을 해소합니다.
• 교육 도구: 이 시스템은 아카이브 이론과 계산 논리를 연결하는 교육 생태계 역할을 하여, 비프로그래머가 온톨로지를 정의할 수 있게 하면서 기술 학생들에게 아카이브 민감성을 가르칩니다.

결과 및 성능
저자들은 표준 기관용 데스크톱 (2.4 GHz 프로세서, 8 GB RAM) 에서 50 개의 문서 (신문 PDF 및 스캔된 사진) 데이터셋을 사용하여 실험을 수행했습니다.

• 확장성: 로컬 환경에서 Vidya 는 시간당 최대 327,000 토큰을 처리했습니다.
• 정확도: 시스템은 제목, 제작자, 날짜와 같은 핵심 필드에 대한 메타데이터 생성에서 85% 의 정확도를 달성했습니다.
• 통합: 메타데이터 필드의 정확한 매핑과 계층적 컬렉션 조직화를 통해 풍부화된 문서를 Omeka S 에 원활하게 게시하는 것이 시연되었습니다.
• 효율성 분석: 28,480 개의 신문 판에 대한 비교 연구 결과, AI 지원 워크플로우는 인간 노동 비용의 약 **1.5%**만 소모하는 것으로 나타났습니다. 수동으로 18.5 년이 걸릴 것으로 추정된 작업이 Vidya 를 사용하면 45~60 일 내에 완료되었습니다. 이미지 설명의 경우, 사용된 비전 - 언어 (VL) 모델에 따라 AI 는 이미지당 90~120 초가 소요되었습니다.
• 모델 성능: 연구는 Gmini 2.5 Flash, Gemini 2.0 Flash, Qwen 3.5 Flash, ChatGPT 4o Mini, Llama 3.3 70B 와 같은 모델들이 유사한 비용으로 메타데이터 추출에 좋은 성능을 보인다고 지적했습니다. 사진 설명의 경우 Qwen3 VL 32B 가 좋은 결과를 냈으며, 새로운 멀티모달 모델 (예: Gemini 3.0 Pro) 은 훨씬 더 높은 비용으로 더 높은 정밀도를 제공했습니다.

의의 및 주장
이 논문은 Vidya 가 기억 기관을 위한 데이터 수집 및 의미론적 풍부화 자동화에서 중요한 진전을 나타낸다고 주장합니다. 그 주요 의의는 국제 아카이브 표준을 준수하면서 처리 시간을 수십 년에서 며칠로 단축할 수 있는 능력에 있습니다. 메이커 원칙과 오픈 소스 관행을 적용함으로써 Vidya 는 AI 접근성을 민주화하여 modest 한 하드웨어를 갖춘 기관들이 아카이브 처리 지연을 극복할 수 있게 합니다. 저자들은 이 시스템을 단순한 기술 도구가 아닌 디지털 혁신과 아카이브 이론 사이의 가교로 위치시키며, 디지털 주권을 장려하고 이전에 접근 불가능했던 "어둠의 데이터"의 발견을 가능하게 합니다. 논문은 향후 작업이 지연 시간을 더욱 줄이기 위해 AI 추론의 병렬화와 인터페이스 정교화에 초점을 맞출 것이라고 결론지으며, Vidya 가 현재 대규모 디지털 보존을 위한 실행 가능하고 확장 가능하며 비용 효율적인 솔루션을 제공한다고 명시합니다.