Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

기술 요약: 디지털 문화유산 메타데이터를 위한 감사 가능한 AI 보조 의미론적 완성(Semantic Completion)

문제 정의
디지털 문화유산 컬렉션은 점차 계산 가능한 데이터로서 가용성이 높아지고 있으나, 불완전하거나 구조가 불균일하며 의미론적 풍부함이 부족한 메타데이터로 인해 발견 가능성이 저해되고 있다. 인공지능(AI)이 메타데이터 생성을 위한 해결책으로 자주 제안되지만, 문화유산 맥락에서의 AI 도입은 해석적 권위, 문화적 편향, 그리고 생성 모델의 '블랙박스' 특성에 대한 상당한 우려를 불러일으킨다. 핵심 과제는 단순히 AI가 레이블을 생성할 수 있는지 여부가 아니라, 어떻게 하면 전문 사서(cataloguer)에 의해 투명하고, 재현 가능하며, 감사가 가능한 메타데이터 강화 워크플로우를 구축할 것인가 하는 점이다. 기존 레코드들은 일부 측면(예: 유형, 재질)에는 밀집된 정보를 포함하고 있는 반면, 다른 측면(예: 주제, 분류)에서는 정보가 희소한 경우가 많다. 따라서 새로운 용어를 발명하거나 출처(provenance)를 가리지 않으면서, 누락된 통제 어휘 용어를 추천할 수 있는 시스템이 필요하다.

방법론
본 연구는 메타데이터 강화를 생성적 작업이 아닌 제한된 의미론적 완성(constrained semantic completion) 작업으로 재정의한다. 모델에게 유창한 설명을 생성하도록 요청하는 대신, 이 시스템은 레코드 내에 관찰된 통제 어휘 레이블을 사용하여 누락된 측면을 위한 후보 레이블을 추천한다.

• 데이터셋: 본 연구는 Europeana에서 파생된 34만 개 이상의 레코드를 포함하는 계층적 측면 데이터셋인 EUFCC-340K 벤치마크를 활용한다. 재현성을 보장하기 위해 일반적인 하드웨어에서도 구동 가능하도록 25,000개의 고정된 훈련 서브셋을 사용한다.
• 실험 설계: 마스크 레이블 평가(masked-label evaluation) 프로토콜을 사용한다. 적격한 각 레코드에 대해, 대상 측면(유형, 재질, 주제 또는 분류) 중 기존 레이블 하나를 숨긴다. 모델은 남은 관찰된 레이블들을 문맥(context)으로 사용하여 해당 측면에 대한 후보 레이블의 순위를 매겨야 한다. 성공 여부는 숨겨진 레이블이 상위 k개 후보 안에 포함되는지(Recall@k)로 측정된다.
• 평가 모델:
  1. 빈도 베이스라인(Frequency Baseline): 훈련 데이터 내 대상 측면에서의 전역적 빈도에 따라 후보 순위를 매긴다.
  2. 직접 공생(Direct Co-occurrence): 훈련 레코드로부터 레이블-레이블 공생 행렬을 구축한다. 점수는 관찰된 문맥 레이블이 주어졌을 때 특정 후보가 나타날 평균 확률로부터 도출된다.
  3. 투-홉 그래프 전파(Two-Hop Graph Propagation): 직접적인 증거를 확장하여 레이블 그래프(예: 유형 $\to$ 재질 $\to$ 분류)를 통해 점수를 전파함으로써 간접적인 관계를 포착한다.
  4. 하이브리드 랭킹(Hybrid Ranking): 직접 점수, 투-홉 점수, 빈도 사전 확률을 가중 결합한 방식이다.
• 제약 조건: 감사 가능성과 효율성을 보장하기 위해 어휘는 600개의 리프 레이블(훈련 시 10회 이상 등장한 레이블)로 제한된다. 이 워크플로우는 생성적 참신함보다 결정론적이고 재현 가능한 랭킹을 우선시한다.

주요 결과

• 메타데이터 비대칭성: EUFCC-340K 데이터셋 분석 결과, 메타데이터 커버리지에서 상당한 비대칭성이 발견되었다. 유형 및 재질 필드는 밀집되어 있는 반면(커버리지 약 77~93%), 주제 및 분류 필드는 희소했다(훈련 분할 기준 각각 6.7% 및 12.9%).
• 공생 모델의 성능: 내부 테스트 분할(inner-test split)에서 직접 공생 모델은 모든 측면에서 빈도 베이스라인을 실질적으로 능가했다.
  • 유형(Object Types): Recall@5가 빈도(0.190)에서 **공생(0.732)**으로 개선되었다.
  • 재질(Materials): Recall@5가 0.379에서 0.790으로 개선되었다.
  • 분류(Classifications): Recall@5가 0.450에서 0.986으로 개선되었다.
  • 주제(Subjects): 주제의 경우 테스트 세트가 작았으나(228건), 빈도 베이스라인이 Recall@5에서 1.000을 기록했고 공생 모델 또한 이를 충족했다(1.000). 그러나 공생 모델은 Recall@1(0.934 vs. 0.272)과 Recall@3(1.000 vs. 0.781)에서 빈도 베이스라인을 크게 앞질러, 정답 레이블을 최상단에 배치하는 정밀도(precision) 면에서 우월함을 입증했다.
• 모델 복잡도: 하이브리드 모델은 더 단순한 직접 공생 모델을 일관되게 능가하지 못했다. 연구 결과, 가장 단순하고 투명한 방법이 종종 가장 강력한 것으로 나타났으며, 이는 직접적인 레이블 관계가 강할 경우 복잡한 그래프 전파나 하이브리드 사전 확률이 반드시 필요하지 않을 수 있음을 시사한다.
• 분포 변화(Distribution Shift): 서로 다른 컬렉션 구성을 나타내는 외부 테스트 분할(outer-test split)에서, 빈도 베이스라인은 엔트로피가 낮은 분포에서 기만적으로 강해 보일 수 있는 반면, 직접 공생 모델은 관계적 변화에 민감하게 반응함을 보여주었다. 이는 집계된 점수보다 분할별 평가가 중요함을 강조한다.

의의 및 주장
본 논문은 AI 보조 메타데이터 강화를 감사 가능한 랭킹 문제로 취급하는 재현 가능한 정보 조직 워크플로우를 제안한다는 점을 주요 기여로 주장한다.

• 감사 가능성 및 거버넌스: 문화유산 분야에서의 고가치 AI는 단순히 예측 정확도가 아니라 재현성, 해석 가능성, 출처 보존에 의해 평가되어야 한다고 주장한다. 관찰된 공생 관계를 사용함으로써, 모든 추천은 특정 훈련 데이터 관계로 추적될 수 있으며, 이를 통해 전문 사서가 제안을 검토, 검증 또는 거부할 수 있다.
• 인간 참여형(Human-in-the-Loop) 설계: 이 워크플로우는 AI를 사서의 대체재가 아닌 의사결정 지원 계층으로 위치시킨다. AI는 순위가 매겨진 후보군을 제공하여 전문적 판단을 유지하면서도 검토 비용을 절감한다.
• 실제 구현: 이 접근법은 대규모 신경망, 이미지 처리 또는 독점 API를 필요로 하지 않는 적은 기술적 자원을 요구하므로 소규모 기관에서도 접근 가능하다. 이는 메타데이터 프로파일링, 어휘 표준화, 그래프 구축, 후보 제안, 출처 기록의 단계적 구현 경로를 지원한다.
• 한계: 저자는 이 방법이 데이터셋의 편향을 그대로 물려받아(기존의 목록 작성 불균형을 증폭시킴) 문화적 적절성이나 실제 상황에서 누락된 레이블을 추가해야 할 필요성을 평가하지 않는다는 점을 명시적으로 인정한다. 본 연구는 새로운 문화적 해석을 생성하는 것이 아니라, 통제된 어휘 내에서 기존 레이블을 복구하는 데 초점을 맞춘다.

결론적으로, 본 논문은 투명한 공생 기반 랭킹이 디지털 문화유산 메타데이터의 풍부화를 효과적으로 지원할 수 있음을 입증하며, 불투명한 생성형 AI 모델에 대한 보수적이지만 확장 가능한 대안을 제시한다.