Catalogue Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints

이 논문은 박물관의 오디오비주얼 아카이브에서 수동 작업을 자동화하고 데이터 주권 및 규제 준수를 보장하기 위해, 기존 컬렉션 데이터베이스에 기반한 오픈 소스 로컬 배포형 비디오 언어 모델을 활용한 다단계 멀티모달 속성 부여 프레임워크를 제안합니다.

핵심

이 논문은 박물관의 영상 자료들을 자동으로 정리하고 검색 가능하게 만드는 새로운 방법을 소개합니다.

기존에는 박물관의 영상 (예: 전시실 투어 영상) 을 정리하려면 직원이 직접 영상을 보고 "이건 누구 그림이야?", "제목은 뭐지?"라고 일일이 수기로 적어야 했습니다. 하지만 영상은 너무 많고, 직원은 부족하며, 실수하면 큰 문제가 생길 수 있습니다.

이 연구팀은 **"AI 가 모든 것을 다 맞출 필요는 없다"**는 철학으로, 실수하지 않는 AI를 만들었습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "눈이 가려진 도서관 사서"

상상해 보세요. 도서관 사서 (AI) 가 도서관을 돌아다니며 책 (예술품) 을 보고 제목과 저자를 적어야 합니다. 하지만 문제는 다음과 같습니다.

• 영상은 흐릿합니다: 책 표지가 비스듬히 찍히거나, 사람이 지나가서 가려지거나, 빛이 반사되어 글자가 잘 안 보입니다.
• 실수는 치명적입니다: 만약 AI 가 "이건 반 고흐의 그림이야!"라고 잘못 적으면, 나중에 그 정보가 검색되고 학자들이 그걸 믿고 연구할 수 있습니다. 이는 큰 혼란을 빚습니다.
• 보안 문제: 박물관 자료는 외부 클라우드에 올릴 수 없어, 박물관 내부 컴퓨터에서만 작동해야 합니다.

기존의 AI 는 "아마도 이거일 거야!"라고 확신하며 엉뚱한 답을 내놓는 경우가 많았습니다.

2. 해결책: "신중한 조사관과 사전 (카탈로그)"

이 연구팀은 AI 를 무작정 답을 외우는 학생이 아니라, 신중한 조사관으로 훈련시켰습니다. 이 시스템은 3 단계로 작동합니다.

1 단계: "눈에 보이는 것만 설명하기" (기술적 설명)

AI 는 먼저 영상 속 그림을 보고 "왼쪽 벽에 걸린 초상화, 붉은 옷을 입은 사람"처럼 제목이나 작가 이름 없이 시각적 특징만 설명합니다.

• 비유: 사서가 책 표지를 못 봐도 "표지가 빨간 책"이라고만 적는 것과 같습니다.

2 단계: "박물관의 '정답 사전'과 대조하기" (기술적 설명)

AI 는 설명한 내용을 바탕으로 "이 그림이 우리 박물관에 있는 '정답 사전 (카탈로그)'에 있을까?"라고 찾아봅니다.

• 비유: 사서가 "빨간 표지 책"이라는 정보를 들고 도서관의 **정식 목록 (카탈로그)**을 뒤져서 일치하는 책을 찾습니다.

3 단계: "확신이 없으면 '모르겠습니다'라고 말하기" (가장 중요한 부분)

이 시스템의 핵심은 **거부 (Abstention)**입니다.

• 만약 AI 가 "아마도 이 책일 거야"라고 추측하더라도, 목록과 100% 완벽하게 일치하지 않으면 결코 이름을 적지 않습니다.
• 대신 **"이 부분은 보이지 않음 (Not Visible)"**이라고 적어둡니다.
• 비유: 사서가 "이 책 제목이 '해리포터'일 수도 있고 '반지의 제왕'일 수도 있는데, 표지가 너무 흐릿해서 100% 확신할 수 없다면, 그냥 '제목 모름'이라고 적어두는 것"입니다.

3. 왜 이 방식이 더 좋은가요? (결과)

이 방식은 **정확도 (Precision)**를 최우선으로 합니다.

• 기존 방식: 10 개 중 8 개를 맞췄지만, 2 개를 완전히 엉뚱한 이름으로 잘못 적었습니다. (검색 시스템이 망가짐)
• 이 연구의 방식: 10 개 중 5 개만 맞췄지만, 나머지 5 개는 "모르겠습니다"라고 정직하게 적었습니다. 틀린 정보는 전혀 없습니다.

박물관 입장에서는 틀린 정보를 주는 것보다, 모르는 것은 모르는 척하는 것이 훨씬 안전합니다. 나중에 사람이 직접 확인하면 되니까요.

요약: 이 기술이 가져오는 변화

1. 자동화: 직원이 일일이 영상을 보고 적는 노고를 줄여줍니다.
2. 안전성: AI 가 헛소리를 (Hallucination) 하지 않도록, "모르겠습니다"라는 답을 내는 것을 허용하고 장려합니다.
3. 검색 가능: 이렇게 정리된 정보는 나중에 "이 화가의 작품 찾기"처럼 검색할 수 있게 되어, 박물관의 보물들이 다시 빛을 볼 수 있습니다.

한 줄 요약:

"이 기술은 AI 에게 **'무조건 맞히려 하지 말고, 확신이 없으면 침묵하라'**고 가르쳐서, 박물관의 영상 자료를 실수 없이 정리하고 검색 가능하게 만드는 방법입니다."

이 방식은 박물관뿐만 아니라, 의료 기록이나 환경 감시처럼 "틀리면 큰일 나는" 분야에서도 똑같은 원리로 적용될 수 있다고 합니다.

기술 요약

1. 문제 정의 (Problem Definition)

박물관과 갤러리의 오디오비주얼 (AV) 아카이브는 급격히 증가하고 있지만, 일관된 검색 가능한 메타데이터가 부족하여 사실상 '잠금' 상태에 있습니다. 기존 아카이빙 방식은 수동으로 영상을 시청하고 로그를 작성하는 방식에 의존하여 확장성이 떨어집니다.

이 연구가 해결하려는 핵심 문제는 다음과 같은 제약 조건 하에서 갤러리 내 비디오 (in-gallery video) 에 대해 카탈로그 스타일의 메타데이터를 자동화하는 것입니다:

• 데이터 주권 및 규제: 박물관 콘텐츠는 저작권 및 운영상 민감성이 있어 클라우드 API 사용이 제한되며, 로컬 배포가 필수적입니다.
• 비대칭적 오류 비용: 잘못된 작가나 작품 제목의 속성 부여 (Misattribution) 는 검색, 학술 연구, 내부 의사결정에 치명적인 영향을 미칩니다. 따라서 시스템은 불확실한 경우 **적극적인 추측보다는 명시적인 유보 (Abstention)**를 선택해야 합니다.
• 환경적 어려움: 갤러리 내 비디오는 모션 블러, 반사광, 가림, 관람객의 방해 등으로 인해 카탈로그의 표준 이미지와 차이가 크고 벽면 라벨이 읽히지 않는 경우가 많습니다.

2. 방법론 (Methodology)

이 연구는 VideoLLaMA2.1-7B-16F 모델을 기반으로 한 카탈로그 기반 멀티모달 파이프라인을 제안합니다. 핵심은 생성형 AI 의 자유로운 텍스트 생성을 제한하고, 기존 박물관 카탈로그 데이터베이스에 근거한 구조화된 결정을 내리게 하는 것입니다.

2.1 설계 원칙

1. 기술적 분리: 설명 (Description) 과 식별 (Identification) 을 분리합니다. 불확실한 경우에도 작품에 대한 설명과 장르 라벨은 생성되지만, 식별 (제목/작가) 은 엄격한 검증 절차를 거칩니다.
2. 폐쇄집합 결정 (Closed-set Decision): 제목과 작가는 자유 텍스트가 아닌, 기존 카탈로그 레코드에 매핑되는 ID 로 처리됩니다.
3. 유보 (Abstention) 의 우선순위: 증거가 부족할 때는 'not visible(보이지 않음)'로 명시적으로 유보하는 것을 최우선으로 합니다.

2.2 5 단계 파이프라인

1. 비디오 전처리: 긴 아카이브 영상을 짧은 클립으로 분할하고, VideoLLaMA2 프로세서를 통해 프레임을 샘플링하여 텐서로 변환합니다.
2. 카탈로그 인덱싱: 박물관 카탈로그 (제목, 작가, 주제어 등) 를 정규화 (Unicode, 특수문자 제거 등) 하고, 역문서빈도 (IDF) 가 가중된 토큰 집합을 구축하여 검색 및 소거 (disambiguation) 를 준비합니다.
3. 기술적 설명 생성: 모델이 등장하는 작품 3 개까지의 요약, 주요 작품에 대한 카탈로그 스타일 설명, 장르 라벨을 생성합니다. (이 단계에서는 제목/작가를 언급하지 않음)
4. ID-JSON 제안 (식별 제안): 미세 조정된 모델이 엄격한 JSON 형식 ({"id": "...", "title": "...", "artist": "..."}) 으로 식별 정보를 제안합니다. 불확실한 경우 id: "unknown"을 반환하도록 학습됩니다.
5. 카탈로그 기반 검색 및 다중 선택 소거 (Retrieval & Disambiguation):
   • 1 단계 (직접 제안): 모델이 제안한 ID 가 카탈로그에 존재하면 수락.
   • 2 단계 (키워드 검색): 모델이 제안하지 않거나 실패할 경우, 모델이 생성한 아이콘그래피 키워드를 사용하여 카탈로그에서 상위 후보를 검색합니다.
   • 3 단계 (다중 선택 소거): 검색 결과가 명확하지 않으면, 상위 후보들을 모델에게 제시하여 다중 선택 (Multiple Choice) 방식으로 정답을 고르게 합니다. 여러 번의 셔플된 시도를 통해 **명확한 다수결 (Majority Voting)**이 나올 때만 수락하고, 그렇지 않으면 유보합니다.

3. 주요 기여 (Key Contributions)

1. 카탈로그 기반 식별 및 소거 메커니즘: 갤러리 비디오의 노이즈와 카탈로그 이미지 간의 차이를 극복하기 위해, 단순 생성이 아닌 **검색 (Retrieval) 과 다중 선택 소거 (Disambiguation)**를 결합한 2 단계 식별 프로세스를 도입했습니다.
2. 배포와 정렬된 학습 감독 (Training-time Supervision): 모델이 실제 배포 환경 (구조화된 JSON 출력, 유보 토큰 사용) 과 일치하도록 LoRA 를 이용한 미세 조정을 수행했습니다. 특히 'not visible'과 같은 유보 토큰을 명시적으로 학습시켜, 오류를 줄이는 데 중점을 두었습니다.
3. 자원 효율적이고 규제 준수 가능한 아키텍처: 단일 GPU 에서 4 비트 양자화와 LoRA 를 사용하여 로컬 배포가 가능하도록 설계되었으며, 데이터 주권과 감사 가능성 (Auditability) 을 보장합니다.

4. 실험 및 결과 (Experiments and Results)

• 데이터: 60 점의 회화 작품 카탈로그를 기반으로 210 개의 이미지 - 대화 쌍을 생성하여 학습했습니다. 평가는 갤러리 내 촬영된 16 개의 비디오를 대상으로 수행되었습니다.
• 비교 대상:
  • Base: 표준 프롬프트를 사용한 원본 VideoLLaMA2 모델 (카탈로그 기반 없음).
  • Ours: 제안된 카탈로그 기반 파이프라인 (ID-JSON → 검색 → 다중 선택 → 유보) 을 적용한 미세 조정 모델.
• 결과:
  • 정확도 (Accuracy): 제안된 시스템은 직접 식별 (Direct ID) 방식에 비해 잘못된 속성 부여 (False Positive) 를 극적으로 감소시켰습니다. Base 모델은 Coverage(추출 비율) 가 높았으나 정확도가 0% 에 가까웠고, 제안된 시스템은 Coverage 는 낮아졌으나 **기대 효용 (Expected Utility)**이 크게 향상되었습니다.
  • 유보 전략: 모델이 확신이 없을 때는 'not visible'로 유보하여 오류를 방지하는 전략이 효과적으로 작동했습니다.
  • 성능: 파이프라인 lite 버전 기준, 비디오 1 개당 약 13.7~17.8 초의 처리 시간을 보였습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 연구는 문화유산 분야에서 AI 를 적용할 때 정확성과 신뢰성이 단순한 성능 지표보다 더 중요함을 강조합니다.

• 실용적 가치: 박물관 아카이브의 검색 가능성을 높여주면서도, 잘못된 정보로 인한 피해를 방지하는 '안전장치' 역할을 합니다.
• 확장성: 이 프레임워크 (개방형 MLLM + 구조화된 레지스트리 + 유보 + 인간 개입) 는 의료, 바이오과학, 환경 모니터링 등 고위험 (High-stakes) 분야의 응용 프로그램 기반 머신러닝에도 적용 가능한 템플릿을 제공합니다.
• 규제 대응: 데이터 주권과 윤리적 요구사항을 충족하는 로컬 배포 가능한 솔루션을 제시함으로써, 박물관 및 기관의 디지털 전환에 실질적인 기여를 합니다.

요약하자면, 이 논문은 생성형 AI 의 '창의성'을 '규제된 정확성'으로 전환하여, 박물관이라는 특수한 환경에서 신뢰할 수 있는 메타데이터 자동화 시스템을 구축하는 방법을 제시한 선구적인 연구입니다.