Visually similar prints expose a benchmark validity gap in computational art history
이 논문은 계산 예술사 분야의 시각적 검색 벤치마크가 역사적으로는 구별되지만 시각적으로는 유사한 판본들을 누락함으로써 종종 오해의 소지가 있는 높은 정확도를 산출한다는 점을 입증하며, 이는 단순한 디자인의 반복과 진정한 역사적 관계를 구분하기 위해 혼동 가능한 대안들을 포함하는 후보군이 필요함을 시사하는 결정적인 타당성 격차를 드러낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
세계의 박물관들이 보유한 방대한 디지털 아카이브에서 새로운 종류의 검색이 등장했습니다. 학자들과 대중은 이제 단어를 입력하는 대신 이미지를 업로드하여 그와 유사한 다른 이미지를 찾을 수 있습니다. 시각적 검색(visual retrieval)이라고 알려진 이 기술은 흩어진 예술품들을 연결하고, 단일 디자인이 수 세기에 걸쳐 어떻게 이동했는지 추적하며, 문화의 시각적 역사를 재구성하는 강력한 도구가 되었습니다. 이 기술은 디지털 사진의 픽셀을 비교하여 선, 모양, 색상의 패턴을 통해 두 이미지가 서로 연관되어 있음을 찾아내는 방식으로 작동합니다. 많은 유형의 예술품에 있어 이 방식은 매우 효과적입니다. 그러나 대상이 판화(이미지를 새긴 판에서 종이에 잉크를 찍어낸 것)인 경우, 특유의 까다로운 문제가 발생합니다. 하나의 디자인은 닳아버린 판에서 찍어낸 나중의 인쇄본, 다른 예술가가 만든 복제품, 혹은 재현품 등 다양한 형태로 존재할 수 있습니다. 컴퓨터에게 이러한 서로 다른 버전들은 거의 동일하게 보입니다. 하지만 역사학자에게 이들은 누가, 언제, 어떻게 만들었는지에 대한 완전히 다른 이야기를 들려줍니다. 핵심적인 질문은, 시각적으로 유사한 이미지를 찾아내는 컴퓨터 검색이 실제로 올바른 역사적 대상물을 찾고 있는 것인지, 아니면 그저 그럴싸해 보이는 닮은꼴을 찾고 있는 것인지에 관한 것입니다.
절강통신대학교의 지옹밍 팡(Jiongming Fang)이 수행한 최근 연구는 컴퓨터가 보는 것과 역사학자가 아는 것 사이의 정확한 이 간극을 조사합니다. 이 연구는 뉴욕 메트로폴리탄 미술관의 목판화 컬렉션에 초점을 맞추고 있습니다. 연구진은 표준적인 컴퓨터 검색 도구가 박물관 기록에 명시적으로 표기된 원본 인쇄물과 복사본을 구별할 수 있는지 테스트하고자 했습니다. 연구진은 박물관 데이터베이스의 특정 기록 39개를 사용하여 통제된 실험을 설계했습니다. 첫 번째 단계에서, 연구진은 컴퓨터에게 정답인 원본 인쇄물과 다른 디자인을 가진 여러 인쇄물이 포함된 후보군 중에서 일치하는 디자인을 찾도록 요청했는데, 이때 알려진 복사본은 의도적으로 제외했습니다. 이 시나리오에서 컴퓨터는 완벽하게 수행했습니다. 이미지를 비교하는 표준적인 방법을 사용하여, 시스템은 240개의 서로 다른 테스트 쿼리에 걸쳐 의도된 원본 인쇄물을 매번 가장 적합한 일치 대상으로 정확히 식별해 냈습니다. 컴퓨터는 사실상 오답이 존재하지 않는 퍼즐을 풀고 있었던 셈입니다.
연구진은 만약 컴퓨터가 원본과 복사본 중 하나를 반드시 선택해야 하는 상황에 놓인다면 어떻게 될지 알아보기 위해 실험 내용을 변경했습니다. 연구진은 알려진 복사본 하나를 후보군에 추가하여, 동일한 디자인을 공유하지만 역사적 정체성은 서로 다른 두 이미지를 두고 컴퓨터가 결정해야 하는 새로운 그룹을 만들었습니다. 결과는 극적으로 변했습니다. 복사본이 포함되자 컴퓨터의 완벽한 기록은 깨졌습니다. 이미지를 비교하는 특정 방법에 따라, 시스템이 원본 인쇄물을 최우선 결과로 정확히 식별한 횟수는 240회의 쿼리 중 각각 187회, 177회, 또는 237회에 그쳤습니다. 나머지 경우에는 컴퓨터가 복사본을 선택하여 이를 가장 적합한 대상으로 순위에 올렸습니다. 어떤 경우에는 복사본이 독보적인 최우선 결과가 되어 의도된 원본을 완전히 대체하기도 했습니다. 이는 컴퓨터가 이전과 동일한 이미지와 동일한 수학적 규칙을 사용하고 있었음에도 불구하고 발생한 일이었습니다. 단지 바뀐 것이 있다면, 역사적으로 다른 대상이 시각적으로 매우 유사하게 존재한다는 점뿐이었습니다.
이 연구는 또한 불확실할 때 이를 인정하도록 설계된 더 신중한 시스템도 테스트했습니다. 이 시스템은 두 가지 서로 다른 비교 방식이 동일한 답에 동의할 때만 최종 결정을 내리도록 프로그래밍되었으며, 그렇지 않으면 멈추고 인간에게 도움을 요청하도록 설정되었습니다. 그럼에도 이 세심한 접근 방식조차 모든 오류를 잡아내지는 못했습니다. 이 시스템은 두 차례의 별개 사례에서 복사본을 정답으로 받아들였으며, 이는 시각적 증거가 모호할 때 단순히 안전장치를 두는 것만으로는 역사적 정확성을 보장하기에 충분하지 않다는 것을 입증했습니다. 연구진은 문제가 컴퓨터가 디자인을 인식하는 능력이 부족해서가 아니라, 오히려 너무 뛰어나기 때문에 발생했다는 점을 발견했습니다. 문제는 테스트 자체가 결함이 있었다는 것입니다. 즉, 실제 역사학자가 고려해야 할 어려운 대안들을 포함하지 않았던 것입니다. 컴퓨터가 관련 없는 이미지들 사이에서 디자인을 찾는 방식의 벤치마크는 항상 높은 성공률을 보이겠지만, 그 성공률은 컴퓨터가 원본과 복사본을 구별할 수 있는지에 대해서는 아무것도 말해주지 않습니다.
논문은 이러한 시스템을 테스트하는 방식이 바뀌어야 한다고 결론짓습니다. 검색 도구의 타당성은 그 도구가 테스트 중에 무엇을 볼 수 있도록 허용되었느냐에 달려 있습니다. 만약 시스템이 오답이 정답과 전혀 닮지 않은 쉬운 예시들만을 대상으로 테스트된다면, 그 높은 점수는 오해의 소지가 있습니다. 예술사를 위해 도구가 진정으로 유용한지 이해하려면, 테스트에는 "관계적 혼동 가능성(relation-confusable)"이 있는 후보들, 즉 외형은 비슷하지만 역사는 다른 대상들을 반드시 포함해야 합니다. 저자는 시각적으로 유사한 이미지를 찾는 것, 시스템이 혼란스러운 대안들을 처리할 수 있는지 테스트하는 것, 그리고 마지막으로 문헌적 근거를 바탕으로 역사적 판단을 내리는 것의 세 가지 뚜렷한 단계를 분리하는 새로운 방식의 디지털 연구 조직을 제안합니다. 이 접근법은 컴퓨터가 예술학자의 역할을 자동화하려는 것이 아닙니다. 대신, 컴퓨터는 "이것들은 똑같이 보인다"라고 말하고, 인간 전문가는 "하지만 이것은 복사본이다"라고 결정할 수 있는 명확한 경계를 만드는 것입니다. 시각적 유사성의 한계를 가시화하고 예술사의 실제 복잡성에 맞서 시스템을 테스트함으로써, 연구자들은 자신들이 무엇을 알고 무엇을 모르는지에 대해 정직한 도구를 구축할 수 있습니다. 이 연구는 디지털 유산이 진정으로 신뢰할 수 있는 것이 되기 위해서는, 시각적 유사성이 역사적 진실과 같다고 가장하는 것을 멈춰야 함을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.