A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals

중국 서부의 건조한 풍경 속 깊은 곳에는 과거 실크로드의 중요한 거점 역할을 했던 거대한 동굴 네트워크인 키질 석굴이 자리 잡고 있습니다. 이 동굴 내부에서 예술가들은 수천 년 전에 그림을 그려, 독특한 시각적 언어를 사용하여 불교 생활의 이야기를 담은 벽화를 남겼습니다. 이 그림들은 단순히 아름다울 뿐만 아니라, 종교적 신념, 예술적 교류, 그리고 고대 장인들이 사용했던 구체적인 기법을 보여주는 역사적 기록입니다. 그러나 시간과 환경은 이들에게 큰 피해를 입혔습니다. 안료는 퇴색되었고, 회반죽은 갈라졌으며, 벽의 많은 부분이 무너져 내려 시각적 서사의 공백을 남겼습니다. 이 예술품들을 연구하거나 컴퓨터를 활용해 복원하려는 연구자들에게 이러한 손상은 심각한 문제를 일으킵니다. 즉, 키질 양식의 패턴, 색상, 그리고 이야기를 인식하도록 컴퓨터를 학습시키기 위한 명확하고 완전한 이미지가 턱없이 부족하다는 것입니다.

이러한 부족 문제를 해결하기 위해 과학자들은 인공지념, 특히 생성 모델이라고 알려진 기술로 눈을 돌렸습니다. 생성 모델은 텍스트 설명이나 예시를 바탕으로 아무것도 없는 상태에서 새로운 이미지를 만들어낼 수 있는 컴퓨터 프로그램입니다. 이론적으로, 이 도구들은 키질 벽화처럼 보이는 수천 개의 새로운 이미지를 생성하여, 복원 소프트웨어를 훈련하는 데 필요한 방대한 양의 데이터를 제공할 수 있습니다. 하지만 함정이 있습니다. 컴퓨터가 어떤 그림처럼 보이는 이미지를 만들 수 있다고 해서, 그것이 반드시 '좋은' 그림이라는 뜻은 아닙니다. 인공적으로 만들어진 이미지는 색상은 맞출 수 있어도 이야기를 왜곡할 수 있으며, 인물의 일반적인 형태는 포착할 수 있어도 그 예술에 의미를 부여하는 특정한 문화적 상징은 놓칠 수 있습니다. 만약 연구자들이 이러한 결함이 있는 이미지들을 훈련 프로그램에 입력한다면, 컴퓨터는 잘못된 학습을 하게 되어 잠재적으로 미래의 복원 노력을 망칠 수도 있습니다. 따라서 과제는 단순히 더 많은 이미지를 만드는 것이 아니라, 어떤 이미지가 유산에 충실한지, 그리고 어떤 것이 그저 디지털 노이즈인지 판별하는 것입니다.

베이징 이공대학교와 키질 석굴 연구소의 연구팀은 바로 이 문제를 해결하기 위해 시스템을 구축하고자 했습니다. 그들은 키질 석굴 벽화에 특화된 합성 이미지를 평가하는 새로운 방법을 개발했으며, 이는 엄격한 품질 관리 검사 역할을 하는 프레임워크를 구축한 것입니다. 연구진은 컴퓨터에게 단순히 이미지가 "좋아" 보이는지를 묻는 대신, 키질 예술의 고유한 특징을 이야기(서사), 구도, 색상, 그리고 형태를 정의하는 선이라는 네 가지 특정 영역으로 세분화했습니다. 그런 다음 각 영역에 특정 중요도를 부여했는데, 이야기와 문화적 의미를 정확하게 구현하는 것이 가장 결정적인 요소라고 판단했으며, 그 뒤를 이어 구도의 정확성, 색상의 정확성, 마지막으로 선의 매끄러움 순으로 중요도를 설정했습니다.

시스템을 테스트하기 위해 연구진은 정교하게 준비된 실제 이미지 세트로 시작했습니다. 그들은 비교적 풍부하고 온전한 벽화가 남아 있는 것으로 알려진 제38굴의 사진 1,479장을 가져왔습니다. 이 사진들로부터 균열과 퇴색이라는 시각적 노이즈를 제거하기 위해 94장의 이미지를 수동으로 복원했고, 실험의 '골드 스탠다드(표준)' 역할을 할 수 있도록 가장 우수한 24장을 선정했습니다. 이 24장의 이미지는 인간의 얼굴을 생성할 때 발생하는 복잡한 어려움을 피하기 위해 동물, 식물, 장식적 사물과 같은 비인간 피사체를 포함했습니다. 이 24장의 참조 이미지를 바탕으로, 연구진은 네 가지 인기 있는 인공지능 시스템인 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney), 달이 3(DALL·E 3), 칸딘스키(Kandinsky)에게 새로운 이미지를 생성하도록 요청했습니다. 그들은 각 시스템에 동일한 지침을 주어, 특정 모티프와 색상을 사용하여 키질 벽화 스타일의 이미지를 만들도록 했습니다. 결과적으로 시스템들은 평가를 위한 10,000장 이상의 후보 이미지를 생성했습니다.

이 대규모 스크리닝 과정의 결과는 문화 유산에 있어서 모든 인공지능이 평등하게 만들어진 것이 아님을 보여주었습니다. 연구진은 미드저니가 이야기, 구도, 색상, 선의 통합 척도에서 가장 높은 점수를 받으며 전반적으로 가장 높은 품질을 생산했다는 것을 발견했습니다. 그러나 연구는 단 하나의 시스템도 모든 면에서 완벽할 수는 없다는 점을 보여주었습니다. 미드저니가 올바른 이야기와 주요 피사체의 중앙 배치를 포착하는 데 뛰어났다면, 또 다른 시스템인 달이 3는 원본 벽화의 질감과 표면 디테일을 유지하는 데 더 나았습니다. 세 번째 시스템인 스테이블 디퓨전은 고대 벽화에서 발견되는 특정한 적색과 청색의 색조를 맞추는 데 특히 뛰어났으며, 네 번째인 칸린스키는 전반적인 문화적 정확도 측면에서 가장 고전했습니다. 연구팀은 한 영역에서의 높은 점수가 때로는 다른 영역의 실패를 가릴 수 있다는 사실을 발견했습니다. 예를 들어, 어떤 이미지는 시각적으로는 매우 인상적일 수 있지만 올바른 이야기를 전달하지 못해 복원 모델을 훈련하는 데 무용지물이 될 수 있는 것입니다.

연구진은 자신들의 새로운 프레임워크가 합성 이미지를 걸러내는 데 성공하여, 어떤 이미지가 컴퓨터 훈련에 사용하기 안전한지, 그리고 어떤 것을 폐기해야 하는지를 성공적으로 식별해냈다고 결론지었습니다. 그들은 이 고대 벽화에서 가장 중요한 요소가 '의미론적 일관성(semantic consistency)', 즉 생성된 이미지가 실제로 올바른 문화적 상징과 이야기 요소를 묘사하고 있는지 확인하는 것임을 발견했습니다. 이것이 없다면, 아무리 아름다운 이미지라도 오도하는 정보가 됩니다. 이 연구는 디지털 유산 문제를 영원히 해결했다고 주장하거나, 하나의 인공지능 도구가 향후 모든 과제를 위한 궁극적인 승자라고 선언하는 것이 아닙니다. 대신, 이 연구는 큐레이터와 과학자들이 수천 개의 생성된 이미지를 선별할 수 있는 실용적이고 구조화된 방법을 제공하며, 이를 통해 고대의 보물을 보호하는 데 사용되는 디지털 도구들이 원본 예술의 무결성을 존중하는 데이터로 훈련되도록 보장합니다. 인공지능이 흔히 도입하는 왜곡과 편차를 걸러냄으로써, 이 프레임워크는 키질 석굴의 디지털 미래가 그들의 과거에 충실할 수 있도록 돕습니다.