Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
본 연구는 여러 생성형 인페인팅 재구성 과정에서의 샘플링 변동성이 칠기 이미지의 재구성 오차를 예측하는 강력한 지표 역할을 한다는 점을 입증하며, 이를 통해 역사적 사실성을 보장하거나 오류를 완전히 제거할 수는 없더라도 인간의 검토를 위한 출력물의 우선순위를 정하는 것을 가능하게 한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
박물관의 사진은 칠기(lacquerware)와 같이 섬세한 유물의 표면 광택이나 그려진 문양의 정교함을 포착함으로써 그 주요한 기록 역할을 한다. 그러나 사진은 단지 평면적인 이미지일 뿐이며, 페인트 아래에 있는 재료의 층이나 일부가 유실되었을 때 유물의 실제 상태를 드러내지는 못한다. 보존 전문가나 역사학자들이 손상된 조각이 원래 어떤 모습이었을지 상상해야 할 때, 그들은 때때로 인공지능에 의지한다. 이러한 컴퓨터 프로그램은 사진의 누락된 부분을 채워 넣어 인간의 눈에 설득력 있게 보이는 완전한 이미지를 만들어낼 수 있다. 하지만 설득력 있는 이미지가 반드시 정확한 이미지를 의미하는 것은 아니다. 컴퓨터는 존재하지 않았던 패턴을 만들어내거나, 그대로 남아 있어야 할 균열을 매끄럽게 덮어버릴 수도 있다. 디지털 헤리티지의 핵심 과제는 단순히 보기 좋은 그림을 만드는 것이 아니라, 그 그림이 틀렸을 가능성이 언제 높은지를 아는 것이다. 만약 컴퓨터가 복원을 생성한다면, 인간 전문가는 그것을 신뢰해야 할지 아니면 더 자세히 살펴봐야 할지 어떻게 알 수 있을까?
연구팀은 이 질문에 답하기 위해 한 가지 구체적인 아이디어를 테스트하며 연구를 시작했다. 만약 컴퓨터가 동일한 결손 부위에 대해 여러 가지 다른 버전을 생성한다면, 그 버전들 사이의 불일치 정도가 결과의 정확성을 나타낼 수 있다는 생각이었다. 그들은 주요 박물관의 사진 컬렉션을 사용하여, 나무나 금속 위에 단단하고 빛나는 마감재를 입힌 장식된 형태인 칠기에 초점을 맞추었다. 연구진은 이 유물들의 온전한 사진을 찍은 뒤, 손상을 시뮬레이션하기 위해 디지털 방식으로 작고 중간 크기 및 큰 구역들을 가렸다. 그런 다음 두 가지 서로 다른 인공지능 모델에게 각 결손 부위에 대해 네 가지의 가능한 완성형을 생성하여 손상된 부분을 "치유"하도록 요청했다. 이 방법의 핵심은 단순한 비교였다. 그들은 첫 세 개의 생성된 이미지를 보고 결손 부위에서 서로 얼마나 다른지를 살펴보았다. 만약 세 이미지가 매우 유사하다면 컴퓨터는 확신하고 있는 것이었다. 만약 이미지들이 매우 다르다면 컴퓨터는 불확inc한 상태였다. 그러고 나서 그들은 숨겨두었던 네 번째 이미지와 비교하여, 이 "불확실성" 점수가 실제로 원래의 온전한 사진으로부터 얼마나 벗어났는지를 예측하는지 확인했다.
결과는 명확한 패턴을 보여주었다. 생성된 세 이미지가 크게 불일치할 때, 네 번째 이미지는 대개 원래의 사진과 상당히 달랐으며, 이는 재구성이 큰 오류를 포함하고 있음을 의미했다. 반대로, 세 이미지가 서로 밀접하게 일치할 때, 네 번째 이미지는 진실에 훨씬 더 가까웠다. 64개의 원래 유물 그룹에서 연구진은 이러한 불일치가 오류의 강력한 예측 인자라는 것을 발견했다. 이 방법을 사용함으로써, 그들은 컴퓨터가 가장 자신 있어 하는 유물들만을 골라 검사할 수 있었다. 만약 불일치가 가장 낮은 하위 40퍼센트의 유물들만 살펴본다면, 선택된 이미지들의 평균 오차는 무작위로 모든 이미지를 살펴볼 때보다 급격히 감소했다. 이것은 컴퓨터가 스스로 더 나은 그림을 만들었다는 뜻이 아니었다. 이미지 자체는 완전히 동일했다. 대신, 이 방법은 필터 역할을 하여, 인간이 어떤 이미지를 검토할 가치가 있고 어떤 것이 오해를 불러일으킬 가능성이 높은지 결정하도록 도왔다.
이 접근 방식은 연구진이 다른 버전의 인공지능 모델을 사용하여 다른 박물관의 새로운 유물 40개를 대상으로 테스트했을 때도 유효했다. 불일치와 오류 사이의 연결 고리는 여전히 강력하게 유지되었으며, 이는 이 방법이 특정 데이터셋만의 우연한 결과가 아님을 시사했다. 그러나 연구는 중요한 한계점도 드러냈다. 컴퓨터는 복잡한 장식 영역을 다루는 것보다 단순하고 평평한 표면을 재구성하는 데 훨씬 더 뛰어났다. 이 방법은 자연스럽게 단순한 유물을 선호했기 때문에, 필터를 엄격하게 적용하면 문화적으로 가장 중요한 경우가 많은 화려한 장식 유물 대부분이 제외될 수 있었다. 더욱이, 이 방법은 픽셀 수준의 오류는 예측할 수 있었지만, 재구성이 역사적으로 정확한지 또는 실제 보존 작업에 적합한지는 판단할 수 없었다. 컴퓨터는 잘못된 패턴에 대해 합의할 수도 있고, 혹은 그럴듯하지만 역사적으로 불가능한 디자인을 생성할 수도 있기 때문이다.
연구진은 또한 이 방법을 가장자리(edge)의 수나 결손 부위의 질감(texture)의 양을 측정하는 것과 같은 더 단순한 난이도 판단 방식과 비교했다. 초기 유물 그룹에서는 그들의 불일치 방법이 약간 더 나은 성능을 보였으나, 그 차이는 미미했고 항상 일관적이지는 않았다. 외부 박물관 유물 그룹에서는 불일치 방법이 이러한 단순한 체크 방식보다 더 명확한 이점을 보여주었다. 연구는 이 기술이 역사적 진정성 문제를 해결하지는 못하지만, 박물관에 실용적인 도구를 제공한다는 결론을 내렸다. 이 방법은 재현 가능한 신호를 제공하여 어떤 디지털 복원이 인간의 검토를 필요로 하는지 우선순위를 정하는 데 도움을 준다. 불확실한 이미지들에 표시를 해둠으로써, 전문가들이 가장 필요한 곳에 주의를 집중할 수 있게 하여, 디지털 헤리티지를 검증하는 노력이 가장 불확실하고 잠재적으로 문제가 될 수 있는 사례에 쓰이도록 보장한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.