Hierarchical Reinforcement Learning-Based Adaptive Denoising and Reversible Color Restoration Method for Complex Degraded Murals

벽화는 단순히 벽에 그려진 그림 그 이상입니다. 그것은 고대 동굴 표면이나 부서져 가는 회반죽에 매달려 있는 인류 역사의 취약한 기록입니다. 박물관의 캔버스와 달리, 이 예술품들은 수 세기 동안 자연 요소에 노출되어 독특하고 혼란스러운 형태의 손상을 입어왔습니다. 단순히 색이 바래거나 더러워진 것이 아니라, 종종 노이즈, 균열, 얼룩, 그리고 박리되는 안료의 복잡한 층위로 뒤덮여 있으며, 물감의 질감 자체가 약해지기 시작한 상태입니다. 이를 복원하는 것은 섬세한 균형 잡기입니다. 만약 복원가가 너무 공격적으로 세척한다면, 붓터치의 미세한 선이나 노화의 미묘한 역사를 지워버릴 수도 있습니다. 반대로 너무 조심스럽다면, 이미지는 여전히 가려진 채로 남게 됩니다. 목표는 새로운 세부 사항을 만들어내거나 남은 것을 영구적으로 변경하지 않으면서 원래의 예술을 드러내는 것이며, 이 과정은 어디를 건드려야 할지, 얼마나 세게 눌러야 할지에 대한 깊은 이해를 요구합니다.

수년 동안 컴퓨터 과학자들은 인공지능을 사용하여 이 섬세한 작업을 자동화하려고 시도해 왔습니다. 초기 시도들은 종-종 이미지 전체를 동일하게 취급하여, 전체 이미지를 한꺼번에 깨끗하게 만들기 위해 단일한 규칙 세트를 적용했습니다. 이러한 접근 방식은 단순한 사진에는 잘 작동하지만, 벽화에는 실패하는데, 그 이유는 손상이 결코 균일하지 않기 때문입니다. 얼굴 부분은 균열이 가 있을 수 있지만 배경은 그저 먼지만 쌓여 있을 수도 있으며, 밝은 노이즈 지점이 장식적인 패턴처럼 보일 수도 있습니다. 전체 이미지에 강력한 세척 필터를 적용하면 균열은 매끄럽게 만들 수 있지만, 얼굴을 흐릿하게 만들어 가장 중요한 세부 사항을 파괴할 수도 있습니다. 따라서 과제는 시스템이 벽화를 보고 어떤 특정 부분이 도움이 필요한지 결정하고, 그 특정 지점에 대해 가장 부드럽고 적절한 도구를 선택할 수 있도록 만드는 것이었습니다. 동시에 그 변화가 추적 가능하고 필요할 때 되돌릴 수 있어야 합니다.

최근 한 연구에서 연구자들은 컴퓨터가 마치 인간 복원가처럼 단계별로 결정을 내리도록 가르침으로써 이 문제를 해결하는 새로운 방법을 제안했습니다. 컴퓨터에게 이미지를 한 번에 고치라고 강요하는 대신, 그들은 과업을 두 가지 수준의 사고로 나누었습니다. 첫 번째 수준은 감독관 역할을 하며, 벽화 전체를 스캔하여 어느 영역을 먼저 처리해야 할지 결정합니다. 이 단계는 손상을 살펴보고 "이것이 세심한 처리가 필요한 얼굴인가, 아니면 더 공격적으로 청소할 수 있는 배경인가?"라고 묻습니다. 일단 영역이 선택되면, 더 전문화된 두 번째 수준이 제어권을 넘겨받습니다. 이 하위 수준은 노이즈 제거, 색상 조정, 또는 질감 보존과 같은 메뉴에서 행동을 선택하여 해당 지점을 정확히 어떻게 고칠지 결정합니다. 결정적으로, 이 시스템은 가역적으로 설계되어, 모든 변화에 대한 기록을 유지함으로써 복원이 너무 과하게 진행되었을 경우 원래의 상태를 복구할 수 있습니다.

연구진은 이 이단계 시스템을 심각한 손상을 입은 시뮬레이션 벽화와 실제 유적지의 사례를 포함한 수천 장의 이미지로 테스트했습니다. 그들은 그들의 방식(그들이 계층적 강화 학습 프레임워크라고 부르는 것)을 이미지를 복원하려는 다른 강력한 컴퓨터 프로그램들과 비교했습니다. 결과는 그들의 접근 방식이 다른 방식들보다 더 명확하고 정확한 결과를 만들어냈음을 보여주었습니다. 테스트에서 이 새로운 방법은 이미지의 선명도를 크게 개선하여, 예술 작품의 날카로운 가장자리를 온전히 유지하면서도 시각적 노이즈를 줄였습니다. 더 중요한 것은, 이 시스템이 색상 오류를 훨씬 적게 범했다는 점입니다. 다른 방법들은 색상을 너무 밝거나 부자연스럽게 만들어 색을 너무 많이 변화시킨 반면, 이 시스템은 색상을 원래 있어야 할 곳에 훨씬 가깝게 유지하여 평균 색상 오차를 거의 30% 줄였습니다.

또한 이 연구는 컴퓨터가 어떻게 결정을 내리는지가 최종 결과물만큼이나 중요하다는 것을 밝혀냈습니다. 연구진이 '감독관' 수준을 제거하고 컴퓨터가 전체 이미지를 한꺼번에 고치도록 했을 때, 품질은 눈에 띄게 떨어졌습니다. 시스템은 손상과 중요한 예술적 세부 사항을 구분하는 능력이 떨어졌습니다. 마찬가지로, 변화를 되돌리는 기능을 제거했을 때 컴퓨터는 더 공격적으로 변하여, 색상을 과하게 교정하거나 물감의 미묘한 질감을 잃어버리는 경우가 많았습니다. 이러한 발견은 단계별 의사결정 과정이 무질서하고 불균일한 현실의 예술품을 다루는 데 필수적임을 시사합니다. 컴퓨터는 전체 표면에 균일한 처리를 강요하기보다는, 한 번에 한 영역에 집중하고 해당 영역이 안정되었다고 느낄 때 멈추는 법을 배웁니다.

단순히 수치를 맞추는 것을 넘어, 이 시스템은 의도된 용도에 따라 복원의 스타일을 제어할 수 있는 방법을 제공합니다. 연구진은 동일한 도구가 서로 다른 목적에 맞춰 조정될 수 있음을 보여주었습니다. 만약 엄격한 역사적 기록이 목표라면, 시스템은 변화를 최소화하도록 설정되어 현재의 상태를 보존할 수 있습니다(비록 그것이 다소 바랜 것처럼 보일지라도). 만약 대중 전시가 목표라면, 시스템을 조정하여 색상을 더 생생하게 만들고 세부 사항을 더 선명하게 하여 관람객이 예술을 더 명확하게 볼 수 있도록 할 수 있습니다. 이러한 유연성은 디지털 복원이 '일률적인(one-size-fits-all)' 과정이 아니어야 함을 의미합니다. 그것은 보존 전문가들이 얼마나 많은 개입이 적절한지 결정할 수 있는 통제되고 투명한 작업이며, 디지털 버전은 언제든 더 안전한 상태로 되돌릴 수 있다는 점을 알고 수행하는 작업입니다.

이 연구는 컴퓨터에게 예술이 무엇인지 가르치기 위해 사용된 수천 점의 회화와, 시스템의 한계를 테스트하기 위해 인위적으로 손상을 입힌 수백 점의 특정 벽화 이미지를 포함한 대규모 이미지 컬렉션을 사용하여 수행되었습니다. 결과는 유망하지만, 연구진은 현재의 테스트가 시뮬레이션임을 언급했습니다. 수치와 시각적 비교는 프로그램을 제어된 데이터셋에 실행하여 생성된 것이며, 이는 정밀한 측정을 가능하게 하지만 이 시스템이 실제 동굴 속의 수 세기 된 벽에서 어떻게 작동할지를 아직 증명하는 것은 아닙니다. 저자는 다음 단계가 이 방법을 실제 유산 현장에서 테스트하고 인간 전문가를 참여시켜 결과를 판단하는 것이라고 제안합니다. 그때까지, 이 연구는 컴퓨터에게 복원에 대해 생각하는 구조적인 방식(어디에 작용하고 어떻게 작-용할지 결정하는 법)을 부여하는 것이 우리의 공유된 역사를 더 잘, 더 안전하게, 그리고 더 존중하는 방식으로 보존하는 길임을 보여주는 강력한 입증 사례로 남을 것입니다.