💻 컴퓨터 과학

Severity-Conditioned Pixel-Wise Asynchronous Diffusion for Semi-Transparent Mural Restoration

본 논문은 이진 마스크와 균일한 시간적 모델링의 한계를 극복하기 위해, 연속적인 심각도 필드를 추정하여 픽셀 단위의 비동기적 확산 진행을 유도함으로써 반투명 벽화 복원을 향상시키는 새로운 프레임워크인 심각도 조건부 픽셀 단위 비동기 확산(Severity-Conditioned Pixel-Wise Asynchronous Diffusion, SC-PAD)을 제안한다.

원저자: Yu Wu, Erchao Li, Furui Jia, Jinjiang Zhao, Lei Zhang

게시일 2026-10-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Wu, Erchao Li, Furui Jia, Jinjiang Zhao, Lei Zhang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고대 벽화는 사라진 문명의 신념, 예술, 그리고 일상생활을 보존하고 있는 취약한 과거의 창이다. 그러나 시간은 무자비한 적이다. 수 세기에 걸쳐 온도, 습도, 빛과 먼지에 대한 노출의 변화는 이러한 채색된 표면을 퇴색시키고, 변색시키며, 균열을 일으키고, 곰팡이를 발생시킨다. 단순히 그림의 일부를 제거하는 일반적인 긁힘과는 달리, 이러한 손상 중 상당수는 반투명하다. 밑에 있는 색을 완전히 가리지는 않지만 색을 어둡게 만드는 먼지 층이나 얼룩을 생각해보라. 원래의 안료, 질감, 윤곽선은 여전히 보이지만 그저 가려져 있을 뿐이다. 이러한 이미지를 복원하는 것은 디지털 보존 전문가들에게 섬세한 작업이다. 만약 컴퓨터가 손상된 영역을 마치 결여된 부분인 것처럼 단순히 채우려고 시도한다면, 존재하지 않았던 세부 사항을 만들어내거나 여전히 남아 있는 희미하고 독창적인 흔적을 지워버릴 위험이 있다. 과제는 무엇이 상실되었는지와 무엇이 단지 숨겨졌는지를 구별하고, 남은 미세한 증거를 덮어쓰지 않으면서 원래의 이미지를 조심스럽게 드러내는 데 있다.

수년 동안 디지털 복원 도구들은 이진법적 접근 방식에 의존해 왔다. 즉, 단순한 마스크를 사용하여 손상된 영역을 식별하고, 그 마스크 내부의 모든 픽셀을 똑같이 손상된 것으로 취급하는 것이다. 이 방식은 구멍이나 누락된 조각에는 잘 작동하지만, 단일 영역 내에서 손상의 강도가 다양할 때는 실패한다. 곰팡이 패치는 중심부는 두껍고 가장자리는 얇을 수 있지만, 표준 마스크는 전체 패치를 동일하게 취급한다. 더욱이, 고급 생성 모델을 사용하여 누락된 세부 사항을 상상하는 대부분의 현대적 복원 알고리즘은 이미지 전체에 단일하고 균일한 타임라인을 적용한다. 그들은 그림의 모든 부분이 복원된 상태에 도달하기 위해 동일한 양의 "세척" 시간이 필요하다고 가정한다. 이러한 일률적인 접근 방식은 퇴화가 불균일한 벽화에서 어려움을 겪으며, 종종 결과물이 너무 탁하거나 인위적으로 날카로워 보이게 만든다.

이러한 한계를 해결하기 위해, 란저우 공과대학교와 간쑤 과학원의 연구진은 '중증도 조건부 픽셀 단위 비동기 확산(Severity-Conditioned Pixel-Wise Asynchronous Diffusion)'이라는 새로운 방법을 개발했다. 손상된 벽화를 파손된 부분과 파손되지 않은 부분의 집합으로 보는 대신, 이 시스템은 손상을 변화하는 강도를 가진 연속적인 장(field)으로 간다. 연구진은 먼저 컴퓨터에게 이미지의 모든 지점에서 퇴화가 정확히 얼마나 심한지를 추정하도록 가르쳐서, 단순한 외곽선이 아닌 손상의 강도에 대한 상세한 지도를 생성한다. 이 지도는 가이드 역할을 하여, 엔진에게 특정 지점의 먼지 아래에 원래의 이미지가 얼마나 여전히 보이는지를 알려준다.

이 연구의 핵심 혁신은 동기화된 과정에서 비동기화된 과정으로의 전환이다. 전통적인 방식에서 컴퓨터는 전체 이미지를 동일한 속도로 작업하며, 노이즈가 섞인 손상된 상태에서 깨끗한 상태로 발맞추어 이동한다. 새로운 방식은 각 픽셀이 자신만의 속도로 움직이게 한다. 특정 영역이 약간만 퇴색되었다면, 시스템은 해당 영역에 아주 적은 도움만 필요하다는 것을 인식하고 빠르게 복원한다. 반면 다른 영역이 심하게 가려져 있다면, 시스템은 더 많은 계산적 노력을 기울여 이를 신중하게 재구성한다. 이는 각 픽셀에 대해 개별적으로 "복원 진행도"를 조정하는 동적 시스템에 의해 관리되며, 최종 결과가 벽화의 모든 구석에 있는 고유한 손상의 역사를 존중하도록 보장한다. 이 과정은 또한 투명한 페인트 층이 섞이는 방식과 유사한 특정 수학적 규칙을 사용하여, 복원된 이미지가 주변의 건강한 영역과 자연스럽게 어우러지도록 하며 원래의 윤곽과 질감을 보존한다.

연구진은 역사적, 예술적 중요성으로 유명한 돈황 벽화 데이터셋을 통해 시스템을 테스트했다. 그들은 단순 마스크를 사용하는 기존 기술과 다른 고급 생성 모델을 포함한 여러 기존 기법들과 비교했다. 결과는 새로운 방식이 훨씬 더 명확하고 정확한 복원을 생성했음을 보여주었다. 픽셀 수준의 정확도 측면에서, 새 방법은 29.7을 기록한 차순위 방법보다 높은 30.61의 점수를 달랐다. 더 중요한 것은, 시각적 결과가 이 시스템이 이전 도구들보다 반투명한 손상의 미묘한 변화를 훨씬 더 잘 처리할 수 있음을 입증했다는 점이다. 이 시스템은 다른 복원 작업에서 흔히 보이는 흐릿함이나 인위적인 날카로움을 유발하지 않고 벽화의 미세한 선과 구조적 세부 사항을 보존했다.

그러나 연구는 또한 결정적인 병목 현상을 강조했다. 시스템이 손상의 정확하고 실제적인 중증도를 부여받았을 때는 매우 잘 작동하지만, 스스로 그 중증도를 추정해야 할 때는 성능이 떨어진다. 완벽한 지식과 시스템 자체의 추정치 사이의 격차는 손상의 깊이를 정확하게 측정하는 능력이 다음 주요 과제임을 시사한다. 연구진은 연속적인 중증도 지도가 단순한 이진 마스크보다 훨씬 큰 발전이었지만, 컴퓨터가 퇴화의 시각적 단서를 해석하는 방식에는 여전히 개선의 여지가 있다는 것을 발견했다.

궁극적으로, 이 연구는 더 미묘한 프레임워크를 제공한다. 경직되고 균일한 프로세스에서 벗어나 벽화가 노화되는 복잡하고 불균일한 현실을 수용함으로써, 연구진은 이러한 문화적 보물을 더 잘 존중할 수 있는 도구를 만들어냈다. 이 방법은 단순히 빈칸을 채우는 것이 아니라, 손상된 표면의 미묘한 변화에 귀를 기울여 원래의 예술이 더 높은 충실도로 드러나게 한다. 기술이 아직 완벽하지는 않지만, 특히 인간의 입력 없이 손상의 정도를 측정하는 데 있어서는, 디지털 복원을 단순한 재구성이 아닌 신중한 드러냄의 과정으로 다루는 데 있어 중요한 진전을 의미한다. 이 연구 결과는 향후 발전이 시스템이 손상의 깊이를 "보는" 능력을 정교화하는 데 집중될 것임을 시사하며, 이를 통해 우리의 유산을 지키는 디지털 수호자들이 더욱 정밀하게 이 취약한 이야기들을 보호할 수 있게 할 것이다.

기술 요약: 반투명 벽화 복원을 위한 심각도 조건부 픽셀 단위 비동기 확산 (SC-PAD)

문제 정의
디지털 벽화 복원은 반투명한 열화(예: 퇴색, 변색, 곰팡이, 그을음)가 발생하는 특정 과제에 직면해 있으며, 이 경우 원래의 색소, 질감 및 윤곽 정보가 부분적으로 남아 있습니다. 기존의 딥러닝 접근 방식, 특히 확산 확률 모델(Diffusion Probabilistic Models)에 기반한 방식들은 일반적으로 이진 손상 마스크(binary damage masks)에 의존합니다. 이러한 마스크는 열화의 공간적 범위를 식별하지만, 해당 영역 내에서 연속적으로 변화하는 심각도(severity)를 인코딩하지는 못합니다. 또한, 표준 확산 모델은 전체 이미지에 공유된 시간적 진행( $t$ )을 할당하여 모든 픽셀이 동일한 확산 상태에 있는 것으로 취급합니다. 이러한 전역적 동기화는 열화가 공간적으로 불균일하여 각 픽셀이 서로 다른 허용 가능한 상태 범위와 별도의 복원 역학을 필요로 하는 경우에 부적합합니다. 현재의 방법들은 심각도를 단순한 보조적인 컨디셔닝 채널로 취급할 뿐, 확산 궤적을 규정하는 명시적인 상태 변수로 다루지 못합니다.

방법론: SC-PAD
저자들은 **심각도 조건부 픽셀 단위 비동기 확산(Severity-Conditioned Pixel-Wise Asynchronous Diffusion, SC-PAD)**을 제안합니다. 이 프레임워크는 연속적인 종단 심각도(terminal severity)를 명시적으로 모델링하고, 통합된 전역 스케줄을 유지하면서 개별 픽셀의 시간적 진행을 분리합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있습니다:

연속적 종단 심각도 추정:
SC-PAD는 단순히 이진 마스크에 의존하는 대신, 열화된 관측값과 거친 이진 서포트(support)로부터 연속적인 심각도 필드 $A \in [0,1]^{H \times W}$ 를 추정합니다. 이는 유계 잔차 로짓 정밀화(bounded residual-logit refinement) 브랜치를 갖춘 마스크 가이드 추정기를 통해 수행됩니다. 쉬운 픽셀이 손실 함수를 지배하여 큰 국부적 오차를 가리는 문제를 해결하기 위해, 저자들은 다음과 같은 **리스크 지향적 감독(risk-oriented supervision)**을 도입했습니다:
- 가장 큰 절대 오차에 대한 top- $q$ 테일 손실(tail loss).
- 양(+)의 심각도 오차에 대한 단방향 패널티.
- 고립된 고심각도 예측을 억제하기 위한 이웃 스파이크 패널티(neighborhood spike penalty).
픽셀 단위 비동기 궤적 재매개변수화:
이 프레임워크는 열화된 이미지와 추정된 종단 심각도에 의해 조건화된 궤적 예측기에 의해 예측되는 시간 왜곡 지수(temporal-warping exponent) $\gamma(u)$ 를 도입합니다. 이 지수는 공유된 전역 참조 진행도 $m_t$ 를 픽셀 단위의 로컬 복원 진행도 $g_t(u) = m_t^{\gamma(u)}$ 로 매핑합니다.
- 제약 조건: $\gamma$ 는 통합된 전역 시간 범위 내에 머물 수 있도록 제한됩니다(예: $[0.35, 3.0]$ ).
- 특성: 이 재매개변수화는 모든 픽셀에 대해 공통된 시작점( $t=0$ )과 끝점( $t=T$ )을 보존하면서도 엄격히 증가하는 로컬 시계를 허용합니다. 이를 통해 확산 과정의 근본적인 경계 조건을 변경하지 않고도 공간적으로 차별화된 복원 궤적을 가능하게 합니다.
동적 알파 상태 및 잔차 확산:
로컬 진행도 $g_t$ 는 종단 일관성, 시간적 단조성 및 알파 합성 법칙을 만족하는 동적 알파 상태 $\alpha_t$ 로 매핑됩니다.
- 정식화: $\alpha_t = 1 - (1-A)^{g_t}$ . 이는 임의의 선형 보간이 아니라 투과도 영역에서의 알파 합성 구조를 따릅니다.
- 잔차 활성화: 종단 이미지 공간 잔차 $R_M = Y - X_0$ 는 $\alpha_t$ 로부터 유도된 비율 $\rho_t$ 를 사용하여 점진적으로 활성화됩니다. 노이즈가 섞인 중간 상태는 $X_t = X_0 + \rho_t \odot R_M + \sigma_t \epsilon$ 로 구축됩니다.
- 결합: 이 정식화는 종단 심각도, 로컬 시간 및 중간 확산 상태를 명시적으로 연결하여, 복원 궤적이 추정된 심각도에 의해 제약되도록 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

명시적 심각도 상태: 연속적인 종단 심각도를 보조적인 조건이 아닌 명시적인 상태 변수로 정식화했습니다. 유계 정밀화와 리스크 지향적 감독을 갖춘 특화된 추정기는 로컬 불일치를 줄여 심각도가 종단 상태 제약으로 작용할 수 있게 합니다.
비동기적 시간 재매개변수화: 전역 진행도를 로컬 진행도로 매핑하는 심각도 조건부 픽셀 단위 시간 왜곡 메커니즘을 도입했습니다. 이를 통해 단일 확산 스케줄 내에서 시간적 순서와 공통 종단점을 보존하면서 공간적으로 차별화된 복원 궤적을 가능하게 합니다.
합성 일관적 동적 알파: 알파 합성 법칙을 만족하는 종단 심각도 제약 동적 알파 상태를 구축했습니다. 이는 이미지 공간 잔차의 점진적 활성화를 제어하여, 심각도, 로컬 시간 및 확산 상태 사이의 명시적인 수학적 연결을 확립합니다.

실험 결과
실험은 10가지 열화 카테고리(염 결정화, 변색, 균열 등)를 포함하는 돈황 벽화 데이터셋(훈련 400, 테스트 100 이미지)을 대상으로 수행되었습니다. SC-PAD는 LRDiff, StrDiffusion, RDDM, PGRDiff를 포함한 최신 기술들과 비교되었습니다.

정량적 성능: SC-PAD는 모든 방법 중 가장 높은 점수를 기록했습니다: PSNR 30.61 dB, SSIM 0.925, LPIPS 0.071. 이는 가장 근접한 베이스라인인 PGRDiff보다 PSNR에서 0.91 dB, SSIM에서 0.0073 더 높은 수치입니다.
심각도 표현에 대한 절제 연구(Ablation): 이진 마스크를 예측된 소프트 알파(soft Alpha)로 교체했을 때 PSNR이 3.27 dB(27.34에서 30.61로) 향상되었습니다. 그라운드 트루스 알파(oracle)를 사용했을 때는 PSNR이 33.87 dB까지 상승하여, 연속적 심각도 모델링이 매우 효과적이지만 심각도 추정의 정확도가 여전히 성능의 병목 구간임을 나타냈습니다.
궤적 민감도: 동기식 대 비동기식 시간, 그리고 선형 대 합성 일관적 알파 상태에 대한 연구가 수행되었습니다. 픽셀 단위 비동기 시간은 두 가지 알파 정식화 모두에서 일관되게 성능을 향상시켰습니다. 합성 일관적 알파 상태는 비동기 시간과 결합되었을 때 가장 좋은 결과(PSNR 31.52)를 냈으며, 특정 구성에서 선형 정식화보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 SC-PAD가 공간적으로 불균일한 반투명 벽화 복원에 특화된 제어 가능한 확산 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

단순한 이진 "누락 영역" 완성을 넘어, 열화를 연속적이고 공간적으로 변화하는 과정으로 모델링했습니다.
벽화 퇴화의 이질적인 특성에 더 잘 맞도록 개별 픽셀의 시간적 진행을 분리했습니다.
연속적 심각도 표현과 픽셀 단위 비동기 진행이 현재 결과에 의해 뒷받침되는 가장 중요한 두 가지 핵심 요소임을 입증했습니다.

저자들은 제안된 정식화가 픽셀 충실도와 구조적 일관성을 개선하지만, 예측된 알파와 그라운드 트루스 알파 사이의 격차에서 알 수 있듯이 심각도 추정 정확도가 여전히 중요한 병목 현상임을 겸허히 언급했습니다. 향후 연구는 복잡한 실제 환경에서의 심각도 추정 개선과 다중 모달 증거(예: 다중 스펙트럼 이미징, 재료 분석)의 통합에 집중될 예정입니다.

유사한 논문