Visual Context-Aware and Spatial Receptive Field-Based algorithm for mural inpainting

기술 요약: 벽화 인페인팅을 위한 시각적 문맥 인식 및 공간 수용 영역 기반 알고리즘 (VCSR)

문제 정의
둔황 벽화의 복원은 균열, 박리, 안료 손실 등 고유한 퇴화 패턴으로 인해 상당한 어려움에 직면해 있습니다. 디지털 이미지 복원은 물리적 수리에 대한 비침습적 대안을 제공하지만, 기존의 딥러닝 방식은 이 영역에서 특정 한계에 부딪힙니다. 생성적 적대 신경망(GAN)은 역사적 요소를 정확하게 재현하는 데 실패하거나 노이즈 또는 구조적 왜곡을 유발할 수 있습니다. 합성곱 신경망(CNN)은 수용 영역(receptive field)의 제약으로 인해 복잡한 벽화 패턴에 필요한 장거리 의존성을 모델링하는 데 어려움을 겪습니다. 반대로, 트랜스포머(Transformer) 기반 모델은 전역적 상관관계에는 효과적이지만, 윈도우 간의 불충분한 정보 교환과 높은 계산 비용으로 인해 "블록 형태의 아티팩트(blocky artifacts)"가 발생할 수 있습니다. 또한, Mamba와 같은 상태 공간 모델(SSM)은 긴 시퀀스에 효율적이지만, 일반적으로 2D 이미지를 1D 시퀀스로 평탄화하는 인과적 스캐닝 전략에 의존합니다. 이 과정은 "국소 픽셀 망각(local pixel forgetting)"을 유발하여, 인접한 공간 픽셀들이 시퀀스 내에서 분리됨으로써 이웃 정보의 손실과 불충분한 공간 지각을 초래합니다.

방법론
저자들은 인코더-디코더 구조를 가진 U-Net 아키텍처를 기반으로 한 시각적 문맥 인식 및 공간 수용 영역 기반(VCSR) 알고리즘을 제안합니다. 이 방법은 다음과 같은 세 가지 주요 혁신을 통해 앞서 언급한 한계점들을 해결합니다.

1. 잔차 상태 공간 블록 (Residual State-Space Block, RSSB):

   • 주의 집중 상태 공간 모듈 (Attentive State-Space Module, ASSM): 표준 SSM의 인과적 한계를 극복하기 위해, ASSM은 **프롬프트 벡터(Prompt Vectors)**를 상태 공간 방정식에 통합합니다. 이 벡터들은 의미론적 단서 역할을 하여, 모델이 단순히 평탄화된 이미지의 순차적 순서에 의존하는 대신 전역적으로 유사한 픽셀을 "쿼리(query)"할 수 있도록 합니다. 이를 통해 모델은 전통적인 스캐닝 순서에서 벗어나 전역적 인식을 달고할 수 있습니다.
   • 국소 보상 (Local Compensation): 2D 특징을 1D 시퀀스로 평탄화하는 것이 국소적 공간 관계를 저해한다는 점을 인식하여, RSSB는 ASSM 이후에 **국소 합성곱(local convolutions)**을 포함하여 이웃 유사성을 복원하고 국소 세부 사항을 정교화합니다.
   • 채널 주의 집중 (Channel Attention): SSM에서 흔히 발견되는 채널 중복성을 완화하기 위해 핵심 채널 표현을 식별하고 강화하는 채널 주의 집중 메커니즘이 내장되었습니다.

2. 다중 스케일 변형 슬라이딩 윈도우 주의 집중 (Multi-Scale Deformable Sliding Window Attention, MSDA):

   • 디코더에 위치한 이 모듈은 **변형 오프셋(deformable offsets)**을 도입하여 전통적인 슬라이딩 윈도우 주의 집중을 확장하며, 이를 통해 모델이 고정된 국소 윈도우 너머의 핵심 영역에 집중할 수 있도록 동적으로 주의 집중 윈도우의 위치와 모양을 조정합니다.
   • 이 모듈은 서로 다른 어텐션 헤드에 대해 다양한 커널 크기를 가진 다중 스케일로 작동하여, 거친 특징부터 미세한 특징까지 계층적 특징 추출을 용이하게 합니다. 이는 벽화에서 흔히 나타나는 불규칙한 공간 패턴의 표현력을 높여줍니다.

3. 공간 지각 피드포워드 네트워크 (Spatially Perceptive Feedforward Network, SPFN):

   • 공간 인식을 더욱 강화하기 위해, SPFN은 MSDA 모듈의 입력과 출력 모두로부터 공간 정보를 추출합니다.
   • 이 모듈은 **게이팅 메커니즘(gating mechanism)**을 사용하여 이 공간 정보를 주 기능 스트림에 통합합니다. 공간 지각 지표를 생성함으로써, SPFN은 네트워크가 위치 정보를 더 잘 보존하고 장거리 의존성을 유지하도록 유도하여 국소 세부 사항의 재구성이 전역적 구조적 일관성과 일치하도록 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

1. 프롬프트 벡터를 포함한 주의 집중 상태 공간 모듈을 결-합하여 전역적 의미 인식을 달성하고, 국소 합성곱을 통해 공간 정보 손실을 보상함으로써 "국소 픽셀 망각" 문제를 효과적으로 해결하는 RSSB 설계.
2. 변형 오프셋과 다중 스케일 처리를 활용하여 수용 영역을 적응적으로 확장하고, 다양한 공간 범위에 걸쳐 특징 추출을 개선하며 블록 형태의 아티팩트를 줄이는 MSDA 모듈 제안.
3. 게이팅 메커니즘을 통해 공간적 의존성과 위치 인식을 강화하여 국소 세부 사항의 재구성 품질을 향상시키는 SPFN 도입.

실험 결과
VCSR 알고리즘은 다양한 손상 심도(1% ~ 40% 마스킹)와 무작위 가루 마스크(random powder masks)를 포함하는 둔황 벽화 챌린지 데이터셋(2,850개 이미지)에서 평가되었습니다. 본 방법은 MISF, PUT, HINT, ECDB, SEM, MXT를 포함한 최첨단 모델들과 비교되었습니다.

• 정량적 성능: VCSR은 모든 마스크 비율에서 우수한 결과를 달성했습니다. 개선 사항은 다음과 같습니다:
  • PSNR: 최상의 베이스라인 대비 0.18% ~ 0.94% 증가.
  • SSIM: 1.17% ~ 2.98% 증가.
  • L1 Error: 16.5% ~ 35.92% 감소.
  • LPIPS: 6.53% ~ 14.31% 감소하여 지각적 품질의 유의미한 이득을 입증.
• 정성적 분석: 시각적 비교 결과, VCSR은 더 부드러운 전환을 생성하고, 가장 뛰어난 경계 세부 사항(예: 얼굴 특징, 장신구, 화염 질감)을 더 잘 보존하며, 경쟁 방법에서 관찰되는 구조적 불일치 및 흐림 현상을 방지함을 보여주었습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 모듈(RSSB, MSDA, SPFN)이 성능에 긍정적으로 기여함을 확인하였으며, 전체 통합 모델이 지표와 시각적 충실도 모두에서 최상의 결과를 산출하였습니다.

의의 및 주장
본 논문은 VCSR 알고리즘이 국소 픽셀 망각과 불충분한 공간 지각이라는 이중 과제를 해결함으로써 문화유산의 디지털 복원을 위한 강력한 솔루션을 제공한다고 주장합니다. 전역적 의존성을 효과적으로 모델링하는 동시에 국소적 공간 일관성을 보존함으로써, 이 방법은 복원된 벽화의 사실성과 구조적 무결성을 크게 개선합니다. 저자들은 알고리즘이 기술적 복원 지표에서 탁월하지만, 향후 연구는 복원 과정의 문화적 충실도와 예술적 진정성을 더욱 높이기 위해 특정 예술 양식 및 역사적-문화적 맥락을 통합하는 데 집중해야 한다고 언급했습니다. 이 연구는 모고 고굴(Mogao Grottoes)의 귀중한 역사적 기록을 비접촉 방식으로, 반복 가능하고 비용 효율적으로 보존하는 것을 목표로 합니다.