Synthetic Craquelure Generation for Unsupervised Painting Restoration

1. 문제 정의 (Problem)

고전 회화의 노화, 환경 변화, 기계적 응력으로 인해 발생하는 크라클러 (Craquelure, 균열) 는 작품의 미적 가치를 훼손하고 디지털 분석을 방해합니다. 기존 복원 기술은 다음과 같은 한계를 가지고 있습니다.

• 데이터 부족: 픽셀 단위의 정밀한 주석 (Annotation) 이 거의 존재하지 않아 지도 학습 기반 딥러닝 모델 적용이 어렵습니다.
• 복잡한 배경: 균열은 매우 얇고 저대비 (low-contrast) 이며, 브러시 스트로크 (brushstroke) 나 질감 (texture) 과 구분이 어렵습니다.
• 기존 방법의 한계:
  • 전통적 이미지 처리: 파라미터 조정이 필요하며 복잡한 조명이나 질감 표면에서 성능이 떨어집니다.
  • 딥러닝 (Transformer 등): 얇은 구조를 과도하게 평활화 (oversmoothing) 하거나 국소화 (localization) 에 실패하는 경우가 많습니다.
• 목표: 수동 주석 없이 작동하며, 미세한 균열을 정확하게 식별하고 원본 붓터치를 보존하는 비침습적 디지털 복원 프레임워크 개발.

2. 제안 방법론 (Methodology)

저자들은 전적으로 주석 없는 (Annotation-free) 파이프라인을 제안하며, 이는 크게 세 단계로 구성됩니다.

A. 초기 균열 탐지 (Crack Detection)

• 형태학적 Top-Hat 필터링: 그림의 균열이 주변보다 어두운 특징을 가진다는 가정에 기반하여 Black Top-Hat Transform을 적용합니다.
• 크기 기반 필터링: 5 픽셀 미만의 연결 성분을 제거하여 노이즈를 제거하고, 초기 균열 마스크 (Candidate Mask) 를 생성합니다.
• 특징: 이 단계는 과포함 (over-inclusive) 될 수 있으나, 이후 학습 단계의 입력으로 활용됩니다.

B. 학습 기반 정제 (Learning-Based Refinement)

초기 탐지된 마스크에서 브러시 스트로크 등 오검출 (False Positive) 을 제거하고 실제 균열만 남기기 위해 학습 모델을 사용합니다.

• 아키텍처: SegFormer (MiT-B0) 백본을 기반으로 합니다.
• LoRA (Low-Rank Adaptation): 전체 파라미터를 미세 조정하는 대신, 어텐션 및 피드포워드 레이어에 LoRA 모듈을 주입하여 파라미터 효율성을 높이고 합성 데이터로 안정적으로 학습합니다.
• Detector-Guided 전략:
  • 입력: RGB 이미지 + 초기 탐지 마스크 (4 채널 입력). 탐지 맵이 주의 집중 (Attention) 을 균열 영역으로 유도합니다.
  • 손실 함수 (Masked Hybrid Loss): 탐지된 영역에 가중치를 두는 가중 크로스 엔트로피와 전체 구조 일관성을 위한 Dice Loss를 결합합니다.
  • Logit 조정: 탐지 마스크를 모델의 로짓 (Logit) 에 직접 더하여 (Soft Bias), 탐지기가 균열로 지정한 영역을 우선적으로 학습하도록 유도합니다.
• 데이터: 실제 주석 데이터 대신, 베지어 곡선 (Bézier trajectories) 을 사용하여 갈라짐, 테이퍼링 (tapered) 형태, 가지 치기 (branching) 를 모사한 합성 크라클러 데이터셋을 생성하여 학습합니다.

C. 균열 채우기 (Crack-Filling / Inpainting)

정제된 마스크를 기반으로 손상된 영역을 복원합니다.

• 수정된 잘린 평균 필터 (MTM): 균열 픽셀의 8-neighborhood 에서 비균열 픽셀의 평균을 계산하여 경계에서 안쪽으로 점진적으로 채웁니다. 얇은 선형 균열에 효과적입니다.
• 이방성 확산 (Anisotropic Diffusion, AD): 이미지 등고선 (isophotes) 을 따라 강도를 확산시키면서 에지는 보존하는 편미분 방정식 기반 방법입니다. 넓은 균열과 질감이 있는 영역에서 더 우수한 성능을 보입니다.
• 최종 선택: 실험 결과, AD가 구조적 세부 사항을 더 잘 보존하여 최적의 복원 방법으로 선정되었습니다.

3. 주요 기여 (Key Contributions)

1. 완전 비지도 균열 탐지 및 복원 프레임워크: 수동 주석 없이 작동하는 최초의 통합 시스템으로, 형태학적 탐지와 학습 기반 정제를 결합하여 실제 붓터치와 균열을 분리합니다.
2. 도메인 특화 합성 크라클러 데이터셋: 베지어 곡선과 기하학적 변형을 통해 다양한 형태의 합성 균열 데이터를 생성하여, 합성 데이터로만 학습된 모델이 실제 작품에 일반화되도록 합니다.
3. 통합 고전 - 학습 복원 워크플로우: 해석 가능한 고전적 탐지기와 탐지 조건부 세그멘테이션, 균열 인식 인페인팅을 결합하여 높은 정확도와 시각적 일관성을 확보합니다.

4. 실험 결과 (Results)

• 성능 비교: 제안된 방법은 기존 사진 복원 모델 (Wan et al., Pik-Fix) 및 전통적 방법 (Grassfire Algorithm) 보다 Zero-shot 설정에서 모든 지표 (SSIM, F1-score, Acc 등) 에서 압도적으로 우수한 성능을 보였습니다.
  • SSIM: 제안 방법 (64.87) > Pik-Fix (55.71) > Wan et al. (51.35).
  • F1-score: 제안 방법 (61.36) > 기존 방법들.
• Ablation Study:
  • LoRA와 가중 손실 함수 (Masked Loss) 가 성능 향상에 가장 결정적인 역할을 했습니다.
  • 탐지기를 로짓에 주입하는 전략 (Detector-Guided Logit) 이 오검출을 줄이는 데 기여했습니다.
• 복원 품질: AD(이방성 확산) 를 사용한 복원이 MTM 보다 원본 붓터치를 더 선명하게 보존하며, 넓은 균열에서도 흐릿해지지 않는 결과를 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 문화유산 보존 분야에서 수동 주석 데이터의 부재라는 근본적인 문제를 해결했습니다.

• 비침습적 접근: 물리적 개입 없이 디지털 방식으로 취약한 작품을 복원할 수 있는 도구를 제공합니다.
• 정밀한 구조 보존: Transformer 기반 모델이 흔히 겪는 얇은 구조의 손실 문제를, 고전적 탐지기와 결합한 하이브리드 전략을 통해 극복했습니다.
• 실용성: 계산 비용이 적고 자동화되어 있어, 실제 보존 작업 및 디지털 아카이빙에 즉시 적용 가능한 실용적인 솔루션을 제시합니다.

결론적으로, 이 논문은 합성 데이터 생성과 도메인 특화 학습 전략을 결합하여, 복잡한 회화 작품의 미세한 균열을 정확하게 탐지하고 원본의 예술적 가치를 훼손하지 않고 복원하는 새로운 패러다임을 제시했습니다.