기술 요약: 컴퓨터 비전 및 생성 모델을 이용한 칠기 표면의 디지털 재구성

1. 문제 정의

중국 칠기 예술의 디지털 보존은 기존의 복원 방식이 칠기 특유의 물성을 포착하는 데 실패한다는 결정적인 과제에 직면해 있습니다. 전통적인 물리 기반 시뮬레이션은 계산 비용이 많이 들 뿐만 아니라, 숙련된 장인의 직관적이고 유기적인 반응을 모델링하는 데 유연성이 부족합니다. 반대로, 딥러닝 기반의 생성 방법(예: GAN, 표준 확산 모델)은 전역적인 통계적 스타일 전이에 치중하는 경향이 있어, 날카로운 균열 패턴(단문, duanwen), 층상 구조의 두께, 가변적인 광택과 같은 중요한 미세 디테일을 놓치고 매끄러운 질감만을 생성하는 결과를 초래합니다.

현재의 접근 방식들은 고충실도 문화 복원을 위한 세 가지 핵심 요구사항을 동시에 충족하는 데 어려움을 겪고 있습니다:

1. 구조적 일관성(Structural Consistency): 균열 네트워크, 윤곽선 및 기하학적 배치의 정밀한 유지.
2. 질감의 진본성(Texture Authenticity): 칠기 고유의 복잡하고 다중 스케일인 질감 및 확률적 노화 특징의 재현.
3. 양식적 일관성(Stylistic Coherence): '환각(hallucination)' 현상을 일으키는 인공물을 도입하지 않으면서, 칠기 예술 특유의 미학적 및 문화적 본질을 준수함.

나아가, "문화적 진본성"에 대한 정량화된 평가 시스템이 부재하여, 결과물이 시각적으로는 그럴듯해 보일지라도 역사적 또는 공예적 정확성이 결여될 수 있는 문제가 존재합니다.

2. 방법론: 구조 인식 협업 생성 프레임워크 (SACGF)

본 논문은 명시적인 사전 정보(prior)를 생성 과정에 주입하기 위해 세 가지 구별된 모듈을 통합한, Stable Diffusion(SD) 기반의 작업 지향적 파이프라인인 **구조 인식 협업 생성 프레임워크(Structure-Aware Collaborative Generative Framework, SACGF)**를 제안합니다. 이 프레임워크는 칠기 표면 재구성을 구조적 일관성, 질감 충실도, 양식적 일관성의 균형을 맞추는 다목적 최적화 문제로 취급합니다.

2.1 데이터 구축

8개의 주요 카테고리와 32개의 하위 카테고리(예: 조칠, 금입사, 균열 패턴)를 아우르는 2,194개의 고해상도 칠기 예술 이미지로 구성된 특화된 데이터셋을 구축하였습니다. 손상된 이미지와 온전한 이미지의 쌍(paired data)이 부족한 문제를 해결하기 위해, 저자들은 **열화 시뮬레이션(degradation simulation)**을 통해 손상된 구조(박리, 균열)와 표면 열화(퇴색, 광택 손실)를 모사하는 합성 학습 쌍을 생성하였습니다.

2.2 프레임워크 아키텍처

SACGF 파이프라인은 다음의 6단계 과정을 통해 작동합니다:

1. 구조 인식 특징 추출 (Structure-Aware Feature Extraction):

   • 에지/균열 사전 정보 (Edge/Crack Priors): 다중 스케일 Canny 에지 검출 및 균열 밀도 추정을 통해 기하학적 윤곽과 균열 네트워크를 추출합니다.
   • 질감 사전 정보 (Texture Priors): VGG-19 및 회색 레벨 동시 발생 행렬(GLCM) 통계량을 사용하여 다중 스케일 질감 기술자를 추출합니다.
   • 의미론적 사전 정보 (Semantic Priors): **Segment Anything Model (SAM)**을 사용하여 미세한 의미론적 마스크(예: 금입사와 균열 영역의 분리)를 생성합니다. 이 마스크는 재료 경계에서의 정확성을 보장하기 위해 전문가의 수동 정제 과정을 거칩니다.

2. 조건 인코딩 및 공간 변환 (Condition Encoding & Spatial Transformation):

   • 추출된 사전 정보들은 조건 텐서(condition tensors)로 인코딩됩니다.
   • 칠기 데이터셋에 특화되어 훈련된 자가 학습형 다중 조건 ControlNet이 에지 맵, 깊이 맵, 컬러 맵을 처리합니다.
   • SAM 마스크는 잠재 공간(latent space) 내에서 공간적 제약 조건으로 변환됩니다.

3. 가이드 기반 복원 (Guided Restoration - 생성 핵심):

   • LoRA (Low-Rank Adaptation): 칠기 데이터셋에 맞춰 미세 조정된 LoRA 어댑터가 Stable Diffusion 백본에 도메인 특화 스타일 파라미터를 주입하여, 생성된 질감이 "칠기"의 미학에 부합하도록 합니다.
   • ControlNet 가이드: 훈련된 ControlNet이 구조적 제약(에지, 깊이, 색상)을 제공하여 디노이징(denoising) 과정을 가이드함으로써 구조적 왜곡을 방지합니다.
   • SAM 의미론적 제약: 의미론적 마스크가 "울타리" 역할을 하여, 복원 업데이트를 손상된 영역에 엄격히 한정시키고 서로 다른 재료 경계 간의 질감/색상 누출(예: 금색 질감이 검은 칠 내부로 번지는 현상)을 방지합니다.

4. 최적화 목표 (Optimization Objective):
   프레임워크는 다음과 같은 복합 손실 함수를 최소화합니다:

   • 구조 손실 (Structure Loss): 윤곽 보존을 위해 SSIM과 에지 충실도(Canny)를 결합합니다.
   • 질감 손실 (Texture Loss): 현실적인 재료 질감을 보장하기 위해 LPIPS와 GLCM 통계량을 결합합니다.
   • 양식 손실 (Style Loss): 색상 분포와 양식적 특징을 일치시키기 위해 Gram 행렬 매칭을 사용합니다.

2.3 평가 지표: 디지털 칠기 충실도 점수 (DLFS)

주관적 평가를 넘어, 본 논문은 **디지털 칠기 충실도 점수(Digital Lacquer Fidelity Score, DLFS)**를 도입합니다. 이 복합 지표는 다음을 집계합니다:

• 질감 적합성 (Texture Conformity): LPIP 및 GLCM 통계량(대비, 상관관계, 에너지, 균질성).
• 색상 충실도 (Color Fidelity): CIEDE2000 색차 및 Lab 색 공간 일관성.
• 구조적 유사성 (Structural Similarity): SSIM, 다중 스케일 SSIM 및 에지 충실도.
  이 지표들은 정규화되어 단일 점수로 집계되며, 문화적 충실도에 대한 객적이고 재현 가능한 표준을 제공합니다.

3. 주요 기여

1. SACGF 프레임워크: 구조, 질감, 의미론적 요구사항의 균형을 맞추는 고충실도 복원을 달성하기 위해 LoRA, ControlNet, SAM을 통합한 새로운 협업 시스템을 제시하였습니다.
2. 특화된 데이터셋 및 메커니즘: 칠기 복원에 특화된, 시뮬레이션된 손상-온전 쌍과 인간 참여형(human-in-the-loop) 마스크 정제 과정을 포함한 2,194개 이미지 데이터셋을 구축하였습니다.
3. 정량화된 문화적 진본성: "문화적 진본성"을 측정 가능한 물리적 통계로 구현하여, 시각적 유사성을 넘어 AI가 생성한 헤리티지 콘텐츠의 진본성을 평가할 수 있는 경로를 제시하는 DLFS 평가 시스템을 제안하였습니다.

4. 실험 결과

실험은 220개의 테스트 이미지(실제 퇴락된 유물 47개 포함)를 대상으로 수행되었습니다.

• 정량적 성능: SACGF는 DLFS 0.87을 달성하여 다음과 같은 베이스라인 모델들을 크게 상회하였습니다:
  • CycleGAN: DLFS 0.31
  • SD+LoRA: DLFS 0.52
  • SD+LoRA+Canny+Depth: DLFS 0.76
  • 또한 SACGF는 가장 높은 PSNR(27.42), SSIM(0.905) 및 가장 낮은 LPIPS(0.062)와 CIEDE2000(4.18)을 기록했습니다.
• 어블레이션 연구 (Ablation Studies):
  • 에지 조건 (Canny): 주로 구조적 보존력을 강화하였습니다 (SSIM +0.037, EdgeF +0.088).
  • 깊이 맵 (Depth Maps): 특히 조칠(carved lacquer)의 경우 층상 구조의 일관성과 공간적 계층을 개선하였습니다.
  • SAM 마스크: 영역 간 질감 누출 및 색상 번짐을 결정적으로 감소시켜 LPIPS와 색상 충실도를 크게 향상시켰습니다.
• 시각적 분석: 프레임워크는 복잡한 균열 네트워크(예: 뱀 배 무늬, 소 털 무류 등)를 성공적으로 재구성하였으며, 주변의 온전한 영역을 왜곡하지 않고 금입사 디테일을 복원하였습니다. 반면 베이스라인 모델들은 종종 흐릿한 에지나 "환각"된 장식 패턴을 생성하였습니다.

5. 의의 및 주장

본 논문은 고충실도 문화 재구성이 단일한 "블랙박스" 모델에 의존해서는 안 된다고 주장합니다. 대신, 구조, 질감, 의미론이 명시적인 사전 정보로서 주입되는 협업 시스템이 필요합니다.

• 패러다임의 전환: 본 연구는 단순히 칠기처럼 "보이는" 이미지를 생성하는 '시각적 유사성'에서, 재료의 논리와 공예 역사를 존중하며 칠기 오브젝트처럼 "느껴지는" 표면을 재구성하는 **'문화적 충실도'**로의 전환을 주장합니다.
• 실용적 유용성: 이 프레임워크는 보존 전문가들이 실제 작업 전 개입 전략을 평가할 수 있는 가역적인 가상 복원 도구를 제공하며, AI가 생성한 헤리티지 콘텐츠의 진본성을 평가할 수 있는 정량적 경로를 제공합니다.
• 한계점 인정: 저자들은 다음과 같은 한계점을 솔직하게 언급하였습니다:
  • 중첩된 장식: 2D 이미지에서 3D 적층 순서(예: 금박과 균열의 관계)를 구분하는 데 어려움이 있음.
  • 심각한 퇴락: 손상이 40%를 초과하여 구조적 단서가 희박할 경우, 역사적으로 부정확한 패턴을 "환각"할 위험이 있음.
  • 도메인 격차: 합성 훈련 데이터에서 실제 유물 이미지로 넘어갈 때 성능이 약간 저하되며, 이는 향의 도메인 적응(domain adaptation)의 필요성을 시사함.

결론적으로, 본 논문은 생성형 AI와 문화유산 보존의 엄격한 요구사항 사이의 간극을 메우는 재현 가능하고 구조 인식적인 접근법으로서 SACGF를 제시하며, 향후 연구를 위한 기술적 프레임워크와 평가 표준을 모두 제공합니다.