Damage-Aware Diffusion Restoration of Intangible Heritage Brocade Images with Pattern-Consistency Loss and Interpretable Cultural Feature Mapping

제공된 연구 논문을 바탕으로 작성된 기술적 요약은 다음과 같습니다.

문제 제기

무형문화유산(ICH) 직물 이미지, 특히 중국의 비단(brocade) 및 자수 이미지의 디지털 복원은 중대한 과제에 직면해 있습니다. 표준 생성 모델은 종종 문화적 충실도보다 시각적 그럴듯함을 우선시하는 경향이 있습니다. 확산 모델(Diffusion models)은 자연 이미지의 누락된 영역을 효과적으로 채울 수 있지만, 문화적으로 부적절한 패턴을 '환각(hallucinating)'하거나 전통적인 대칭성을 깨뜨리거나, 특정 민족의 모티프를 일반적인 장식 요소로 대체할 위험이 있습니다. 현재의 계산적 접근 방식은 복원된 이미지가 해당 직물 전통의 특정 디자인 문법, 역사적 논리 및 상징적 제약 조건을 준수하는지 감사할 수 있는 메커니즘이 부족합니다. 결과적으로, 손상된 유산 이미지를 복원하면서도 출력물이 문화적으로 책임감 있고 해석 가능하도록 보장할 수 있는 프레임워크의 공백이 존재합니다.

연구 방법론

본 연구는 문화적 패턴의 일관성 범위 내에서 생성적 복원을 제한하도록 설계된 손상 인지 프레임워크인 **패턴 일관성 확산 복원(PCDR-ITH: Pattern-Consistent Diffusion Restoration for Intangible Textile Heritage)**을 제안합니다.

1. 데이터 코퍼스 및 실험 설계:

• 데이터셋: 본 연구는 8가지 유산 카테고리(묘족 자수, 동족/장족/토가족 비단, 이족 자수, 난징 운금, 촉 비단, 송 비단)에 걸친 2,784개의 검증된 원본 직물 이미지를 활용하였습니다.
• 손상 시뮬레이션: 제어된 평가 세트로서, 시뮬레이션된 손상(직사각형, 자유형, 얼룩형, 가장자리 손실, 모티프 제거 등)과 실제 기록물 손상 사례를 사용하여 3,200개의 이미지-마스크 쌍을 생성하였습니다.
• 3단계 평가: 방법론은 계산적 복원 실험, 전문가의 문화적 타당성 평가, 그리고 인과 메커니즘을 테스트하기 위한 무작위 관찰자 실험을 통합합니다.

2. 모델 아키텍처:

• 기반 모델: 프레임워크는 손상 마스크와 주변 맥락을 조건으로 하는 잠재 확산 인페인팅(Latent Diffusion Inpainting) 구조(Stable Diffusion v1.5를 미세 조정함)를 사용합니다.
• 패턴 일관성 손실 ($\mathcal{L}_{PC}$): 핵심 혁신은 표준 확산 목적 함수에 추가된 커스텀 손실 함수입니다. 이는 세 가지 구성 요소로 이루어집니다:
  • 국소 모티프 일관성(Local Motif Consistency): ResNet-50 인코더를 사용하여 복원된 영역의 패치 임베딩과 손상되지 않은 주변 맥락 간의 코사인 거리를 측정합니다.
  • 전역 레이아웃 일관성(Global Layout Consistency): ViT-base 인코더를 사용하여 반사 대칭 및 반복 단위의 일관성을 강제합니다.
  • 어텐션 정렬(Attention Alignment): 복원된 이미지와 참조 구조 간의 상위 활성화 영역(Grad-CAM 또는 ViT 어텐션 맵을 통해)의 편차에 대해 페널티를 부여합니다.
• 학습: 모델은 NVIDIA A100 GPU에서 200 에포크 동안 결합 손실 함수($\mathcal{L}_{total} = \mathcal{L}_{diff} + \alpha\mathcal{L}_{rec} + \gamma\mathcal{L}_{PC} + \delta\mathcal{L}_{perc}$)를 사용하여 학습되었습니다.

3. 평가 지표:

• 객관적 지표: 표준 이미지 품질 지표(PSNR, SSIM, LPIPS) 및 유산 특화 지표(국소 모티프 정렬, 전역 레이아웃 보존, CAM 정렬, UMAP 클러스터 안정성)를 사용합니다.
• 전문가 평가: 5명의 전문가가 모티프 충실도, 문화적 타당성, 자연스러움, 환각 위험, 전시 활용 가능성을 평가하였습니다.
• 관찰자 실험: 512명의 참가자가 네 가지 조건(손상된 입력, LaMa 베이스라인, RePaint 확산 베이스라인, PCDR-ITH)에 대해 인지된 진정성, 유산 이해도, 보존 지원 의도를 평가하였습니다.

주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

1. 기술적 기여: 패턴 일관성 손실을 도입함으로써 무형문화유산 직물을 위한 확산 기반 복원을 최적화했습니다. 이는 픽셀 수준의 매끄러움만을 최적화하는 일반적인 인페인팅 모델의 한계를 해결하여, 모티프의 대체나 레이아웃의 이탈에 명시적으로 페널티를 부여합니다.
2. 해석 가능성 기여: 계산적 특징 진단(UMAP 특징 분리성, CAM 어텐션 정렬)과 전문가 판단을 연결하는 프레임워크를 제시합니다. 이는 특징 공간 진단이 문화적 타당성의 증거로 기능할 수 있음을 입증합니다.
3. 인과 메커니즘 기 기여: 복원 조건에서 유산 결과로 이어지는 경로를 테스트하는 엄격한 인과 모델을 구축했습니다. 본 연구는 복원 조건이 직접적인 기술적 우월성보다는 주로 문화적 특징의 해석 가능성과 인지된 진정성을 통해 유산 이해 및 보존 지원 의도에 영향을 미친다는 점을 규명했습니다.

결과

• 객관적 성능: PCDR-ITH는 일반적인 지표(PSNR, SSIM, LPIPS)에서는 RePaint 스타일의 확산 베이스라인을 유의미하게 능가하지 못했습니다. 그러나 유산 특화 지표(국소 모티프 정렬, 전역 레이아웃 보존, CAM 정렬)에서는 현저히 높은 점수를 기록했습니다 ($p < 0.001$).
• 절제 연구(Ablation Studies): 패턴 일관성 구성 요소(국소 모티프, 전역 레이아웃 또는 어텐션 정렬)를 제거하면 성능이 크게 저하되었습니다. 마스크 컨디셔닝을 제거했을 때 가장 큰 하락이 발생하여, 손상 인지가 매우 중요하다는 것을 확인했습니다.
• 전문가 평가: PCDR-ITH는 모티프 충실도(5.78/7), 문화적 타당성(5.82/7) 및 전시 활용 가능성에서 가장 높은 점수를 받았습니다. 확산 베이스라인은 "자연스러움"(시각적 매끄러움)에서 약간 더 높은 점수를 받았으나, PCDR-ITH는 환각 위험을 유의미하게 줄였습니다.
• 관찰자 실험: 매개 분석 결과, 가설로 세운 연쇄 경로가 확인되었습니다: 복원 조건 $\rightarrow$ 패턴 충실도/해석 가능성 $\rightarrow$ 인지된 진정성 $\rightarrow$ 유산 이해/보존 지원. 간접 효과는 유의미했으나 직접 효과는 유의미하지 않게 나타났으며, 이는 기술적 개선이 문화적 해석 가능성과 인지된 진정성을 향상시킬 때만 사용자 결과에 영향을 미친다는 것을 의미합니다.

의의 및 주장

본 논문은 AI 지원 유산 복원이 이중 표준: 기술적 회복과 문화적 책임성을 통해 평가되어야 한다고 주장합니다.

• 문화적 책임성: 본 연구는 "성공적인" 복원이란 단순히 시각적으로 매끄러운 것이 아니라, 직물의 문화적 논리를 보존하는 것이라고 주장합니다. 제안된 프레임링은 (패턴 일관성 손실을 통해) 문화적 제약을 부과하는 것이 일반적인 이미지 품질을 저하시키지 않으면서도 유산 특화적 충실도를 높일 수 있음을 보여줍니다.
• 가교로서의 해석 가능성: 연구는 문화적 특징의 해석 가능성이 기술적 복원을 인지된 진정성으로 전환하는 메커니즘이라고 상정합니다. 관찰자가 일관되고 문화적으로 의미 있는 모티프를 식별할 수 있을 때, 복원에 대한 신뢰와 보존 노력에 대한 지원 의지가 높아집니다.
• 실질적 적용: 이 프레임워크는 합성 출력이 명확하게 라벨링되고 재현 가능한 문서에 의해 제약되어야 하는 박물관 전시, 교육 및 디지털 아카이브에 적합한 감사 가능한 디지털 복원 도구로 위치합니다. 저자는 이 모델이 보존 전문가나 공동체의 권위를 대체하는 것이 아니라, 문화적으로 책임 있는 지원 시스템 역할을 한다고 명시합니다.

본 연구는 모델이 다양한 직물 복잡도(예: 매우 규칙적인 기하학적 직물 vs 복잡한 상징적 비단)에 따라 성능이 불균일하게 나타날 수 있음에도 불구하고, 생성형 AI를 문화 유산 관점에서 평가할 때 일반적인 지각적 지표가 아닌 모티프 충실도와 문화적 타당성을 기준으로 삼아야 한다는 방법론적 전환을 제공한다고 결론짓습니다.