Regional Style Recognition of Chinese Paper-Cutting Based on Deep Learning and Explainability Analysis

기술 요약: 딥러닝 및 설명 가능성 분석에 기반한 중국 종이 오리기(Jianzhi)의 지역 양식 인식

문제 정의
유네스코 인류 무형문화유산인 중국의 종이 오리기(jianzhi)는 제작 기법(절단, 조각, 염색), 색채 체계, 주제 선호도에 의해 정의되는 뚜렷한 지역적 양식을 보여준다. 그러나 현재의 식별 방법은 정량적 분석보다는 주관적인 전문가의 감식에 의존하고 있다. 이 분야에는 중요한 격차가 존재한다. 디지털 아카이브에는 방대한 양의 유산 이미지가 저장되어 있지만, 특정 전통을 차별화하는 구체적인 공예 특성을 계산 가능한 형태로 설명하는 기능이 부족하다. 또한, 기존의 종이 오리기 관련 컴퓨터 연구는 단순한 이진 분류(예: 북부 대 남부)나 주제별 범주화에 국한되어 있어, 미세한 수준의 지역적 변별력을 다루지 못하고 있다. 결정적으로, 모델의 결정 근거와 기록된 공예 지식 사이의 명시적인 연결 없이는, 딥러닝 모델이 유산 연구자와 전통 계승자로부터 신뢰를 얻기 위해 필요한 투명성을 확보할 수 없다.

연구 방법론
본 연구는 데이터셋 구축, 모델 벤치마킹, 설명 가능성 분석으로 구성된 통합 프레임워크를 제안한다:

1. 데이터셋 구축 (CRPC-6): 저자들은 중국 종이 오리기의 첫 번째 다지역 미세 분류 벤치마크인 CRPC-6을 구축하였다. 이 데이터셋은 양주(Yangzhou), 위현(Weixian), 안사이(Ansai), 뤼샨(Lvshan), 중양(Zhongyang), 포산(Foshan)의 6개 국가 지정 무형문화유산 전통을 나타내는 2,411개의 이미지를 포함한다. 데이터셋은 지리적 범위, 유산 지정 등급, 양식적 변별력의 균형을 맞추었다. 이미지는 박물관 아카이브, 출판된 카탈로그, 현지 조사를 통해 수집되었으며, 레이블은 도메인 전문가에 의해 검증되었다.
2. 모델 벤치마킹: 층화 5-겹 교차 검증(stratified five-fold cross-validation)을 사용하는 통일된 프로토콜 하에 14가지 방법을 평가하였다. 비교 대상은 다음과 같다:
   • 전통적 머신러닝: LBP, HOG, Nearest Centroid 분류기.
   • 딥러키텍처: 고전적 CNN(VGG-16, ResNet-50, DenseNet-121), 효율적 CNN(EfficientNet, MobileNetV3), 현대적 아키텍처(ConvNeXt-Tiny, Swin-Transformer-Tiny), 대규모 사전 학습 모델(DINOv2, CLIP).
   • 학습 프로토콜: 모든 딥러닝 모델은 ImageNet-1K 사전 학습 가중치를 사용하였으며, 헤드(head) 부분은 통일된 구조로 교체되었다. 데이터 증강에는 기하학적 변환 및 색상 지터링이 포함되었으며, 클래스 불균형(특히 규모가 작은 포산 서브셋)을 해결하기 위해 가중치 샘플링이 적용되었다.
3. 설명 가능성 프레임워크: 모델 예측과 공예 지식 사이의 간극을 메우기 위해, 저자들은 Grad-CAM++ 어트리뷰션 프레임워크를 채택하였다.
   • ConvNeXt-Tiny 모델의 최종 단계로부터 히트맵(Heatmap)을 생성하였다.
   • 이 히트맵을 다섯 가지 측정 가능한 정량적 기술자(descriptor)인 활성화 영역 비율($A_r$), 에지 밀도($E_d$), 채도($S$), 평균 휘도($B$), 공간 분산($D$)으로 변환하였다.
   • 통계적 분석(Kruskal–Wallis 검정 및 Bonferroni 교정을 적용한 Dunn의 사후 검정)을 사용하여 이 기술자들이 지역 간에 유의미하게 차이가 나는지 확인하였으며, 이를 통해 지역 양식이 주제(subject matter)가 아닌 공예 기법에 인코딩되어 있다는 가설을 검증하였다.
4. 통제 실험: 연구팀은 공예 기법과 주제적 내용의 영향을 분리하기 위해 지역 간 및 주제 간 교차 실험을 수행하였다.

주요 결과

• 성능: ConvNeXt-Tiny가 95.00%(±1.81%)의 Macro-F1 점수를 기록하며 가장 높은 성능을 달립으로써, 최상의 전통 베이스라인(50.2%)과 CLIP(89.7%) 및 DINOv2(90.5%)와 같은 대규모 시맨틱 모델을 크게 앞질렀다. 이는 미세한 수준의 종이 오리기 작업에서는 대규모 시맨틱 사전 학습보다 국소적 질감 민감도가 더 중요하다는 것을 시사한다.
• 오류 분석: 오분류는 주로 지리적 근접성이 아닌, 유사한 제작 기법을 공유하는 지역 간(예: 모두 '절단 및 염색' 방식인 뤼샨과 양주)에 발생하였다.
• 설명 가능성 발견 사항:
  • 다섯 가지 어트리뷰션 기술자 모두 6개 지역 간에 통계적으로 유의미한 차이를 보였다($p < .01$, 효과 크기 $\eta^2$ 최대 0.607).
  • 휘도와 채도가 주요 변별 축으로 나타났으며, 이는 종이 재료 및 염색 기법과 직접적으로 상관관계가 있다.
  • 공예 특화 패턴: 분석 결과 모델의 주의(attention)가 특정 공예 특징과 일치함을 밝혔다:
    • *중양(Zhongyang)*은 선과 에지에 집중한다.
    • *안사이(Ansai)*는 단색 구조(낮은 채도)에 집중한다.
    • *포산(Foshan)*은 금박 질감에 집중한다.
    • *위현(Weixian)*은 다색임에도 불구하고 염색된 채움보다 조각된 윤곽선에 우선순위를 둔다.
    • *양주(Yangzhou)*는 절단과 염색 경로를 모두 활용하는 이봉형(bimodal) 전략을 보인다.
• 통제 비교: 주제를 고정하고 지역을 변화시킨 실험에서는 기술자들이 유의미한 변화를 보였으나, 지역을 고정하고 주제를 변화시킨 실험에서는 에지 밀도가 안정적으로 유지되었다. 이는 지역적 변별이 주제적 시맨틱이 아닌 공예 기법에 의해 유도됨을 확인시켜 준다.

의의 및 주장
본 논문은 무형문화유산의 컴퓨터 연구에서 발생하는 세 가지 핵심 격차를 해결한다고 주장한다:

1. 벤치마킹: 단순한 남-북 이진 구분을 넘어 체계적인 평가를 가능하게 하는, 중국 종이 오리기의 첫 번째 다지역 미세 분류 데이터셋(CRPC-6)을 제공한다.
2. 아키텍처적 통찰: 소규모 샘의 미세한 유산 작업에서 소형의 국소 질감 중심 CNN(ConvNeXt-Tiny)이 대규모 시맨틱 모델보다 우수함을 입증하며, 14가지 방법론의 통일된 벤치마크를 통해 아키텍처 효과를 분리해 냈다.
3. 설명 가능성 및 신뢰: 모델의 주의를 통계적으로 검증 가능한 기술자로 변환하는 "시각적 지문(visual fingerprint)" 프레임워크를 도입하였다. 모델의 결정이 기록된 공예 특성(예: 절단 vs 조각, 단색 vs 염색)과 일치함을 증명함으로써, 본 연구는 이미지 영역에서 공예 지식으로 이어지는 추적 가능한 체인을 구축하였다.

저자들은 이 접근 방식이 지역적 전통이 제작 기법에 의해 정의되는 유산 영역의 계산 연구를 위한 방법론적 토대를 제공한다고 결론짓는다. 결과는 딥러닝이 높은 정확도의 인식을 달성하는 동시에 해석 가능하고 전문가의 지식과 일치할 수 있음을 보여주며, 이는 보존 실무에서 AI 채택을 위한 전제 조건이다. 모델을 구현한 웹 기반 시스템 또한 실질적인 적용 가능성을 보여주기 위해 제시되었다.