Visual Transformation Mechanisms for Integrating Digital Cultural Heritage Resources into Junior High School Art Curricula

기술 요약: 중학교 미술 커리큘럼에 디지털 문화유산 자원을 통합하기 위한 시각적 변환 메커니즘

문제 정의
디지털 문화유산(특히 디지털 돈황 벽화)을 중학교 미술 커리큘럼에 통합하는 과정에서 상당한 기술적 및 교육적 격차가 발생하고 있다. 기존의 응용 방식은 표준화된 이미지 전처리, 계산 가능한 특징 표현, 자동화된 과제 생성, 그리고 데이터 기반 평가 메커니즘이 부족한 경우가 많다. 결과적으로, 정적인 유산 이미지를 적응형 창의 학습 과제로 효과적으로 변환하거나 학생의 성과를 일관되게 평가할 수 있는 재사용 가능하고 반복 가능한 계산 워크플로우가 부재한 실정이다. 현재의 연구들은 유산 인식, 3D 재구성, 또는 이미지 생성을 개별적으로 다루는 경향이 있어, 문화적 이미지의 분해와 구조화되고 평가 가능한 수업 과제 생성 사이의 간극을 메우지 못하고 있다.

연구 방법론
저자들은 컴퓨터 비전, 규칙 기반 매칭, AI 보조 채점 기능을 통합한 모듈형 시각적 변환 프레임워크를 제안한다. 본 방법론은 다음 네 가지 주요 단계로 진행된다:

1. 시각적 특징 추출 및 표준화:

   • 전처리: 디지털 돈황 이미지는 512x512 픽셀로 표준화되며 Lab 색 공간으로 변환된다. 양방향 필터링($d=5, \sigma_c=50, \sigma_s=50$)은 균열 노이즈를 억제하며, CLAHE(clip limit 2.0, tile size 8x8)는 저채도 영역을 강화한다.
   • 특징 벡터화: 다섯 가지 시각적 채널을 추출하여 특징 벡터 $\mathbf{F}_i = [l_f, c_f, p_f, s_f, m_f]$를 형성한다:
     • $l_f$: 선화(Line-drawing)의 에지 밀도 (Canny).
     • $c_f$: 지배적 색상 클러스터링 (K-means).
     • $p_f$: 패턴 반복 구조.
     • $s_f$: 구성적 공간 계층 구조.
     • $m_f$: 인물의 포즈 및 휘날리는 옷자락의 방향 벡터.
   • 이러한 요소들(선, 색상, 패턴, 구성, 역동적 포즈)은 직접 복사할 대상이 아닌, 전이 가능한 구성 요소로 취급된다.

2. 이미지-과제 매핑 및 생성:

   • 매칭: 시스템은 이미지 특징 벡터($\mathbf{F}$)와 교과 과제 벡터($\mathbf{T}$) 사이의 코사인 유사도를 계산한다. 매치 점수 $M_{ij} \geq 0.75$인 경우 이미지가 자동으로 할당되며, 0.60에서 0.75 사이의 점수는 교사의 확인을 필요로 한다.
   • 과제 생성: 규칙 엔진은 이미지 특성에 따라 과제를 할당한다 (예: 높은 선 밀도는 "역동적 선 추출"에 매핑; 높은 색상 차이는 "색채 재설계"에 매핑).
   • 차별화: 과제는 사전 테스트 점수와 시각적 문해력 테스트를 통해 도출된 학생 능력 수준($G_s$)에 따라 기초, 심화, 개방형 단계로 분류된다. 시스템은 알고리즘의 협소함을 방지하기 위해 교사가 선택할 수 있도록 "Top 3 후보 전략"을 채택한다.

3. 난이도 등급화 및 최적화:

   • 과제는 이미지 복잡도($C$), 운영 단계($P$), 과제 개방성($O$), 학생 완수율($R$), 작업 특징 편차($E$)를 포함하는 가중치 공식($D_j$)에 따라 네 가지 난이도 단계(L1–L4)로 분류된다.
   • 시스템은 피드백 루프를 활용하여 모델 파라미터를 업데이트하고, 후속 반복을 위한 적절한 난이도를 권장한다.

4. AI 보조 평가:

   • 학생 작품 인코딩: 학생의 작품은 투영 보정(perspective correction)을 거쳐 512x512로 압축된다. Canny, Lab 색상 분석, 패턴 반복 연산자를 사용하여 특징을 추출한다. 딥 임베딩은 투영 헤드(projection heads)로 미세 조정된 CLIP-ViT-B/16을 사용하여 생성된다.
   • 채점 모델: 융합된 표현(ConvNeXt-Tiny 및 CLIP)이 2개 층의 MLP를 통과하여 다섯 가지 차원에 대한 점수를 생성한다: 문화적 요소 인식, 시각적 요소 추출, 형식적 재구성, 주제 표현, 작업 완성도.
   • 가중치: 역방향 보정(backward calibration)과 교차 검증을 통해 결정되며, "시각적 요소 추출"(0.24)과 "형식적 재구성"(0.22)이 가장 높은 가중치를 갖는다.

주요 기여

• 모듈형 프레임워크: 본 논문은 유산 이미지의 분해에서 과제 생성, 학생 평가, 그리고 반복적 최적화로 이어지는 변환 과정을 실행 가능한 폐쇄 루프 형태의 컴퓨터 응용 메커니즘을 제시한다.
• 표준화된 특징 벡터: 문화적 이미지를 커리큘럼 목표와 계산적으로 매칭할 수 있도록 하는 구체적인 5채널 시각적 특징 벡터를 정의한다.
• AI-인간 하이브리드 평가: 단순한 상징 식별보다 구조적 변환을 우선시하는 가중치 측정 시스템을 활용하여, AI 채점이 교사 채점과 상관관계를 갖는 평가 시스템을 도입한다.
• 적응형 과제 생성: 실시간 학생 능력 프로필과 이미지 복잡도를 기반으로 차별화된 학습 과제(기초, 심화, 개방형)를 생성한다.

실험 결과
본 프레임워크는 4개 중학교 학급(실험군 2, 대조군 2)의 학생 160명을 대상으로 한 6주간의 연구를 통해 검증되었다.

• 성과 향상: 실험군은 대조군에 비해 다음 항목에서 유의미하게 높은 향상을 보였다:
  • 시각적 요소 추출률 (+13.2 대 +5.3).
  • 형식적 재구성 정도 (+14.1 대 +5.9).
  • 문화적 요소 인식 (+11.2 대 +5.3).
• 평가 일관성: AI 채점 시스템은 교사 점수와 0.86의 피어슨 상관계수를 보였으며, 평균 절대 오차(MAE)는 3.84였다.
• 오차 분석: 오차(8점 초과)는 주로 명확한 주제는 있으나 문화적 요소가 약한 작품에서 발생하였다. 이는 모델이 특징 유사성과 구조적 완결성을 우선시하는 반면, 교사는 은유적 및 정서적 의도를 더 비중 있게 다룬다는 점을 시사한다.

의의 및 주장
본 논문은 이 프레임워크가 디지털 유산 자원과 재사용 가능한 수업 워크플로우 사이의 단절 문제를 성공적으로 해결했다고 주장한다. 벽화의 선, 색상, 포즈를 구조화된 특징 벡터로 변환함으로써, 시스템은 문화적 이미지를 처리, 저장 및 창의적 과제로 반복적으로 변환할 수 있게 한다. 저자들은 교육적 가치가 이미지를 단순히 보는 데 있는 것이 아니라, 해체, 번역 및 재창조의 과정에 있다고 강조한다.

그러나 저자들은 자신들의 주장에 대해 신중한 입장을 유지한다. 표본 크기, 특정 유산 범주(돈황 벽화), 학년 범위 및 컴퓨팅 환경의 한계를 인정한다. 이들은 애플리케이션의 안정성, 전이 성능 및 일반화 가능성을 위해서는 더 넓은 교차 지역 검증이 필요하다고 밝히고 있다. 향후 연구 과제로 데이터셋 확장, 멀티모달 융합 최적화, 그리고 무형 유산 및 지역 자원을 확장 가능한 소프트웨어 애플리케이션에 통합하는 것을 제안한다.