Identification and Graded Restoration of Composite Damage in Silk Paintings under Semantic Constraints

기술 요약: 의미론적 제약 조건 하에서의 비단 회화 내 복합 손상 식별 및 등급별 복원

문제 정의
전통 중국 비단 회화는 망상형 균열, 안료 박리, 침착된 얼룩, 수직 노화 줄무늬, 배경 산화 등 복잡한 퇴락 문제를 안고 있다. 디지털 복원에서 핵심적인 과제는 손상 특징과 본래의 예술적 세부 사항이 뒤엉켜 있다는 점이다. 어두운 균열은 먹의 필치와 유사하게 보일 수 있고, 안료의 손실은 연한 의복처럼 보일 수 있으며, 붉은 인장의 경계는 붉은 안료의 퇴화와 혼동될 수 있다. 기존 방식들은 다음과 같은 세 가지 주요 병목 현상에 직면해 있다:

1. 의미론적 엉킴(Semantic Entanglement): 일반적인 생성 모델은 시각적 연속성을 추구하는 과정에서 진본의 필치, 낙관, 인장을 덮어쓰는 경향이 있다.
2. 규모 및 이질성(Scale and Heterogeneity): 단일 이미지 내에 다양한 퇴락 유형(미세 균열, 큰 얼룩, 산화 등)이 혼재되어 있어, 통합된 접근 방식으로는 이를 적응적으로 처리하는 데 한계가 있다.
3. 가역성 결여(Lack of Reversibility): 대부분의 엔드 투 엔드(end-to-end) 파이프라인은 사후 복원 품질 감사나 롤백 메커니즘이 부족하며, 이는 최소 개입 및 가역성이라는 보존 원칙과 상충된다.

방법론
저자들은 의미 보호 및 품질 게이트 기반의 다단계 디지털 복원 프레임워크를 제안한다. 이 프로세스는 단순한 단일 단계 자동 미화 도구가 아니라, 해석 가능하고 감사 가능한 워크플로로 설계되었다.

1. 의미 보호 구축 (Semantic Protection Construction):
   손상 탐지 전, 시스템은 계층적 보호 마스크를 설정한다.

• 절대적 보호 ($P_{abs}$): 텍스트와 수집가 인장은 엄격히 보호되며 자동 복원에서 제외된다.
• **연성 보호 ($P_{soft}$): 인물의 윤곽선, 미세한 선 묘사, 고위험 안료 영역에는 보호 페널티가 할당된다.
• 충돌 해결: 손상 후보가 보호 영역과 겹칠 경우, 보호 우선순위(텍스트/인장 > 선 묘사/안료 > 배경)에 따라 결과가 결정되며, 이를 통해 문화적 의미의 안전성을 시각적 생성보다 우선시한다.

2. 해석 가능한 다중 소스 특징 추출 (Interpretable Multi-Source Feature Extraction):
   블랙박스 형태의 후보 생성에 의존하는 대신, 본 방법은 그레이스케일, HSV, LAB, 국소 통계량, 그래디언트, 그리고 다중 스케일 모폴로지 응답(BlackHat 및 TopHat)을 포함하는 해석 가능한 특징 집합을 사용한다. 이를 통해 특정 손상 유형(예: 어두운 균열 vs 밝은 안료 손실)을 식별할 수 있으며, 알고리즘 오류에 대한 진단적 근거를 제공한다.

3. 구역별 손상 후보 생성 (Zoned Damage Candidate Generation):

• 배경: 색상 모델링과 모폴로지 필터링을 사용하여 균열, 줄무늬, 산화점을 타겟팅하며, 자연스러운 비단 섬유 질감을 손상으로 오인하지 않도록 구체적인 제약을 둔다.
• 인물 영역: 얼룩 및 안료 손실에 대해 보수적인 스코어링 시스템을 적용하며, 긍정적 증거(어두워짐, 낮은 채도)와 보호 페널티(필치 응답, 선 묘사 밀도) 사이의 균형을 맞추어 예술적 세부 사항이 손상으로 오분류되는 것을 방지한다.

4. 연결 요소 적응형 라우팅 (Connected-Component Adaptive Routing):
   탐지된 손상 후보는 연결 요소로 분해되어 기하학적 규모(면적, 평균 폭), 세부 밀도, 의미론적 위치에 따라 세 가지 경로 중 하나로 라우팅된다:

• 건너뛰기/검토 (Skip/Review): 보호 영역과의 중첩이 높거나 세부 밀도가 과도한 경우 트리거되며, 이 영역은 수정 없이 수동 검토를 위해 남겨진다.
• 조화 복원 (Harmonic Restoration): 경계가 명확한 좁은 균열에 적용되어 텍스처 드리프트 없이 가장자리 안정성을 유지한다.
• 심층 생성 인페인팅 (Deep Generative Inpainting): 넓은 면적의 저밀도 손실(예: 배경 산화)에 LaMa 모델을 사용하여 적용된다. 결정적으로, 이 모델은 비단 데이터로 미세 조정되지 않으며, 그 생성 자유도는 라우팅 허용 기준과 후속 제약 조건에 의해 엄격히 제한된다.

5. 제약 융합 및 품질 게이팅 (Constrained Fusion and Quality Gating):

• 융합 (Fusion): 복원 결과는 공간적 가중치와 국소 색상 통계적 정렬을 사용하여 원본 이미지와 블렌딩되며, 이를 통해 휘도 단계 현상이나 색상 드리프트를 방지한다. 신뢰할 수 있는 영역의 고주파 텍스처를 재주입하여 비단의 재질감을 유지한다.
• 품질 게이트 (Quality Gate): 사후 복원 감사는 경계 휘도 불연속성, 고주파 에너지 비율, 그래디언트 잔차를 평가한다.
• 연성 롤백 (Soft Rollback): 복원된 구성 요소가 품질 검사(예: 심(seam) 탐지 또는 과도한 평활화)를 통과하지 못할 경우, 시스템은 융합 가중치를 줄이거나 해당 요소를 보수적인 경로로 되돌리는 '소프트 롤백'을 트리거한다. 이는 과정의 가역성과 감사 가능성을 보장한다.

주요 기여

1. 의미 우선 패러다임 (Semantic-First Paradigm): 손상 탐지 전, 고가치 의미 영역(텍스트, 인장, 선 묘사)을 위한 절대적 및 연성 보호 마스크를 설정하여, 시각적 완결성보다 문화유산의 안전을 우선시한다.
2. 해석 가능한 특징 시스템: 알고리즘 결정을 검증 가능한 증거로 변환하는 다중 소스 특징 집합을 개발하여, 소량 샘플 시나리오에서의 반복적인 캘리브레이션을 가능하게 한다.
3. 적응형 라우팅 메커니즘: 기하학적 및 의미론적 속성에 따라 복원 경로(건너뛰기, 조화 복원 또는 심층 인페인팅)를 동적으로 할당하는 구성 요소별 라우팅 전략을 도입하여, "일률적인(one-size-fits-all)" 접근 방식을 탈피한다.
4. 품질 게이트 기반 롤백: 로컬 소프트 롤백을 지원하는 리스크 경고 메커니즘을 구현하여, 디지털 워크플로를 가역성 및 전문가 참여 검토라는 보존 원칙에 부합시킨다.

실험 결과
본 프레임워크는 다양한 재료(금색 바탕, 밝은 비단)와 손상 유형을 포함하는 12점의 실제 비단 인물화 이미지를 통해 검증되었다.

• 커버리지 통계: 인물 영역은 이미지 면적의 평균 36.77%를 차지했다. 최종 후보 복원 영역은 평균 24.32%로 나타나, 상당한 수준의 손상 범위를 커버함을 보여주었다.
• 품 품질 지표: 세 가지 샘플에 대한 무참조(no-reference) 평가에서 평균 그래디언트 보존 비율은 0.9824로 나타나 안정적인 구조적 제약을 입증했다. 마스크 내부 변동과 마스크 외부 누출의 비율은 약 5.4:1로, 수정이 보호된 영역에 대한 간섭을 최소화하면서 후보 영역 내에 집중되었음을 확인했다.
• 어블레이션 연구 (Ablation Studies): 텍스트/인장 보호 모듈(A1)을 제거했을 때 텍스트/인장 교란이 9.0배 증가했다. 대면적 안료 손실 탐지(A4)를 제거하면 11점의 이미지 중 10점에서 해당 손상 유형이 전혀 탐지되지 않아 기능적 완전성을 입증했다. 품질 게이트(A6)는 평균 지표상 변화가 제한적이더라도 발생 가능한 낮은 확률의 수용 불가능한 실패를 차단함을 보여주었다.
• 비교 분석: "마스크가 주어진(given-mask)" 설정 하에서 최신 딥 인페인팅 베이스라인(LaMa, LRDiff, BrushNet, PowerPaint)과 비교했을 때, 제안된 방법은 인장, 낙관, 미세 선 묘사의 보존 측면에서 우수한 성능을 보였으며, 생성 모델에서 나타나는 필치 환각(hallucination)이나 과도한 평활화 현상을 방지했다.

의의 및 주장
본 논문은 제안된 방법이 전문가 참여형 문화유산 보존에 적합한 제어 가능하고, 해석 가능하며, 롤백이 가능한 복원 패러다임을 제공한다고 주장한다.

• 본 연구는 효과적인 손상 제거와 역사적 증거 보존 사이의 긴장 관계를 해결한다.
• 본 방법은 수동 복원을 대체하는 것이 아니라, 상태 기록, 손상 분석 및 의사결정을 위한 디지털 지원 도구를 제공하는 것을 목적으로 한다.
• 저자들은 본 방법이 일단계 자동 미화 도구가 아님을 명시한다. 대신, 의미론적 제약과 품질 게이팅을 통해 결정 과정을 추적 가능하게 하고 리스크를 완화하는 구조화된 워크플로를 제공한다.
• 본 연구는 전문가가 주석을 달아 만든 그라운드 트루스(ground truth)의 부재와 라우팅 및 품질 게이팅을 위한 고정 임계값 의존성 등 한계점을 인정하며, 이는 다양한 재료나 획득 조건에 따라 재조정이 필요할 수 있다. 향 향후 연구 방향은 전문가 주석 데이터셋 구축과 인터랙티브 검토 인터페이스 개발로 설정되었다.