기술 요약: 의복 구조 가이드 및 의복 영역 재가중치 적용 플로우 매칭을 통한 고전 회화 의복 인페인팅

문제 정의

고전 회화 속의 의복은 역사적 복식, 의례, 미학을 이해하는 데 있어 매우 중요한 시각적 기록이다. 그러나 안료 박락, 먹의 마모, 바탕재의 퇴락과 같은 노화 과정은 의복의 윤곽과 주름을 정의하는 가늘고 곡선적인 연속적인 선들을 손상시키곤 한다. 일반적인 자연 이미지에 최적화된 범용 인페인팅 모델들은 의복 특유의 구조적 사전 지식(structural priors)이 부족한 경우가 많다. 결과적으로, 이들은 모서리가 흐려지거나 구조적으로 일관되지 않은 드레이퍼리(drapery)를 생성하며 작고 가늘고 긴 결함 부위를 복원하는 데 어려움을 겪는다. 또한, 문화유산의 디지털 복원은 최소 개입, 과정 추적성, 그리고 생성된 콘텐츠의 명시적 식별이라는 원칙을 준수해야 하는데, 표준 생성 모델들은 이를 제공하지 못하는 경우가 많다.

방법론

저자들은 FLUX.1-Fill 아키텍처를 기반으로 구조적 초기화와 영역 집중형 감독을 결结合한 2단계 프레임워크를 제안한다.

1. 데이터 준비

• 소스 도메인: 현대 의복 이미지를 처리하여 윤곽과 주름을 강조하는 선화(line drawings)와 구조적 텍스트 설명을 쌍으로 생성한다. 이는 학습에 사용된다.
• 타겟 도메인: Florence-2를 사용하여 당, 송, 원, 명, 청 시대의 고전 회화 데이터를 국소화하고, 단일 인물 세만틱 크롭(semantic crops) 및 512×512 디테일 패치를 추출한다. 결정적으로, 고전 회화 데이터는 모델 학습에서 제외되며, 오직 실제 손상 사례에 대한 타겟 도메인 평가 및 검증 용도로만 보존된다.

2. 1단계: Fashion LoRA (구조적 가이드)

고전 데이터의 쌍(paired data)이 부족한 문제를 해결하기 위해, 모델은 먼저 현대의 선화를 사용하여 의복 구조에 적응한다.

• 기법: 현대 의복 선화와 구조적 텍스트(트리거 토큰: "glineprior")로 학습된 저차원 적응(Low-Rank Adaptation, LoRA) 모듈인 Fashion LoRA를 사용한다.
• 목표: 이 단계는 모델에 의복의 윤곽, 밑단, 소매, 주름에 대한 구조적 편향을 초기화하여, 색상 복원을 시도하기 전에 의복 기하학의 통계적 규칙성을 학습할 수 있도록 한다.

3. 2단계: GR-FM (의복 영역 재가중치 적용 플로우 매칭)

두 번째 단계는 현대 의복을 대상으로 색상 인페인팅을 수행하여, 모델이 손상된 영역을 수리하는 특정 작업에 적응하도록 한다.

• 과제: 표준 플로우 매칭(Flow Matching, FM) 손실 함수는 모든 잠재 토큰(latent tokens)에 대해 오차를 균등하게 집계한다. 좁은 주름이나 가는 윤곽선 파손의 경우, 손상된 토큰은 전체에서 차지하는 비중이 매우 작기 때문에, 이들의 그래디언트(gradient)가 거대한 온전한 영역의 오차에 의해 희석된다.
• 해결책: 저자들은 **GR-FM (Garment Region-Reweighted Flow Matching)**을 도입한다.
  • 이진 손상 마스크를 잠재 토큰 그리드에 매핑한다.
  • 손상된 픽셀을 포함하는 잠재 토큰에는 $1 + \lambda_m$의 가중치를 부여하고, 온전한 토큰은 1의 가중치를 유지한다.
  • 손실 함수는 스케일 변화를 방지하기 위해 토큰 가중치의 합으로 정규화된다.
  • 이 재가중치 방식은 추론 시 별도의 모듈을 추가하지 않고도 작고 긴 결함에 대한 국소적 감독(supervision)을 강화한다.

4. 추론 및 합성

• 추론: 학습된 LoRA 어댑터를 고전 회화 패치에 적용한다. 모델은 손상된 입력, 마스크, 텍스트를 바탕으로 후보 복원물을 생성한다.
• 하드 마스크 합성(Hard-Mask Compositing): 추적성과 최소 개입을 보장하기 위해, 최종 출력은 수동으로 주석 처리된 손상 영역($M$) 내에서만 예측된 픽셀을 합성하고, 해당 영역 외의 원래 입력 픽셀은 그대로 유지함으로써 생성된다:
  $$I_{final} = I_{pred} \cdot M + I_{input} \cdot (1 - M)$$

주요 기여

1. 2단계 프레임워크: 구조적 초기화를 위한 Fashion LoRA(현대 선화 사용)와 작업 특화 색상 적응을 위한 GR-FM을 결합한 새로운 파이프라인을 제시한다.
2. GR-FM 손실 함수: 좁은 결함에 대한 감독 희석 문제를 구체적으로 해결하기 위해, 잠재 토큰의 속도장(velocity-field) 오차를 정규화하고 재가중치하는 플로우 매칭 손실을 제안한다.
3. 엄격한 실험 설계: 구조적 가이드와 영역 집중형 감독의 효과를 분리하기 위해, 세 개의 무작위 시드에 걸쳐 4가지 구성의 통제 실험(Fashion LoRA 초기화 및 GR-FM 사용 여부 변화)과 쌍체 통계 검정을 실시하였다.
4. 추적 가능한 복원: 하드 마스크 합성을 구현함으로써 모든 수정 사항이 주석 처리된 영역 내로 제한되도록 하여, 검토를 위한 명시적인 공간적 경계를 제공한다.

결과

본 연구는 고전 회화 타겟 도메인(참조 데이터가 있는 50개 샘플, 실제 손상된 20개 샘플)에서 LaMa, SDXL Inpainting, BrushNet-SDXL, FLUX-Fill Base 등의 베이스라인과 비교 평가되었다.

• 정량적 성능: 완전한 Fashion LoRA + GR-FM 구성은 고전 회화 평가 세트에서 Masked PSNR (22.779 dB), Masked SSIM (0.535), Masked LPIPS (0.379), Boundary F1 (0.549)에 대해 가장 우수한 평균 결과를 달성했다.
• 절제 실험 통찰:
  • Fashion LoRA: 주로 현대 의복 소스 도메인에서 에지 품질(BF1-2, BER)을 개선했다. 고전 회화 타겟 도메인에서는 그 이점이 지표에 따라 달랐으며 반드시 긍정적이지는 않았는데, 이는 소스 도메인의 구조적 편향이 역사적 양식으로 항상 직접 전달되지는 않음을 시사한다.
  • GR-FM: 더 안정적인 작업 적응력을 보여주었다. 특히 Fashion LoRA와 결합했을 때 두 도메인 모두에서 픽셀, 구조 및 지각적 지표를 유의미하게 개선했다.
  • 상호작作用: 통계적 검정 결과, 특정 지표에서 두 구성 요소 간의 유의미한 상호작용이 발견되었으며, 이는 이들이 단순히 가산적인 관계가 아니라 기능적으로 상호 의존적임을 나타낸다.
• 민감도 분석: 재가중치 계수($\lambda_m$)를 0에서 50까지 테스트했다. 에지 복원(BF1-2)은 $\lambda_m = 10$ 부근에서 포화되었으나, 픽셀 및 지각적 지표는 점진적으로 계속 개선되었다. 구조적 복원과 지각적 품질 사이의 균형을 맞춘 적절한 설정값으로 $\lambda_m = 20$이 선택되었다.

의의 및 주장

본 논문은 문화유산의 생성적 복원을 위한 실용적이고 제어 가능하며 확장 가능한 기술적 프레임워크를 제공한다고 주장한다.

• 구조 vs 콘텐츠: 본 연구는 구조적 초기화(Fashion LoRA)와 감독 재분배(GR-FM)를 구분하며, 현대 데이터로부터의 구조적 사전 지식이 도움이 되기는 하지만, 재가중치 메커니즘이 타겟 도메인 성능을 위한 더 안정적인 핵심임을 보여준다.
• 감사 가능성(Auditability): 하드 마스크 합성을 사용하고 출력을 확정적인 역사적 재구성물이 아닌 "디지털 복원 후보"로 취급함으로써, 최소 개입 및 과정 추적성이라는 보존 원칙에 부합한다.
• 한계점: 저자들은 자동 에지 추출이 아티팩트를 유발할 수 있다는 점과 현대의 선화가 복잡한 역사적 드레이퍼리 관습(예: 풍성한 소매)을 완전히 포착할 수 없다는 점을 인정한다. 또한 현재의 작업은 곤충 피해와 같은 복잡한 열화 패턴보다는 선형적이고 국소적인 손상을 시뮬레이션한다는 점을 명시한다.

제안된 방법은 보존 전문가의 판단을 대체하는 것이 아니라, 이를 지원하는 구조 제약적이고 감사 가능한 복원 후보를 생성하는 경로를 제시한다.