기술 요약: InkDiffuser

문제 제기

소수 샷(few-shot) 및 원샷(one-shot) 설정에서 중국 서예를 생성하는 기존 방법들은 시각적 충실도와 예술적 진정성 측면에서 중대한 한계를 겪고 있습니다. 기존 접근법 (GAN 기반 및 확산 기반 모두) 은 구조적으로 그럴듯한 글자를 합성할 수 있지만, 실제 붓글씨의 특징인 복잡한 **먹의 형태 (ink morphology)**를 재현하는 데는 실패하는 경우가 많습니다. 구체적으로 이러한 방법들은 지나치게 디지털적이고 평면적이거나 흐릿한 출력을 생성하는 경향이 있으며, 진정한 서예에서 발견되는 정교한 먹의 번짐, 획의 가장자리 변화, 그리고 먹과 종이 간의 자연스러운 상호작용이 결여되어 있습니다. furthermore, 확산 모델의 표준 콘텐츠 인코더들은 저주파 특징을 우선시하는 경향이 있어 날카로운 모서리나 획의 가장자리와 같은 고주파 구조적 세부 사항이 손실됩니다. 이는 복잡한 한자의 경우 특히 치명적입니다.

방법론

저자들은 원샷 중국 서예 합성을 위해 설계된 확산 기반 이미지 - 투 - 이미지 프레임워크인 InkDiffuser를 제안합니다. 이 프레임워크는 Denoising Diffusion Probabilistic Model(DDPM) 을 기반으로 구축되었으며, aforementioned 한계들을 해결하기 위해 두 가지 핵심 메커니즘을 도입합니다:

1. 시공간 적응형 융합 (STAF) 모듈

고주파 구조적 세부 사항의 손실을 상쇄하기 위해 InkDiffuser 는 콘텐츠 스트림을 위한 이중 인코더 아키텍처를 사용합니다:

• 이중 인코딩: 주 인코더 ($E_c$) 가 표준 콘텐츠 이미지를 처리하는 반면, 전용 고주파 인코더 ($E_{hf}$) 는 콘텐츠 이미지의 고역 통과 필터링 (Sobel 엣지) 버전을 처리합니다.
• 잔차 융합: STAF 모듈은 잔차 프레임워크를 통해 이러한 특징들을 융합합니다. 이 모듈은 콘텐츠 백본에 계층적으로 조절된 세부 사항 증분을 추가하도록 학습합니다.
• 적응형 제어: 융합은 3 차원 제어 메커니즘에 의해 통제됩니다:
  • 공간적: 픽셀 단위 주의도 맵은 획의 가장자리와 같은 중요한 영역에만 고주파 세부 사항을 주입하고 매끄러운 영역의 노이즈는 억제하도록 보장합니다.
  • 레이어 단위: 가중치는 미세한 세부 사항 주입을 위해 얕은 고해상도 레이어를 선호하도록 할당되며, 깊은 레이어에서는 의미적 무결성을 유지합니다.
  • 시간적: 융합 강도는 확산 시간 단계에 의해 조절되어, 초기의 고노이즈 단계 동안 강력한 구조적 안내를 제공하고 이미지가 선명해짐에 따라 약화되어 아티팩트를 방지합니다.

2. 미분 가능한 먹 구조 (DIS) 손실

먹의 형태를 명시적으로 정규화하고 붓과 같은 특징의 엔드 - 투 - 엔드 최적화를 가능하게 하기 위해 저자들은 DIS 손실을 제안합니다. 이 손실은 부드러운 미분 가능한 형태학적 연산을 사용하여 먹 생성 문제를 세 가지 목표로 분해합니다:

• 미분 가능한 형태학: 전통적인 형태학적 연산 (침식/팽창) 은 미분 불가능한 최소/최대 함수에 의존합니다. InkDiffuser 는 온도 매개변수 $\tau$로 스케일된 시그모이드 함수를 사용하여 이를 근사화하여 형태학적 분석을 통해 기울기가 흐르도록 합니다.
• 3 성분 손실:
  1. 핵심 구조 일관성 ($L_c$): 부드러운 침식을 사용하여 획의 핵심을 분리하여 확산 효과 하에서도 골격 구조가 정확하게 유지되도록 보장합니다.
  2. 확산 경계 일관성 ($L_b$): 부드러운 팽창과 침식 사이의 차이를 사용하여 경계 마스크를 생성하며, 먹이 번지는 영역에 초점을 맞춰 확산의 범위를 제어합니다.
  3. 확산 부드러움 ($L_{lap}$): 생성된 이미지와 목표 이미지 간의 엣지 응답 차이를 최소화하기 위해 라플라시안 연산자를 사용하여 실제 먹에서 전형적인 매끄럽고 둥근 전환을 장려합니다.
• 원형 구조 요소: 서예 곡선의 자연스러운 부드러움을 보존하기 위해 전통적인 정사각형 커널 대신 원형 커널이 사용됩니다.

총 학습 목적 함수는 표준 확산 MSE 손실, 지각 손실 (VGG 기반), 그리고 가중치 부여된 DIS 손실을 결합합니다.

주요 기여

1. InkDiffuser 프레임워크: 정교한 구조적 무결성 보존과 사실적인 먹 번짐 역학 렌더링 사이의 균형을 효과적으로 유지하는 새로운 원샷 생성 프레임워크.
2. 시공간 적응형 융합 (STAF): 콘텐츠 이미지에서 고주파 성분을 추출 및 융합하여 획 표현을 강화하고 복잡한 글자의 합성을 크게 개선하는 모듈.
3. 미분 가능한 먹 구조 (DIS) 손실: 부드러운 형태학적 연산자를 포함하여 먹 흔적 분해 (핵심 대 경계) 에 대한 명시적 지도를 제공하는 맞춤형 손실 함수로, 모델이 엔드 - 투 - 엔드 방식으로 사실적인 먹 번짐과 경계 제어를 학습할 수 있게 함.

실험 결과

저자들은 293 개의 중국 폰트 데이터셋을 보임 (seen) 과 보지 못함 (unseen) 세트로 나누어 InkDiffuser 를 평가했으며, 두 가지 평가 벤치마크인 UFUC(보지 못한 폰트, 보지 못한 문자) 와 UFSC(보지 못한 폰트, 보임 문자) 를 사용했습니다.

• 정량적 성능: InkDiffuser 는 두 벤치마크 모두에서 다섯 가지 지표 (LPIPS, SSIM, L1, RMSE, PSNR) 에서 모두 최첨단 성능을 달성했습니다. 특히 도전적인 UFUC 설정에서 가장 강력한 베이스라인 (FontDiffuser) 대비 SSIM 을 0.0242 향상시키고 L1 오차를 0.0072 감소시켰습니다.
• 정성적 성능: 시각적 비교 결과, InkDiffuser 는 GAN 기반 (예: CF-Font, IF-Font) 및 기타 확산 기반 방법 (예: FontDiffuser, MXFont++) 에 비해 우수한 구조적 일관성과 더 선명한 획 렌더링을 가진 문자를 생성함을 보여주었습니다. 생성된 출력물은 더 진정한 먹 번짐을 보였으며, 획 누락이나 흐림과 같은 아티팩트가 적었습니다.
• 어블레이션 연구:
  • STAF 모듈은 누락된 위상학적 세부 사항을 복원함으로써 구조적 지표 (SSIM, L1) 를 크게 향상시키는 것으로 나타났습니다.
  • DIS 손실은 특히 사실적인 먹 스며듦을 합성하는 데 있어 지각적 품질 (LPIPS) 과 시각적 진정성을 개선하는 데 결정적이었습니다.
  • 두 모듈의 조합은 최상의 결과를 낳았는데, STAF 는 구조적 선명도를 제공하고 DIS 는 이러한 가장자리를 부드럽게 하여 자연스러운 먹 흐름에 맞추었습니다.
• 하이퍼파라미터 민감도: 실험에 따르면 DIS 손실 가중치 ($\lambda_{dis}$) 가 0.02 일 때 구조적 충실도와 먹의 사실성 사이의 최적의 균형을 제공했습니다. 더 높은 가중치는 모델이 내용보다 스타일을 우선시하게 만들어 구조적 저하를 초래했습니다.

중요성과 주장

본 논문은 InkDiffuser 가 디지털 생성과 붓글씨의 물리적 현실 사이의 격차를 직접 해결함으로써 중국 서예 합성 분야에서 중요한 진전을 이루었다고 주장합니다. 고주파 구조적 단서와 미분 가능한 먹 형태를 명시적으로 모델링함으로써, 이 방법은 이전 작품들의 "평면적"이거나 "디지털적인" 외관을 극복합니다. 저자들은 그들의 접근 방식이 특히 획 상호작용이 밀집된 복잡한 문자의 경우 구조적 정확도와 시각적 먹의 사실성 모두에서 최첨단 성능을 달성한다고 주장합니다. 이 연구는 미세한 텍스처 및 경계 역학 제어가 필요한 고희실도 예술적 스타일을 생성하기 위해 확산 모델에 명시적인 형태학적 사전 지식을 통합하는 것이 가능하고 효과적인 전략임을 입증합니다.