기술 요약: 교차 도메인 스타일 전이를 활용한 확산 기반 우크라이나어 필기 텍스트 생성

문제 제기

작가 스타일에 조건부인 필기 텍스트 생성 (HTG) 은 라틴 문자, 특히 영어에 대해서는 크게 발전했으나, 저자원 및 비라틴 문자 체계에 대해서는 여전히 미탐구 상태로 남아있다. 기존 소수 샷 (few-shot) 작가 인식 확산 모델이 라틴 도메인을 넘어 우크라이나어 키릴 문자와 같은 문자 체계로 일반화될 수 있는지 이해하는 데에는 중요한 격차가 존재한다. 이 전이는 문자 집합의 차이, 획 패턴의 차이, 그리고 우크라이나어용 대규모 작가 라벨링 데이터셋의 부재로 인해 단순하지 않다. furthermore, 현재 모델이 문자 고유의 규칙성을 포착하는지, 아니면 전이 가능한 필기 스타일 표현을 학습하는지 여부는 명확하지 않다.

방법론

데이터셋 구축

데이터 부족 문제를 해결하기 위해 저자들은 UkrHandwritten 줄 단위 말뭉치에서 파생된 308 명의 작가로부터 126,177 개의 이미지를 포함하는 우크라이나어 단어 단위 필기 텍스트 데이터셋을 구축하였다. 구축 파이프라인은 다음과 같은 과정을 거쳤다:

1. 사전 분할 정제: 우연한 스타일 특징으로 학습될 수 있는 옅은 밑줄 아티팩트를 제거하기 위해 NAFNet 복원 네트워크를 적용하였다.
2. 연결 성분 분할: Otsu 이진화와 OpenCV 를 사용하여 8 픽셀 이내의 성분을 병합한 후, $N-1$개의 가장 넓은 그룹 간 간격을 단어 경계로 선택하는 맞춤형 파이프라인을 사용하였다. 이는 수직 투영 방법 (71.7%) 을 크게 능가하는 95.7% 의 완벽한 경계 일치율을 달성하였다.
3. 품질 필터링: 5 단계 파이프라인을 통해 라틴 문자, 문장 부호 오류, 극단적인 종횡비, 낮은 신뢰도의 OCR 매칭이 포함된 샘플을 제거하였다. 짧은 기능어의 거부를 방지하기 위해 길이 계층화 유사도 임계값을 적용하였다.
4. 균형 조정: 희귀 우크라이나 문자 (예: ф, ґ, Щ, Є, Ц, ї) 가 적절히 표현되도록 컷을 2~5 회 복제하여 과대표집 (oversampling) 하였다.

모델 아키텍처

본 연구는 아키텍처 수정 없이 소수 샷 잠재 확산 모델인 DiffusionPen을 활용하였다.

• 베이스: 고정된 Stable Diffusion v1.5 VAE 의 4×8×32 잠재 공간에서 작동하는 조건부 잠재 확산 모델.
• 조건부 입력:
  • 텍스트: 키릴 유니코드 코드포인트를 네이티브로 지원하는 CANINE 문자 단위 인코더를 통해 인코딩된 후 U-Net 차원으로 투영됨.
  • 스타일: 고정된 MobileNetV2 삼중 손실 (triplet-loss) 인코더에서 유도된 연속 스타일 임베딩 ($s \in \mathbb{R}^{1280}$) 으로, 다섯 개의 참조 이미지에서 평균 풀링됨.
  • 작가 ID: 스타일 임베딩과 합해진 학습된 레이블 임베딩.
• 학습: 모델은 표준 LDM 노이즈 예측 목적 함수를 사용하여 새로운 데이터셋에서 200 에포크 동안 학습되었다. 텍스트 조건부 입력에는 분류기 없는 안내 (CFG, $p_{drop}=0.2$) 가 적용되었으나, 스타일 조건부 입력은 절대 드롭되지 않았다.

평가 프로토콜

저자들은 교차 도메인 일반화를 테스트하기 위해 세 가지 다른 설정에서 모델을 평가하였다:

1. 교차 언어 전이: IAM 영어 필기 데이터베이스의 스타일 참조를 사용하여 우크라이나어 단어를 생성.
2. 역사적 전이: 20 세기 초 우크라이나어 필사본 (다른 잉크, 종이, 글자 형태) 의 스타일 참조를 사용하여 텍스트 생성.
3. 소수 샷 모방: RUKOPYS 데이터셋의 보지 못한 동시대 작가들을 위한 텍스트 생성.

주요 결과

정량적 성능

• 시각적 품질: 모델은 308 명의 작가에 걸친 5,000 개의 샘플에서 **23.09 의 Fréchet Inception Distance (FID)**를 달성하였다. 이는 DiffusionPen 의 영어 IAM 데이터셋 성능 (2025) 과 유사하여, 라틴 문자 최첨단 수준과 견줄 만한 시각적 품질을 나타낸다.
• 가독성: 키릴 TrOCR 모델로 측정한 문자 오류율 (CER) 은 전체적으로 **16.0%**였다.
  • 외부 어휘 (OOV): 15.6% (어휘 내 16.5% 보다 낮음) 로, 모델이 어휘를 암기하는 것이 아니라 보지 못한 시퀀스로 일반화함을 확인함.
  • 희귀 문자: 희귀 문자와 일반 문자 간의 CER 격차는 1.4% 포인트 (17.2% 대 15.8%) 에 불과하여, 표적 과대표집의 효과를 입증함.
  • 길이 의존성: 성능은 단어 길이에 따라 변했는데, 46 자 범위에서 가장 좋은 결과 (10.8% CER) 를 보였으며, 매우 짧은 단어 (13 자, 42.7% CER) 에서는 오류가 더 높았다. 이는 주로 단일 문자 단어에 대한 인식기의 한계로 귀결됨.

제거 실험 (Ablation Studies)

• 데이터셋 크기 대 순도: 더 크고 노이즈가 많은 데이터셋 (67K 샘플) 이 더 작고 초순수한 데이터셋 (12.8K 샘플) 보다 성능이 우수하여, 확산 기반 HTG 에서는 순도보다 다양성이 지배적임을 확인함.
• 분할 품질: 수직 투영에서 연결 성분 분할로 전환하면 검증 MSE 가 0.0787 에서 0.0658 로 감소하여, 단일 최대 개선 요인으로 식별됨.
• 아키텍처: U-Net 레벨당 잔차 블록 수를 1 에서 2 로 증가시켜 (Stable Diffusion v1.5 사양과 일치) MSE 를 추가로 감소시키고 글리프 선명도를 향상시킴.

교차 도메인 전이

모델은 상당한 도메인 변화를 넘어 스타일을 성공적으로 전이하였다:

• 영어에서 우크라이나어로: IAM 데이터셋의 영어 작가들의 획 두께, 각도, 간격을 시각적으로 재현한 우크라이나어 단어를 생성함.
• 역사에서 현대로: 20 세기 필사본의 서예적 특성 (더 넓은 획, 공식적인 비율) 을 채택하면서도 현대적인 문자 형태를 생성함.
• 보지 못한 작가들: RUKOPYS 데이터셋의 작가들의 기울기와 획 두께를 미세 조정 없이 모방하여, 견고한 소수 샷 일반화를 입증함.

의의 및 주장

본 논문은 소수 샷 잠재 확산 모델이 라틴 문자 도메인을 넘어 우크라이나어 키릴 문자로 일반화할 수 있다는 최초의 경험적 증거를 제공한다고 주장한다. 주요 기여점은 다음과 같다:

1. 새로운 벤치마크: 중요한 자원 격차를 해소하는 126K 샘플, 작가 라벨링 우크라이나어 단어 단위 데이터셋의 공개.
2. 입증된 전이 가능성: 라틴 문자로 학습된 모델이 아키텍처 변경 없이 키릴 문자에 적응할 수 있으며, 언어, 역사적 시기, 보지 못한 작가 간에 의미 있는 스타일 전이 능력을 유지함을 입증.
3. 방법론적 통찰: 생성 품질에 데이터 순도보다 데이터셋 다양성과 분할 품질이 더 중요하며, U-Net 잔차 블록 수를 기본 확산 모델과 일치시키는 것이 결과를 개선함을 확립.

저자들은 희귀 문자와 우크라이나어 아포스트로피와 관련하여 여전히 한계가 존재하지만, 이 연구가 다른 소외된 문자 체계로 스타일화된 HTG 를 확장할 수 있는 실행 가능한 기반을 제공한다고 결론지었다.