FontUse: A Data-Centric Approach to Style- and Use-Case-Conditioned In-Image Typography

이 논문은 구조화된 주석 파이프라인을 통해 7 만 건의 타이포그래피 데이터셋 'FontUse'를 구축하고, 이를 기반으로 기존 이미지 생성 모델을 아키텍처 변경 없이 폰트 스타일과 사용 사례 조건에 맞춰 텍스트를 일관되게 생성하도록 미세 조정하는 데이터 중심 접근법을 제안합니다.

핵심

1. 문제점: AI 는 그림은 잘 그리는데, 글씨는 '귀신' 같아

지금까지의 AI(예: DALL-E 3, 미드저니 등) 는 "고양이 그림 그려줘"라고 하면 정말 예쁜 고양이를 그려줍니다. 하지만 **"고양이 위에 '나비'라고 예쁜 손글씨로 써줘"**라고 하면 어떨까요?

• AI 는 종종 글자가 엉망이 되거나, "나비" 대신 "나비비"라고 잘못 씁니다.
• 더 큰 문제는 **"어떤 스타일의 글씨로 써야 하는지"**를 잘 모른다는 것입니다. "우아하게 써줘"라고 하면 그냥 평범한 글씨를 쓰거나, 아예 무시해버립니다.

이유는 무엇일까요? AI 가 배우는 데이터에는 **"이 글자는 '우아한' 스타일이고, '웨딩카드'에 쓰이기 좋다"**라는 정보가 빠져있기 때문입니다. AI 는 그림 자체는 잘 보지만, 글씨의 '성격'과 '용도'를 구분하는 법을 몰랐던 것입니다.

2. 해결책: '폰트 사용 (FontUse)' 데이터의 마법

저자들은 AI 의 구조를 바꾸는 대신, AI 가 배울 수 있는 '교과서'를 새로 만들었습니다. 이것이 바로 FontUse입니다.

📚 비유: 요리사 (AI) 와 레시피 (데이터)

• 기존 상황: 요리사 (AI) 가 재료를 보고 요리를 만들 수는 있지만, "이 요리는 '신혼여행'용이고 '우아한' 맛이어야 해"라고 말하면, 요리사는 "아, 그래?" 하고 대충 만들어버립니다. 왜냐하면 레시피에 그런 설명이 없기 때문입니다.
• FontUse 의 접근: 연구팀은 7 만 장이 넘는 그림을 모아서, 각 그림에 정교한 레시피를 붙였습니다.
  • "이 글자는 손글씨 스타일이고, 카페 메뉴판에 쓰기 딱 좋아."
  • "이 글자는 기하학적 디자인이고, 미래 기술 회사 로고에 어울려."

이렇게 **글자의 모양 (스타일)**과 **어디에 쓸지 (용도)**를 짝지어 가르쳐주니, AI 는 이제 "아! 이 상황엔 이 글씨체가 필요하구나!"라고 정확히 이해하게 된 것입니다.

3. 어떻게 만들었나? "AI 교사"들의 협업

사람이 7 만 장의 그림을 하나하나 분석하고 설명을 적는 건 불가능합니다. 그래서 연구팀은 AI 교사들을 투입했습니다.

1. 찾아내기 (Hi-SAM): 그림 속 글씨가 있는 부분을 찾아냅니다. (마치 그림에서 글씨만 잘라내는 가위 역할)
2. 읽어내기 (OCR): 잘라낸 글씨가 무슨 단어인지 읽어냅니다. (예: "Latte"라고 읽음)
3. 설명하기 (MLLM): 가장 중요한 단계입니다. **거대 언어 모델 (AI)**에게 "이 글씨를 본다면 어떤 느낌이고, 어디에 쓰면 좋을까?"라고 물어봅니다.
   • AI 교사는 "이 글씨는 장난기 많고 귀여운 느낌이야. 어린이 책 표지나 아이스크림 가게에 쓰면 딱이야!"라고 자동으로 설명문을 작성합니다.

이 과정을 통해 7 만 장의 그림에 스타일과 용도가 적힌 완벽한 레시피가 붙게 되었습니다.

4. 결과: 무엇이 달라졌나?

이 새로운 '레시피'로 AI 를 다시 훈련시키니 놀라운 변화가 일어났습니다.

• 정확한 스타일: "우아한 웨딩카드"를 요청하면, AI 는 진짜 우아하고 고급스러운 글씨체를 선택합니다. "호러 영화 포스터"를 요청하면, 으스스하고 찢어진 듯한 글씨를 그립니다.
• 용도 파악: 같은 "Latte"라는 단어라도, 카페 메뉴용이라면 손글씨로 따뜻하게, 기술 회사용이라면 깔끔하고 각진 글씨로 바꿔줍니다.
• 가독성 유지: 글씨체를 아무리 예쁘게 변형해도, 사람들이 읽을 수 있는 정도는 유지됩니다.

5. 요약: 왜 이 연구가 중요할까?

기존에는 AI 가 그림을 그릴 때 글씨를 넣는 게 '운'에 맡겨져 있었습니다. 하지만 FontUse는 AI 에게 **"글씨도 그림의 일부이며, 그 글씨에는 스타일과 쓰임새가 있다"**는 것을 가르쳤습니다.

이제 우리는 AI 에게 "내 브랜드에 딱 맞는, 고급스러운 글씨로 로고를 만들어줘"라고 말하면, AI 는 그 요구사항을 정확히 이해하고 실행해낼 수 있게 되었습니다. 이는 디자인 분야에서 AI 가 단순한 그림 도구를 넘어, 실제 디자이너의 파트너가 될 수 있는 중요한 첫걸음입니다.

---

한 줄 요약:

"AI 가 그림 속 글씨를 그릴 때, **'어떤 스타일'로 '어디에 쓸지'**를 정확히 가르쳐주니, 이제 우리가 원하는 대로 완벽한 글씨를 만들어낸다는 이야기입니다."

기술 요약

1. 문제 정의 (Problem)

최근 텍스트 - 이미지 생성 모델 (Text-to-Image Models) 은 자연어 프롬프트를 통해 고품질의 이미지를 생성할 수 있게 되었으나, 이미지 내 텍스트 (Typography) 의 정밀한 제어는 여전히 큰 과제로 남아있습니다.

• 현재 한계: 사용자가 요청한 폰트 스타일 (예: 세리프, 손글씨, 우아함) 이나 사용 목적 (예: 웨딩 초대장, 카페 메뉴판) 을 모델이 제대로 반영하지 못하거나, 매우 약하게만 반영합니다.
• 근본 원인: 기존 학습 데이터는 텍스트의 위치나 내용 (OCR) 에 대한 정보는 제공하지만, 디자인 의도 (스타일, 사용 맥락) 를 구조화하여 지도 학습 (Supervision) 하는 데이터가 부족합니다. 이로 인해 모델은 텍스트의 미적 속성과 맥락을 일관되게 이해하지 못합니다.

2. 방법론 (Methodology)

저자들은 모델 아키텍처를 변경하는 대신, 데이터 중심 (Data-Centric) 접근법을 채택하여 기존 생성 모델을 파인튜닝 (Fine-tuning) 하는 방식을 제안합니다.

A. 데이터셋 구축: FontUse

• 규모: 약 70,000 개의 이미지로 구성된 대규모 타이포그래피 특화 데이터셋입니다.
• 자동화 파이프라인:
  1. 텍스트 영역 탐지: Hi-SAM 모델을 사용하여 이미지 내 텍스트 영역을 감지하고 바운딩 박스를 생성합니다.
  2. OCR 및 텍스트 인식: 멀티모달 대형 언어 모델 (MLLM, GPT-4o 등) 을 활용하여 복잡한 스타일의 텍스트도 정확하게 인식합니다.
  3. 구조화된 주석 (Annotation): MLLM 을 사용하여 각 이미지에 대해 다음 두 가지 축으로 프롬프트를 자동 생성합니다.
     • 폰트 스타일 (Font Style): 시각적 특성 (세리프, 손글씨, 3D 효과, 굵기 등) 을 설명.
     • 사용 사례 (Use Case): 실제 적용 맥락 (웨딩, 브랜드 로고, 포스터 등) 을 설명.
  • 주석 형식: JSON 구조로 suitable-for, usecases, styles, colors 필드를 포함하여 모델이 명확하게 학습할 수 있도록 합니다.

B. 학습 및 파인튜닝

• 모델: AnyText, TextDiffuser-2, Stable Diffusion 3 등 기존 텍스트 생성 가능 모델에 적용합니다.
• 방식: 생성된 구조화된 주석 (스타일 + 사용 사례) 을 조건부 텍스트 (Conditioning Text) 로 사용하여 모델을 파인튜닝합니다. 아키텍처 수정 없이 기존 모델의 능력을 향상시킵니다.
• 적용 시나리오:
  • Inpainting: 기존 이미지의 특정 영역에 지정한 스타일과 맥락에 맞는 텍스트 삽입.
  • Image Generation: 텍스트가 포함된 전체 이미지 생성.

C. 평가 지표 (Evaluation Metrics)

• Long-CLIP 기반 정렬 지표: 생성된 텍스트 이미지와 요청된 스타일/사용 사례 프롬프트 간의 정렬 (Alignment) 정도를 측정하기 위해, 데이터셋으로 파인튜닝된 Long-CLIP 모델을 사용합니다.
• MLLM 기반 쌍별 선호도 평가: GPT-4o 와 Gemini 2.5 Pro 를 활용하여 생성된 텍스트가 프롬프트를 얼마나 잘 따르는지 인간 평가와 비교합니다.
• 가독성 (Legibility): 생성된 텍스트의 오타율을 문자 오류율 (CER) 로 측정합니다.

3. 주요 기여 (Key Contributions)

1. 통제 가능한 타이포그래피 생성 프레임워크: 폰트 스타일과 사용 사례라는 두 가지 보완적인 축을 통해 이미지 내 텍스트 생성을 정밀하게 제어할 수 있는 방법을 제시했습니다.
2. 확장 가능한 주석 파이프라인 및 대규모 데이터셋 (FontUse): MLLM, 세그멘테이션, OCR 을 통합하여 약 70,000 개의 구조화된 타이포그래피 데이터셋을 자동 구축했습니다.
3. 타이포그래피 특화 평가 프로토콜: Long-CLIP 기반의 정렬 지표와 MLLM 기반의 쌍별 선호도 평가 방식을 도입하여, 기존 모델보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 성능: 파인튜닝된 모델들은 AnyText, TextDiffuser-2, SD-3 등의 베이스라인 모델보다 Long-CLIP 정렬 점수와 MLLM 선호도에서 압도적으로 높은 점수를 기록했습니다.
  • 예: AnyText 기반 모델의 Long-CLIP 점수가 0.39 에서 0.63 으로 크게 향상되었습니다.
• 가독성 유지: 스타일과 맥락을 더 잘 반영하게 되었음에도 불구하고, 생성된 텍스트의 가독성 (CER) 은 오히려 개선되거나 유지되었습니다.
• 맥락 적응성: 동일한 폰트 스타일 프롬프트에 사용 사례 (예: "카페 메뉴판" vs "고급 레스토랑") 를 다르게 입력했을 때, 제안된 방법은 맥락에 맞는 글자 형태와 분위기를 변화시켰으나, 기존 베이스라인 모델은 거의 변화가 없었습니다.
• 효과적 평가: 파인튜닝된 Long-CLIP 은 관련 없는 텍스트와 구별하는 능력이 기존 CLIP 보다 월등히 뛰어났으며, MLLM 평가 결과도 인간 전문가의 평가와 높은 일치도를 보였습니다.

5. 의의 및 결론 (Significance)

• 데이터의 중요성 강조: 타이포그래피 제어의 병목 현상은 모델의 용량 부족이 아니라, 타이포그래피 의도에 맞춘 지도 신호 (Supervision) 의 부재에 있음을 입증했습니다.
• 범용성: 제안된 데이터 중심 접근법은 특정 아키텍처에 의존하지 않으므로 다양한 확산 (Diffusion) 모델에 적용 가능하여, 디자인 분야에서 텍스트 생성의 실용성을 크게 높였습니다.
• 미래 전망: 현재는 영어 타이포그래피에 집중되어 있으나, 이 프레임워크는 다국어 확장 및 더 복잡한 디자인 요구사항을 충족하는 데 기초가 될 수 있습니다.

이 논문은 단순히 텍스트를 이미지 위에 올리는 것을 넘어, 디자인 의도 (스타일과 맥락) 를 이해하고 구현하는 진정한 의미의 타이포그래피 생성 시스템을 가능하게 했다는 점에서 의의가 큽니다.