기술 요약: 오픈-어휘 장면 텍스트 편집을 위한 자기-프롬핑 확산 트랜스포머

1. 문제 정의

장면 텍스트 편집은 자연 장면 이미지 내의 텍스트 콘텐츠를 수정하면서도 글립의 정확성과 주변 컨텍스트의 시각적 일관성 (스타일, 질감, 색상) 을 엄격히 유지하는 것을 목표로 합니다. 기존 접근법은 주로 이미지 인페인팅 형식에 기반하고 있으며, 두 가지 주요 한계를 겪고 있습니다:

1. 원본 스타일 손실: 대상 텍스트 영역을 채워야 할 빈 캔버스로 취급함으로써 이러한 방법들은 텍스트의 원본 시각 정보를 폐기합니다. 결과적으로 생성된 텍스트는 편집 전 스타일을 유지하지 못하고, 대신 주변 배경에서 스타일적 단서를 차용하는 경향이 있습니다.
2. 제한된 어휘와 일반화: 사전 훈련된 광학 문자 인식 (OCR) 모델을 글립 인코더로 사용하는 방법들은 고정된 어휘에 의해 제약받아 희귀 언어나 표의문자 스크립트를 편집하는 능력이 제한됩니다. 반면, 글립 인코더를 처음부터 훈련하는 방법들은 방대한 데이터셋이 필요하며 복잡한 스크립트에 필요한 세밀한 획 수준의 디테일을 포착하는 데 종종 어려움을 겪습니다.

2. 방법론

본 논문은 추가적인 스타일 또는 글립 인코더를 도입하지 않고 컨텍스트 내 학습 (In-Context Learning) 을 활용하여 오픈-어휘 텍스트 편집을 달성하는 자기-프롬핑 확산 트랜스포머 (Self-Prompting Diffusion Transformer) 프레임워크를 제안합니다. 핵심 아키텍처는 멀티-모달 확산 트랜스포머 (MM-DiT) 인 FLUX-Fill을 기반으로 구축됩니다.

2.1. 자기-프롬핑 메커니즘

외부 인코더에 의존하는 대신, 이 방법은 입력 이미지와 대상 텍스트에서 직접 프롬프트를 구성합니다:

• 스타일 프롬프트: 원본 대상 텍스트 영역을 입력 이미지에서 잘라내어 시각적 스타일 프롬프트 ($I_s$) 를 생성합니다. 이는 고유한 색상, 질감, 글꼴 및 지역 조명을 포착합니다. 이에 대응하는 텍스트 스타일 프롬프트는 CLIP 텍스트 인코더를 사용하여 인코딩됩니다.
• 글립 프롬프트: 표준 라이브러리를 사용하여 대상 텍스트 문자열을 고대비 단일 라인 글립 맵 (흰색 배경에 검은색 글자) 으로 렌더링하여 시각적 글립 프롬프트 ($I_g$) 를 생성합니다. 이는 명시적인 획 수준의 구조적 지침을 제공합니다. 텍스트 글립 프롬프트는 T5 텍스트 인코더를 사용하여 인코딩됩니다.
• 입력 구성: 마스킹된 이미지, 시각적 스타일 프롬프트, 그리고 시각적 글립 프롬프트가 채널 차원을 따라 연결되어 MM-DiT 백본을 위한 복합 시각 입력을 형성합니다.

2.2. 2 단계 훈련 전략

일반화와 스타일 일관성 사이의 균형을 맞추기 위해 저자들은 2 단계 훈련 파이프라인을 사용합니다:

1. 자기지도 사전 훈련: 모델은 대규모 AnyWord-3M 데이터셋에서 먼저 훈련됩니다. 이 단계에서 모델은 특정 텍스트 스타일에 과적합되지 않고 자기지도 신호를 사용하여 기본적인 텍스트 인페인팅 능력과 획 수준 표현을 학습합니다.
2. 쿨다운 훈련: 스타일 보존을 정교하게 하기 위해 모델은 4,000 개의 페어 이미지로 구성된 작고 큐레이션된 데이터셋에서 2 단계 훈련을 거칩니다. 이러한 페어는 텍스트가 스타일 일관성을 유지하면서 교체된 원본 이미지와 해당 편집 버전으로 구성됩니다.
   • 목표: MECO 에서 영감을 받아, 이 단계는 원본 텍스트 영역을 메타 정보로 취급합니다. 훈련 목표는 소스 잠재 (원본 텍스트) 와 타겟 잠재 (편집된 텍스트) 사이의 속도 장을 최소화하여 모델이 스타일 보존과 콘텐츠 재생성을 분리하도록 장려합니다.
   • 데이터 구성: 페어 데이터셋은 명령 기반 이미지 편집 모델 (Nano Banana Pro) 을 사용하여 생성되었으며, 비대상 영역이 변경되지 않고 스타일 일관성이 유지되도록 인간 주석자에 의해 엄격하게 필터링되었습니다.

3. 주요 기여

• 컨텍스트 내 학습을 통한 오픈-어휘 편집: 이 방법은 문자 수준의 OCR 기능에 의존하는 대신 렌더링된 글립 이미지에서 획 수준 특징을 포착함으로써 오픈-어휘 능력을 달성합니다. 이는 고정된 어휘와 추가적인 글립 인코더의 필요성을 제거합니다.
• 추가 인코더 없이 스타일 일관성 달성: 원본 이미지에서 직접 스타일 프롬프트를 구성하고 페어 데이터에 대한 쿨다운 훈련을 활용함으로써, 추가적인 스타일 특정 인코더를 도입하지 않고도 원본과 편집된 텍스트 간의 엄격한 스타일 일관성을 보장합니다.
• 최첨단 성능: 광범위한 실험은 태국어, 아랍어, 중국어와 같은 복잡한 스크립트를 포함한 13 개 언어에서 텍스트 정확도와 스타일 충실도 모두에서 우수한 성능을 입증했습니다.

4. 실험 결과

이 방법은 AnyText-benchmark(중국어/영어) 와 새로 구축된 MST-Edit 데이터셋 (11 개 추가 언어 포함) 에서 평가되었습니다.

• 정량적 성능: AnyText-benchmark 에서 제안된 방법은 모든 지표에서 최상의 결과를 달성했습니다.
  • 영어: 문장 정확도 (Sen. Acc) 가 0.8857(2 위인 TextFlux 의 0.8231 대비) 이었고 FID 는 7.62였습니다.
  • 중국어: Sen. Acc 는 0.8249였고 FID 는 7.95였습니다.
  • 이 방법은 베이스라인에 비해 FID 와 LPIPS 점수를 크게 감소시켜 우수한 시각적 충실도와 스타일 일관성을 나타냈습니다.
• 다국어 강건성: MST-Edit 데이터셋에서 이 방법은 평가된 11 개 언어 전반에 걸쳐 OCR-프리 베이스라인 (FluxText, TextFlux) 을 일관되게 능가했습니다. 성능은 스크립트 복잡도에 따라 약간씩 변했습니다 (예: 라틴 문자가 태국어보다 더 잘 수행됨) 하지만, 모델은 다양한 문자 체계 전반에 걸쳐 강건함을 보여주었습니다.
• 어블레이션 연구:
  • 쿨다운 훈련: 쿨다운 단계를 제거하면 이미지 품질 지표가 크게 하락했습니다 (영어의 경우 FID 가 7.62 에서 11.56 으로 증가), 이는 스타일 보존에 있어 쿨다운 단계의 결정적 역할을 확인시켜 주었습니다.
  • 프롬프트 설계: 글립과 스타일 프롬프트의 조합과 페어 데이터가 가장 큰 개선을 가져왔으며, 이는 자기-프롬핑 설계를 검증했습니다.
  • 교차 언어 간섭: 점진적 언어 훈련은 새로운 언어를 도입해도 이전에 학습된 언어의 성능이 저하되지 않음을 보여주었으며, 이는 모델이 언어별 암기가 아닌 공유된 획 수준 원시적 요소를 학습함을 시사합니다.

5. 중요성과 주장

본 논문은 다국어 장면 텍스트 편집을 위한 통합적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 입력 이미지에서 직접 프롬프트를 구성함으로써, 이 접근법은 주변 글꼴 모양, 레이아웃 및 시각적 컨텍스트에 충실한 일관된 텍스트 생성을 가능하게 합니다.

저자들은 그들의 방법이 다음과 같음을 강조합니다:

• 고정된 OCR 어휘의 한계를 극복하여 다양하고 희귀한 언어에 대한 오픈-어휘 편집을 지원합니다.
• 컨텍스트 내 정보를 활용함으로써 전통적인 인페인팅 형식에 내재된 "스타일 손실" 문제를 해결합니다.
• 모든 새로운 언어나 스타일에 대해 별도의 인코더를 훈련하는 계산적 오버헤드 없이 더 복잡하고 다양한 실제 시나리오로 스타일 일관성 편집을 확장할 수 있는 기반을 마련합니다.

이 연구는 그래픽 디자인 및 콘텐츠 제작 응용 분야에 혜택을 주기 위한 연구 진전으로 제시되며, 이미지 편집 기술의 잠재적 오용에 대한 윤리적 고려사항도 인정하고 있습니다.