기술 요약: WordArt 지향형 장면 텍스트 인식의 발전

문제 정의

WordArt 지향형 장면 텍스트 인식(WATER)은 고도로 맞춤화된 폰트, 질감, 레이아웃, 그리고 글자 윤곽 내의 의미적 요소 결합을 특징으로 하는 예술적 텍스트의 인식을 다룹니다. 일반적인 장면 텍스트 인식(STR)이 주로 정형적이고 수평으로 정렬된 텍스트를 다루는 것과 달리, WATER는 다음과 같은 상당한 과제에 직면합니다:

1. 시각적 복잡성: 예술적 텍스트는 종종 글자 윤곽 내에 복잡한 그래픽과 의미적 요소를 포함하며, 이는 기저의 텍스트와 무관한 시각적 방해 요소를 생성합니다.
2. 데이터 부족: 실제 예술적 텍스트는 수집하기 어렵고, 모호한 형태와 복잡한 질감으로 인해 어노테이션(주석 달기) 비용이 높고 일관성이 떨어집니다. 기존 데이터셋(예: WordArt)은 규모가 너무 작으며(훈련 이미지 약 4,805장), 현대적 모델을 최적화하기 위한 다양성이 부족합니다.
3. 모델의 한계: 현재의 STR 모델은 종종 고정된 템플릿 입력(예: 모든 이미지를 32×128로 크기 조정)에 의존하며, 이는 매우 불규칙한 예술적 텍스트를 심하게 왜곡합니다. 또한, 많은 모델은 예술적 디자인에서 흔히 나타나는 비표준 읽기 순서와 복잡한 레이아웃을 처리하는 데 어려움을 겪습니다.

기존의 범용 시각-언어 모델(VLM) 및 OCR 특화 도구들은 예술적 텍스트에서 낮은 성능(벤치마크 기준 정확도 82% 미만)을 보이며, 이는 전용 데이터 및 구조적 솔루션의 필요성을 나타냅니다.

방법론

저자들은 데이터 합성 및 모델 아키텍처 모두를 발전시키는 이중적인 접근 방식을 제안합니다.

1. 데이터 합성: WATER-S

데이터 부족 문제를 극복하기 위해 저자들은 두 가지 상호 보완적인 서브셋으로 구성된 200만 규모의 합성 데이터셋인 WATER-S를 구축했습니다.

• WATER-T (도구 기반 렌더링): 업그레이드된 렌더링 엔진인 SynthWordArt를 사용하여 구축되었습니다. 이는 11,250개의 오픈 소스 예술적 폰트 라이브러리를 활용하며 다양한 레이아웃 패턴(곡선, 수직, 다중 방향, 원근법, 늘리기)을 지원합니다. 이 서브셋은 텍스트 내용과 레이아웃에 대한 높은 제어력을 보장하며, 정밀한 라벨이 포함된 100만 개의 샘플을 생성합니다.
• WATER-Z (모델 기반 생성): 실제 디자인의 풍부한 스타일적 의미와 자연스러운 시각적 일관성을 포착하도록 설계되었습니다. 이 파이프라인은 Qwen3-VL-8B를 사용하여 기존 예술적 텍스트 이미지로부터 미세한 캡션을 추출하고 프롬프트 라이브러리(273K 프롬프트)를 생성합니다. 이 프롬프트들은 최첨단 오픈 소스 이미지 생성 모델인 Z-Image-Turbo와 함께 사용되어 100만 개의 이미지를 합성합니다. 이 서브셋은 전통적인 렌더링에 비해 배경 질감, 글로벌 시각적 스타일 및 의미적 통합 측면에서 더 높은 다양성을 제공합니다.

또한, 저자들은 엄격한 해싱 중복 제거를 사용하여 기존의 실제 데이터를 WATER-R(3.2M 인스턴스)로 재구성함으로써 훈련과 평가 세트 간의 라벨 누출을 방지했습니다.

2. 모델 아키텍처: WATERec

저자들은 WordArt의 불규칙한 특성에 특화되어 설계된 베이스라인 모델인 WATERec를 제안합니다.

• 임의 형상 입력: 고정된 템플릿으로 입력을 크기 조정하는 전통적인 STR 모델과 달리, WATERec은 **회전 위치 임베딩(RoPE)**을 사용하는 NaViT 스타일의 비주얼 인코더를 채택합니다. 이를 통해 모델은 텍스트의 본래 기하학적 구조를 보존하면서 왜곡 없이 임의의 가로세로비(aspect ratio)를 가진 이미지를 처리할 수 있습니다.
• 자기 회귀(Autoregressive, AR) 디코딩: 복잡한 레이아웃과 비표적인 읽기 순서(예: 원형 또는 다방향 텍스트)를 처리하기 위해, WATERec은 AR 디코더를 사용합니다. 이는 글자 시퀀스를 단계별로 생성하여 병렬 디코딩 방식보다 더 강력한 문맥 추론을 가능하게 합니다.
• 아키텍처: 이 모델은 RoPE를 사용하는 6개 층의 트랜스포머 인코더와 2개의 교차 주의(cross-attention) 층을 가진 디코더로 구성되며, 표준 교차 엔트로피 손실 하에 학습됩니다.

주요 기여

1. WATER-S 데이터셋: 도구 기반 렌더링(WATER-T)과 생성 모델 기반(WATER-Z) 데이터를 결합한 대규모(200만) 합성 데이터셋입니다. 이는 폰트 제어, 레이아웃 및 시각적 사실성 측면에서 상호 보완적인 다양성을 제공하여 향후 연구를 위한 확장 가능한 토대 역할을 합니다.
2. WATERec 모델: RoPE를 통해 임의 형상 입력을 지원하고 자기 회귀 디코딩을 활용하는 새로운 STR 아키텍처입니다. 이는 고정 템플릿 크기 조정의 병목 현상을 구조적으로 해결하여 복잡한 WordArt 레이아웃을 더 잘 모델링합니다.
3. 체계적 평가: 예술적 텍스트에 대한 STR 방법론에 대한 종합적인 평가를 제공하며, 여기에는 재구성된 실제 벤치마크(WATER-R)와 WordArt-Bench 및 Union14M-Benchmark에 대한 엄격한 테스트가 포함됩니다.

실험 결과

• WordArt-Bench 성능: WATER-S로 학습된 WATERec은 WordArt-Bench에서 **90.40%**의 정확도를 달{{성하며, 이전의 SOTA(최고 성능)를 경신했습니다. 이는 이 벤치마크에서 90%를 넘긴 첫 번째 결과입니다.
• VLM과의 비교: 제안된 베이스라인은 범용 VLM(최고 78.36%)과 OCR 특화 VLM(최고 81.54%) 모두를 크게 능가하며, 예술적 텍스트를 위한 전용 아키텍처 및 데이터 설계의 필요성을 강조합니다.
• 데이터의 영향: WATER-S를 실제 데이터(WATER-R)에 추가하면 다양한 STR 아키텍처(CTC, Parallel, AR)에서 일관되고 유의미한 개선이 나타납니다. WATER-T와 WATER-Z를 모두 결합했을 때 최상의 결과를 얻었으며, 이는 두 데이터의 상호 보완적 성격을 입증합니다.
• 일반화 능력: 모델은 일반적인 STR 벤치마크(IC13, SVT 등)에서 경쟁력 있는 성능을 유지하면서도, 도전적인 Union14M-Benchmark의 하위 집합(예: Artistic, Salient)에서 새로운 SOTA 결과를 달성했습니다.

의의 및 주장

본 논문은 예술적 텍스트 인식이 현재의 일반적인 OCR 및 VLM 시스템이 어려움을 겪는 별개이며 도전적인 영역임을 주장합니다. 저자들은 다음과 같이 단언합니다:

• 전용 설계가 필수적임: WordArt 인식의 성공을 위해서는 일반적인 STR 솔루션을 넘어서야 합니다. 구체적으로, 대규모의 다양한 합성 데이터와 임의의 가로세로비를 존중하는 아키텍처의 결합이 필수적입니다.
• 합성 데이터의 효능: 고품질의 합성 데이터, 특히 제어된 렌더링과 생성 모델링을 결합하는 방식은 예술적 텍스트를 위한 학습 데이터를 확장하는 실행 가능하고 필요한 전략입니다.
• 아키텍처의 전환: 고정 템플릿 크기 조정에서 임의 형상 모델링(RoPE 및 NaVi-like 인코더를 통해 구현됨)으로의 전환은 왜곡을 줄이고 불규칙한 텍스트 인식을 개선하는 핵심 요소입니다.

저자들은 자신들의 접근 방식이 새로운 벤치마크를 설정했지만, 예술적 텍스트 인식은 여전히 고유한 의미적 모호성을 포함한 상당한 과제를 안고 있으며, 향후 연구는 다국어 지원 및 이 도메인을 위한 VLM 추론 능력 강화에 집중할 것이라고 결론지었습니다.