DualTSR: Unified Dual-Diffusion Transformer for Scene Text Image Super-Resolution

DualTSR: 통합된 이중 확산 변환기 (Dual-Diffusion Transformer) 를 활용한 장면 텍스트 이미지 초해상도

1. 문제 정의 (Problem)

장면 텍스트 이미지 초해상도 (STISR, Scene Text Image Super-Resolution) 는 저해상도 텍스트 이미지를 고해상도로 복원하여 가독성과 기계 인식 (OCR) 성능을 향상시키는 작업입니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 외부 OCR 의존성: 많은 최신 방법들이 사전 훈련된 외부 OCR 모델을 사용하여 텍스트 사전 지식 (priors) 을 추출합니다. 그러나 외부 OCR 의 예측 오류가 초해상도 네트워크로 전파되어 잘못된 글자 (hallucinated strokes) 나 구조적 오류를 유발할 수 있습니다.
• 복잡한 다중 구성 요소 아키텍처: 텍스트와 이미지를 별도의 모듈로 처리하고 이를 결합하는 방식 (예: DiffTSR) 은 시스템이 복잡하고 훈련이 어려우며, 모듈 간 상호작용이 제한적입니다.
• 구조적 민감성: 텍스트는 작은 왜곡이나 획 (stroke) 의 손실만으로도 의미가 달라지므로, 일반적인 이미지 초해상도 기법으로는 텍스트의 정밀한 구조와 스타일을 동시에 복원하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 DualTSR이라는 단일 엔드 - 투 - 엔드 (end-to-end) 프레임워크를 제안합니다. 이는 외부 OCR 모듈 없이 내부적으로 텍스트와 이미지를 동시에 학습하는 통합 멀티모달 변환기 (Transformer) 기반 모델입니다.

• 통합 아키텍처 (Unified Backbone):

  • 단일 멀티모달 변환기 (Multimodal Transformer) 를 사용하여 이미지와 텍스트의 분포를 동시에 모델링합니다.
  • Joint Attention Mechanism: 이미지 잠재 변수 (latent) 와 텍스트 토큰이 공유된 쿼리, 키, 값 (Query, Key, Value) 을 통해 모든 레이어에서 상호작용하며, 시각적 특징이 텍스트 복원을 안내하고 텍스트 단서가 이미지 복원을 안내합니다.

• 이중 확산 목적 함수 (Dual Diffusion Objective):
  모델은 두 가지 다른 확률적 생성 과정을 하나의 아키텍처 내에서 병렬로 수행합니다.

  1. 이미지 생성 (Continuous Flow Matching): 고해상도 이미지의 연속적인 분포를 모델링합니다. 조건부 흐름 매칭 (Conditional Flow Matching) 을 사용하여 저해상도 입력과 텍스트 정보를 조건으로 고해상도 이미지를 생성합니다.
  2. 텍스트 생성 (Discrete Diffusion): 텍스트 시퀀스의 이산적인 분포를 모델링합니다. 흡수 상태 확산 (Absorbing-state diffusion) 과정을 통해 마스킹된 텍스트 토큰을 점진적으로 복원하여 텍스트 시퀀스를 예측합니다.

• 훈련 전략 (Training Strategy):

  • 동기화된 손상 (Synchronized Corruption): 이미지와 텍스트를 동일한 시간 단계 (timestep) 에서 손상시키고 동시에 복원하도록 훈련하여 두 모달리티 간의 깊은 결합을 유도합니다.
  • 모델 가이드 (Model-Guided Training): 분류기 없는 가이드 (Classifier-Free Guidance, CFG) 개념을 훈련 과정에 직접 통합하여 샘플 품질과 제어 가능성을 높입니다.

• 추론 (Inference):

  • 저해상도 이미지를 입력으로 받아, 가우시안 노이즈에서 시작하는 이미지 브랜치와 완전히 마스킹된 시퀀스에서 시작하는 텍스트 브랜치를 동기화하여 업데이트합니다.
  • 최종적으로 VAE 디코더를 통해 RGB 공간으로 복원합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 이미지 초해상도와 텍스트 인식을 단일 멀티모달 변환기 내에서 통합 학습하는 DualTSR을 제시했습니다.
2. 외부 의존성 제거: 외부 OCR 모델이나 수동으로 설계된 구조적 사전 지식 (structural priors) 없이도, 모델이 시각적 단서로부터 텍스트 사전 지식을 내부적으로 추론할 수 있도록 하는 이중 확산 목적 함수를 설계했습니다.
3. 간소화된 엔드 - 투 - 엔드 설계: 복잡한 다단계 파이프라인이나 다중 모듈 결합 없이 단일 모델로 구현하여 훈련과 재현성을 용이하게 했습니다.

4. 실험 결과 (Results)

중국어 합성 벤치마크 (CTR-TSR) 와 실제 세계 데이터셋 (RealCE) 에서 기존 방법론 (ESRGAN, SwinIR, MARCONet, DiffTSR 등) 과 비교 평가되었습니다.

• 정량적 평가:

  • 지각적 품질: FID(낮을수록 좋음) 와 LPIPS(낮을수록 좋음) 에서 기존 방법들보다 우수한 성능을 보였습니다. 이는 생성된 이미지가 더 자연스럽고 텍스트와 배경의 조화가 잘 이루어졌음을 의미합니다.
  • 텍스트 충실도: ACC(정확한 일치율) 와 NED(문자 수준 유사도) 에서 가장 높은 점수를 기록하여, 텍스트의 의미와 구조를 정확하게 복원함을 입증했습니다.
  • PSNR: 순수 픽셀 단위 유사도 (PSNR) 는 일부 재구성 중심의 베이스라인보다 낮을 수 있으나, 이는 모델이 픽셀 정확도보다 텍스트의 구조적 정확성과 지각적 현실감을 우선시했기 때문입니다.

• 정성적 평가:

  • 기존 방법들은 획이 흐릿하거나, 글자가 배경에 인위적으로 붙은 것처럼 보이며, 때로는 잘못된 글자를 생성하는 문제가 있었습니다.
  • DualTSR 은 올바른 텍스트 내용을 복원하면서도 국소적인 외관 단서를 유지하고 텍스트가 장면과 자연스럽게 통합되도록 했습니다.

• 추론 단계 분석:

  • 샘플링 단계 (sampling steps) 를 늘리면 지각적 품질 (FID) 은 향상되지만, 텍스트 가독성 (NED) 은 오히려 감소하는 트레이드오프가 관찰되었습니다. (너무 많은 단계는 미세한 획 패턴을 흐리게 만듦)
  • CFG(분류기 없는 가이드) 스케일 증가는 오히려 FID 를 악화시키고 텍스트 구조를 왜곡시켰으며, 1.0 의 낮은 스케일이 최적의 균형을 제공했습니다.

5. 의의 및 결론 (Significance)

DualTSR 은 장면 텍스트 초해상도 분야에서 외부 OCR 모듈에 대한 의존성을 완전히 제거하고, 단일 엔드 - 투 - 엔드 모델로 높은 수준의 지각적 품질과 텍스트 충실도를 달성할 수 있음을 입증했습니다. 이는 텍스트와 이미지의 상호작용을 더 깊게 통합하여, 복잡한 텍스트 복원 작업에 있어 더 강건하고 확장 가능한 새로운 방향을 제시합니다.

• 한계 및 향후 과제: 현재 연구는 중국어 벤치마크에 국한되어 있으며, 일부 베이스라인과의 비교가 공식 체크포인트 기반이므로 향후 더 다양한 언어와 완전히 일치된 재훈련 (matched retraining) 을 통한 평가가 필요합니다.