기술 요약: TiGeSR (Text–image Guided Super-Resolution)

문제 정의

장면 텍스트 이미지 초해상도(Scene Text Image Super-Resolution, SR)는 전반적인 이미지 충실도와 텍스트 가독성 사이의 근본적인 트레이드오프 문제에 직면해 있습니다. 현대적인 생성 모델(예: 확산 기반 접근 방식)은 일반적인 이미지의 자연스러운 질감과 세부 사항을 복원하는 데 탁월하지만, 텍나 영역을 왜곡하여 글자를 의미 없는 기호로 만드는 경우가 빈번합니다. 이는 특히 미세한 획의 왜곡이나 누락이 의미를 완전히 바꿀 수 있는 한자에서 매우 치명적입니다. 반대로, 텍스트 영역에만 집중하는 방법들은 전역적인 배경 제약이 부족하여 텍스트와 주변 환경 사이의 스타일 불일치나 블록 아티팩트를 초래합니다. 또한 기존 데이터셋은 대개 완만한 열화(≤×4 줌)만을 제공하여, 장거리 촬영과 같은 도전적인 실제 환경을 반영하지 못한다는 한계가 있습니다.

방법론: TiGeSR

저자들은 "텍스트 우선, 이미지 후순위(text-first, image-later)" 패러다임으로 작동하는 2단계 프레임워크인 TiGeSR을 제안합니다. 이 접근 방식은 구조적 정확성과 시각적 일관성을 모두 보장하기 위해 글리프(glyph) 복원과 일반 이미지 향상을 명시적으로 분리합니다.

1단계: 텍스트 복원 (Text Restoration)

첫 번째 단계는 저해상도(LR) 입력으로부터 정밀한 글리프 구조를 재구성하는 데 집중합니다.

• 파이프라인: OCR 검출기가 텍스트 영역을 국소화하고 의미적 콘텐츠를 추출합니다. 이 영역들은 VAE를 통해 인코딩된 후 UNet 기반의 확산 모델에 의해 처리됩니다.
• 이중 브랜치 출력: 모델은 두 개의 브랜치를 생성합니다: 외형 브랜치($z_{RGB}$)와 구조 브랜치($z_m$). 구조 브랜치는 획의 기하학적 구조 복원을 유도하기 위해 크로스 어텐션(cross-attention)을 통해 예측된 텍스트 콘텐츠를 조건으로 활용합니다.
• 학습 전략: 합성 데이터의 정밀함과 실제 환경의 일반화 능력을 균형 있게 맞추기 위해 2단계 학습 전략을 채в용합니다. 1단계에서는 합성 및 실제 데이터를 모두 사용하여 열화 패턴을 학습합니다. 2단계에서는 RGB 출력 블록을 고정하고 UNet을 합성 데이터에 대해서만 학습시켜, 실제 세그멘테이션 오류로 인한 노이즈 없이 고충실도의 글리프 구조를 확보하도록 마스크 품질을 정교화합니다.
• 손실 함수: 이 단계에서는 텍스트 제어 확산 손실(text-control diffusion loss)과 세그멘테이션 지향 손실(MSE, Focal, Dice loss)을 결합하여 픽셀 수준의 마스크 생성을 감독합니다.

2단계: 이미지 향상 (Image Enhancement)

두 번째 단계는 복원된 텍스트 구조를 조건부 가이드로 사용하여 전체 이미지 초해상도를 수행합니다.

• 파이프라인: ControlNet과 유사한 네트워크가 LR 입력과 1단계에서 재구성된 텍스트 마스크($\hat{x}_m$)를 입력으로 받습니다.
• 메커즘: 텍스트 마스크는 확산 과정에 조건으로 주입되어, 아티팩트를 억제하면서 텍스트가 배경과 조화를 이루도록 전역 초해상도를 유도합니다.
• 손실 함수: 학습 목적 함수는 일반적인 이미지 품질을 위한 MSE와 LPIPS의 가중 합산에 더해, 획의 무결성과 글리프 경계를 구체적으로 보존하기 위한 에지 손실(Sobel 연산자 사용)을 결합합니다.

주요 기여

1. TiGeSR 프레임워크: 글리프 복원과 이미지 향상을 분리한 최초의 2단계 장면 텍스트 SR 프레임워크입니다. 텍스트 구조를 먼저 복원한 뒤 이를 전체 이미지 복원의 가이드로 사용함으로써, 높은 가독성과 시각적 품질을 동시에 달 achieve 합니다.
2. UZ-ST 데이터셋: 최대 ×14.29 줌을 특징으로 하는 최초의 중국어 장면 텍스트 데이터셋인 **UltraZoom-Scene Text (UZ-ST)**를 도입했습니다. 이 데이터셋은 49,675개의 텍스트 라인을 포함한 5,036개의 LR-HR 쌍으로 구성되어 있으며, 다양한 시나리오(간판, 포스터, 문서)와 조명 조건을 포괄합니다. 또한 극심한 초점 거리 변화로 인한 심각한 정렬 불량을 처리하기 위한 "계층적 조대-세밀 정렬(Cascade Coarse-to-Fine Alignment)" 파이프라인을 포함합니다.
3. 최첨단 성능(SOTA): Real-CE 및 새로운 UZ-ST 벤치마크에 대한 광범한 실험을 통해, TiGeSR이 특히 심각한 열화 상황에서 텍스트 구조를 보존하는 데 있어 기존의 GAN 기반 및 확산 기반 방법들을 능가함을 입증했습니다.

실험 결과

• 정량적 성능: UZ-ST 벤치마크에서 TiGeSR은 **43.0%**의 OCR 정확도(OCR-A)와 25.48의 PSNR을 달성하여, TADiSR(36.6% OCR-A) 및 DiffTSR(31.7% OCR-A)과 같은 경쟁 모델들을 크게 앞질렀습니다. Real-CE 벤치마크에서는 **67.3%**의 OCR-A에 도달했습니다.
• 텍스트 영역 품질: 잘라낸 텍스트 영역에 대해 평가했을 때, 대부분의 다른 방법들이 성능 저하를 겪은 것과 달리, TiGeSR은 LR 입력 대비 OCR-A에서 양(+)의 이득(Real-CE에서 +2.5%, UZ-ST에서 +1.3%)을 보여주었습니다.
• 정성적 결과: 시각적 비교 결과, TiGe별로 다른 방법들은 글자가 왜곡되거나 텍스트 색상이 불일치하는 현상을 보이는 반면, TiGeSR은 미세한 획의 디테일을 성공적으로 복원하고 배경과 색상 일관성을 유지함을 보여줍니다.
• 어블레이션 연구(Ablation Studies):
  • "텍스트 우선" 패러다임은 텍스트 복원 단계를 제거했을 때(빈 마스크 사용 시) OCR-A가 급격히 하락(67.3%에서 59.5%로)하는 것을 통해 검증되었습니다.
  • 프레임워크는 OCR 예측이 없거나 무작위인 경우에도 견고하게 작동하며, 이는 모델이 단순히 OCR 텍스트에만 의존하는 것이 아니라 LR 입력에 내재된 구조적 단서에 크게 의존함을 나타냅니다.
  • 2단계 학습 전략은 실제 세계의 열화에 일반화하면서도 마스크의 정밀도를 유지하는 데 결정적인 역할을 합니다.

의의 및 주장

본 논문은 텍스트와 비텍스트 영역을 다르게 취급함으로써 이미지 품질과 텍스트 가독성 사이의 지속적인 트레이드오프 문제를 해결한다고 주장합니다. 전체 이미지를 향상시키기 전에 글리프 구조를 명시적으로 재구성함으로써, 텍s의 의미론적 의미를 보존하는 동시에 높은 시각적 충실도를 유지할 수 있습니다. UZ-ST의 도입은 기존에 테스트되지 않았던 극단적인 실제 열화 조건(최대 ×14.29 줌) 하에서 모델을 평가할 수 있는 도전적인 벤치마크를 제공하여 중요한 데이터 공백을 메웁니다. 저자들은 TiGeSR을 단순한 "그럴듯한" 질감 합성을 넘어 정확한 구조적 복원으로 나아가는 장면 텍텍스트 SR의 필수적인 진화 단계로 규정합니다.