Tiled Prompts: Overcoming Prompt Misguidance in Image and Video Super-Resolution

1. 문제 정의 (Problem Definition)

배경:
최근 텍스트 조건부 확산 모델 (Text-conditioned Diffusion Models) 은 이미지 및 비디오 초해상도 (Super-Resolution, SR) 분야에서 높은 성능을 보여주고 있습니다. 고해상도 (4K 이상 등) 이미지를 생성하기 위해 현대적인 SR 파이프라인은 메모리 제약을 피하기 위해 잠재 공간 타일링 (Latent Tiling) 전략을 사용합니다. 즉, 전체 이미지를 작은 타일 (Tile) 단위로 나누어 각각을 처리한 후 합칩니다.

핵심 문제: 프롬프트 오도 (Prompt Misguidance)
기존 방법론은 전체 저해상도 (LR) 입력에 대해 단일 전역 프롬프트 (Single Global Prompt) 하나를 생성하여 모든 타일에 동일하게 적용합니다. 고해상도 타일링 환경에서 이 접근법은 다음과 같은 심각한 문제를 야기합니다.

1. 생략 오류 (Errors of Omission): 전역 프롬프트는 전체 장면을 개괄적으로 설명하므로, 특정 타일에 존재하는 미세한 국부적 세부 사항 (예: 간판의 특정 글자, 질감 등) 을 놓치게 됩니다.
2. 부과 오류 (Errors of Commission): 전역 프롬프트에는 해당 타일과 무관한 다른 영역의 정보 (예: 타일이 도로인데 프롬프트에 '하늘'이 포함된 경우) 가 포함됩니다. 이는 확산 모델이 잘못된 의미론적 방향으로 생성을 유도하게 만들어 할루시네이션 (Hallucination) 이나 아티팩트를 발생시킵니다.

이러한 의미론적 불일치는 고해상도 복원에서 세부적인 디테일 재구성을 방해하고, 품질 저하의 주요 원인이 됩니다.

2. 제안 방법: Tiled Prompts (Methodology)

저자들은 Tiled Prompts라는 통합 프레임워크를 제안하여 이미지 (SISR) 와 비디오 (VSR) 초해상도 모두에서 프롬프트 오도 문제를 해결합니다.

핵심 아이디어:
단일 전역 프롬프트 대신, 각 잠재 타일 (Latent Tile) 에 맞는 국부적 프롬프트 (Tile-specific Prompt) 를 생성하여 해당 타일의 복원을 안내합니다.

구체적 프로세스:

1. 타일 분할: 저해상도 입력 이미지를 (또는 비디오의 경우 시공간 블록) 작은 타일로 분할합니다.
2. VLM 기반 프롬프트 생성:
   • 이미지 (SISR): 각 LR 타일 $x_L^{(i)}$을 Vision-Language Model (VLM, 예: Qwen2.5-VL) 에 입력하여 해당 타일의 내용만을 정확히 설명하는 국부 프롬프트 $c_{local}^{(i)}$를 생성합니다.
   • 비디오 (VSR): 비디오는 공간적 오도뿐만 아니라 시간적 오도 (Temporal Misguidance) 문제도 존재합니다. 따라서 VLM 에게 전체 시퀀스 (전역 컨텍스트) 와 특정 타일 (국부 컨텍스트) 을 모두 제공하여, 해당 타일의 움직임이나 시간적 변화를 정확히 반영한 프롬프트를 생성하도록 합니다 (예: "회전하는 바퀴" vs 단순히 "자동차").
3. 조건부 확산 생성: 생성된 국부 프롬프트 $c_{local}^{(i)}$를 조건으로 사용하여 각 타일의 고해상도 복원을 수행합니다.
4. 병합: 처리된 타일들을 가우시안 블렌딩 등을 통해 자연스럽게 합쳐 최종 고해상도 결과를 도출합니다.

이론적 기반:
저자들은 프롬프트 오도를 상호 정보 (Mutual Information) 관점에서 분석했습니다.

• 이상적인 국부 프롬프트 $c^*$와 실제 프롬프트 $c$ 사이의 상호 정보 격차 ($\Delta I$) 가 클수록, 생성 경로의 오차 (Misguidance) 가 커진다는 것을 증명했습니다.
• 전역 프롬프트는 불필요한 정보를 포함하거나 중요한 정보를 누락하여 $\Delta I$를 증가시키지만, 타일별 프롬프트는 국부적 세부 사항을 정확히 포착하여 $\Delta I$를 최소화함으로써 생성 모델이 더 정확한 고주파수 디테일로 수렴하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 프롬프트 오도 문제의 정의 및 분석: 잠재 타일링 환경에서 단일 전역 프롬프트가 초래하는 '생략 오류'와 '부과 오류'를 명확히 정의하고, 이것이 초해상도 성능에 미치는 부정적 영향을 분석했습니다.
2. 통합 프레임워크 (Tiled Prompts) 제안: VLM 을 활용하여 각 타일마다 밀도 높고 문맥을 인식하는 (Context-aware) 프롬프트를 생성하는 새로운 아키텍처를 제안했습니다. 이는 정보 이론적 하한을 낮추어 오도를 최소화함을 이론적으로 보였습니다.
3. 실험적 검증: 다양한 이미지 및 비디오 데이터셋 (Urban100, VideoLQ 등) 과 백본 모델 (DiT4SR, STAR 등) 에서 실험을 수행하여, 제안된 방법이 전역 프롬프트 기반 베이스라인 대비 지각적 품질, 충실도, 텍스트 - 이미지 정렬도를 일관되게 향상시키고 할루시네이션을 줄임을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 이미지 품질: NIQE, MUSIQ, MANIQA 등 무참조 (No-reference) 메트릭과 CLIP Score, ImageReward 등 텍스트 정렬 메트릭에서 전역 프롬프트 대비 유의미한 개선을 보였습니다. 특히 텍스트가 포함된 간판이나 복잡한 질감에서 정확도가 크게 향상되었습니다.
  • 비디오 품질: 프레임별 품질뿐만 아니라 FasterVQA, DOVER 등 시간적 일관성 메트릭에서도 성능이 향상되어, 국부 프롬프트가 공간적 오도뿐만 아니라 시간적 오도도 해결함을 입증했습니다.
  • 참조 기반 평가: 고해상도 Ground Truth 가 있는 데이터셋 (LSDIR2048, SEPE8K) 에서 PSNR, SSIM, FID 등에서도 우수한 성능을 기록했습니다.
• 오버헤드 분석:
  • VLM 을 사용하여 프롬프트를 생성하는 추가 계산 비용은 전체 초해상도 추론 시간 대비 매우 미미한 수준 (Negligible overhead) 이었습니다. (예: DiT4SR 기준 162.58 초 $\rightarrow$ 166.15 초)
• CFG 스케일 분석:
  • Guidance Scale (CFG) 이 커질수록 전역 프롬프트의 오도 현상이 심화되는 반면, Tiled Prompts 는 높은 CFG 환경에서도 강건하게 성능을 유지하며 더 큰 개선을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 고해상도 이미지/비디오 생성 분야에서 텍스트 프롬프트의 국부적 정확도가 얼마나 중요한지를 처음으로 체계적으로 규명했습니다.

• 실용성: 기존 고해상도 생성 파이프라인을 크게 변경하지 않고, 프롬프트 생성 단계만 '전역'에서 '타일별'로 변경함으로써 고품질 복원을 가능하게 하는 실용적인 솔루션을 제공합니다.
• 범용성: 이미지뿐만 아니라 비디오 초해상도에서도 시간적 일관성을 해치지 않으면서 세부 디테일을 복원할 수 있음을 입증했습니다.
• 미래 방향: VLM 의 성능에 의존한다는 한계가 있으나, 향후 VLM 의 정확도 향상과 함께 이 프레임워크는 고해상도 콘텐츠 생성 및 복원 분야의 표준적인 접근법으로 자리 잡을 가능성이 큽니다.

요약하자면, Tiled Prompts는 "한 마디로 모든 것을 설명하려다 생기는 오류"를 "각 부분에 맞는 정확한 설명"으로 대체함으로써, 확산 모델이 고해상도 영역에서 그 잠재력을 최대한 발휘할 수 있도록 돕는 혁신적인 방법론입니다.