1. 문제 정의 (Problem Statement)

기존의 단일 이미지 초해상도 (Single-Image Super-Resolution, SISR) 모델들은 학습된 배율 (예: 4 배) 에서 매우 사실적인 결과를 제공하지만, 그 범위를 벗어난 극단적인 배율 (예: 64 배, 256 배) 로 이미지를 확대할 때 성능이 급격히 저하되거나 붕괴되는 확장성 (Scalability) 병목 현상에 직면해 있습니다.

• 기존 방법의 한계:
  • 고정 배율 학습: 모델의 내부 표현과 복원 함수는 학습 시의 특정 배율과 열화 (degradation) 패턴에 강하게 종속되어 있어, 이를 벗어난 입력에 적용 시 심각한 아티팩트, 흐릿함, 또는 의미 없는 고주파수 디테일 생성 (할루시네이션) 을 유발합니다.
  • 계산 비용: 극단적인 배율 (16 배, 32 배 이상) 을 위해 새로운 모델을 처음부터 학습시키는 것은 메모리 및 시간 제약으로 인해 비효율적이고 비용이 많이 듭니다.
  • 정보 부족: 고배율 확대 시 원본 저해상도 (LR) 입력만으로는 고주파수 디테일을 복원하기에 정보가 부족하여, 모델이 무작위적인 할루시네이션을 생성하기 쉽습니다.

2. 제안 방법론 (Methodology: Chain-of-Zoom, CoZ)

저자들은 기존 SR 모델을 재학습 없이 극한 해상도까지 확장할 수 있는 **Chain-of-Zoom (CoZ)**이라는 모델 무관 (Model-agnostic) 프레임워크를 제안합니다. 핵심 아이디어는 LR 에서 HR 로의 매핑을 일련의 **중간 스케일 상태 (Intermediate Scale-States)**와 **다중 스케일 인식 프롬프트 (Multi-scale-aware Prompts)**를 통한 자기회귀 (Autoregressive) 체인으로 분해하는 것입니다.

2.1 스케일 레벨 자기회귀 (Scale-Level Autoregression)

• 중간 상태 모델링: LR 이미지 ($x_0$) 에서 HR 이미지 ($x_n$) 로 가는 과정을 $x_0 \to x_1 \to \dots \to x_n$과 같은 중간 스케일 상태들의 시퀀스로 정의합니다.
• AR-2 구조: 단순한 마르코프 체인 ($p(x_i|x_{i-1})$) 은 고주파수 디테일 손실을 초래하므로, 저자들은 AR-2 (2 차 자기회귀) 구조를 도입합니다. 즉, 현재 상태 $x_i$는 이전 상태 $x_{i-1}$뿐만 아니라 그 전 상태 $x_{i-2}$에도 의존합니다.
• 잠재 변수 (프롬프트) 도입: 텍스트 임베딩을 잠재 변수 $c_i$로 도입하여 조건부 확률을 분해합니다. 이는 텍스트 프롬프트가 전체 줌 (zoom) 과정의 정보를 보완하고 할루시네이션을 줄이는 데 핵심적임을 의미합니다.
  • 결합 확률: $p(x_0, c_1, x_1, \dots, c_n, x_n) = p(x_0, c_1, x_1) \prod_{i=2}^n p(x_i|x_{i-1}, x_{i-2}, c_i)p(c_i|x_{i-1}, x_{i-2})$

2.2 다중 스케일 인식 프롬프트 추출 (Multi-Scale-Aware Prompt Extraction)

• VLM 활용: 비전 - 언어 모델 (VLM) 을 사용하여 현재 이미지 ($x_{i-1}$) 와 그 전 단계 이미지 ($x_{i-2}$) 를 함께 입력받아 다음 단계에 필요한 텍스트 프롬프트 ($c_i$) 를 생성합니다.
• 의미: 고배율에서는 원본 신호의 정보가 부족하므로, VLM 이 생성한 텍스트 프롬프트가 SR 백본 모델에 중요한 의미론적 가이드를 제공합니다.

2.3 선호도 정렬을 위한 GRPO 기반 RLHF

생성된 프롬프트가 인간의 선호도와 일치하도록 하기 위해, 프롬프트 추출 VLM 을 **GRPO (Generalized Reward Policy Optimization)**를 활용한 강화학습 (RLHF) 파이프라인으로 미세 조정 (Fine-tuning) 합니다.

• 크리틱 VLM (Critic VLM): 더 강력한 VLM 을 크리틱으로 사용하여 생성된 프롬프트의 의미론적 품질을 점수화합니다.
• 보상 함수 (Reward Functions):
  1. 크리틱 선호도 보상 ($R_{critic}$): 크리틱 VLM 이 부여한 점수 (0~100) 를 기반으로 인간 선호도를 반영합니다.
  2. 구절 제외 보상 ($R_{phrase}$): "첫 번째 이미지", "두 번째 이미지"와 같이 SR 모델에게 무의미한 표현을 포함하지 않도록 패널티를 부과합니다.
  3. 반복 패널티 ($R_{rep}$): 프롬프트 내의 반복된 n-gram 비율을 계산하여 과도한 반복을 억제합니다.
• 이 과정을 통해 VLM 은 고배율 확대 시 발생할 수 있는 비현실적인 할루시네이션을 줄이고, 사실적인 디테일을 유도하는 프롬프트를 생성하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. Chain-of-Zoom (CoZ) 프레임워크: 기존 SR 모델을 재학습 없이도 256 배 이상의 극한 배율로 확장할 수 있는 스케일 레벨 자기회귀 구조를 제안했습니다.
2. GRPO 기반 프롬프트 추출 VLM 미세 조정: 초해상도 분야에서 최초로 GRPO 를 적용하여, 크리틱 VLM 과 다중 보상 함수를 통해 인간 선호도에 부합하는 고품질 텍스트 프롬프트를 생성하도록 VLM 을 정렬했습니다.
3. 모델 무관성 (Model-Agnostic): CoZ 는 백본 SR 모델 (예: OSEDiff, Stable Diffusion 기반 모델 등) 에 구애받지 않으며, 기존에 학습된 4 배 SR 모델만으로도 극한 해상도 생성이 가능합니다.

4. 실험 결과 (Results)

• 실험 설정: 백본 모델로 OSEDiff (Stable Diffusion 3.0 기반) 를 사용했으며, DIV2K 및 DIV8K 데이터셋에서 4 배, 16 배, 64 배, 256 배 확대를 수행했습니다.
• 정성적 평가 (Qualitative):
  • 기존 방법 (Nearest Neighbor, 직접 SR) 은 고배율에서 흐릿하거나 아티팩트가 발생하지만, CoZ 는 벽면의 질감, 깃발의 주름, 잎맥 등 미세한 디테일을 선명하게 복원합니다.
  • VLM 프롬프트를 사용한 CoZ 는 할루시네이션 없이 사실적인 텍스처를 생성합니다.
• 정량적 평가 (Quantitative):
  • No-Reference Metrics: NIQE, MUSIQ, MANIQA, CLIPIQA 등 무참조 이미지 품질 지표를 사용했습니다.
  • 성능: 64 배 및 256 배와 같은 고배율에서 CoZ (특히 VLM 프롬프트 사용 시) 는 기존 방법들 (LIIF, SeeSR, S3Diff 등) 보다 일관되게 우수한 성능을 기록했습니다.
  • GRPO 효과: GRPO 로 미세 조정된 VLM 을 사용한 CoZ 는 비조정 VLM 보다 더 높은 점수를 받았으며, 사용자 연구 (MOS) 에서도 인간 선호도가 통계적으로 유의미하게 높았습니다.
• 효율성: CoZ 는 전체 이미지를 한 번에 처리하는 대신 로컬 윈도우 단위로 반복 적용하여 메모리 효율성을 유지하면서도 극한 해상도를 달성합니다.

5. 의의 및 결론 (Significance)

이 논문은 단일 이미지 초해상도 분야의 **확장성 격차 (Scalability Gap)**를 해결하는 중요한 전환점이 됩니다.

• 자원 효율성: 고배율 모델을 처음부터 학습시키는 대신, 기존에 잘 학습된 4 배 모델을 재사용하여 극한 해상도 (256 배 이상) 를 달성함으로써 계산 비용을 획기적으로 줄였습니다.
• 지식 증폭: 시각적 정보가 희박해지는 고배율 영역에서 텍스트 프롬프트 (VLM) 를 활용하여 모델의 추론 능력을 보완하고, 이를 RLHF 를 통해 인간 선호도에 정렬함으로써 사실성과 신뢰성을 동시에 확보했습니다.
• 미래 전망: CoZ 프레임워크는 학습된 줌 정책 (Zoom Policy), 도메인 특화 보상 함수, 적응형 백본 선택 등 향후 이미지 향상 및 생성 연구의 새로운 방향을 제시합니다.

요약하자면, Chain-of-Zoom은 "한 번에 거창하게 확대하는 것"이 아니라 "단계적으로 확대하면서 텍스트 가이드를 통해 디테일을 보강하는" 전략을 통해, 기존 모델의 한계를 넘어선 극한의 초해상도를 가능하게 한 혁신적인 프레임워크입니다.