기술 요약: 다중 스케일 이미지 초해상도를 위한 계층적 이미지 토큰화

문제 정의

이미지 초해상도 (ISR) 는 저해상도 (LR) 입력으로부터 고해상도 (HR) 이미지를 생성하는 것을 목표로 합니다. 최근 시각적 자동회귀 (VAR) 모델은 '다음 스케일 예측' 패러다임과 잘 부합하여 가능성을 보여주었지만, ISR 에 적용할 때 두 가지 중요한 한계에 직면해 있습니다:

1. 중간 스케일 생성 불가: 기존 VAR 기반 ISR 방법 (예: VARSR) 은 잔차를 누적하여 최종 고정 해상도 이미지를 재구성하는 잔차 양자화 (RQ) 에 의존합니다. 중간 잔차는 하위 스케일에서 의미 있는 재구성을 보장하지 않습니다. 결과적으로 이러한 모델들은 단일 순전파 (forward pass) 중에 유효한 중간 출력 (예: 2 배 업샘플링된 이미지) 을 생성할 수 없으며, 사전 정의된 고정 스케일 인자에만 제한됩니다.
2. 대규모 자원 의존성: 현재 최첨단 접근법들은 경쟁력 있는 성능을 달성하기 위해 거대한 백본 모델 (예: 10 억 개 이상의 파라미터) 이나 정밀하게 주석된 대규모 데이터셋 (클래스프리 가이드를 위한 부정적 샘플 포함) 을 종종 요구합니다.

방법론

저자들은 전술한 단점을 해결하기 위해 VAR 학습 파이프라인에 두 가지 핵심 구성 요소를 통합한 새로운 프레임워크를 제안합니다: 계층적 이미지 토큰화 (HIT) 와 직접 선호도 최적화 (DPO) 정규화.

1. 계층적 이미지 토큰화 (HIT)

표준 RQVAE 는 잠재 특징을 잔차 시퀀스로 분해하여 이미지를 토큰화하지만, 이러한 잔차는 본질적으로 특정 이미지 스케일과 정렬되어 있지 않습니다. 제안된 HIT 접근법은 이 과정을 다음과 같이 수정합니다:

• 순차적 인코딩: 전체 해상도를 토큰화한 후 다운샘플링하는 대신, 입력 이미지를 목표 스케일 (예: 1 배, 2 배, 4 배) 로 점진적으로 다운샘플링합니다.
• 토큰 중첩: 토큰화는 이러한 다운샘플링된 버전에 순차적으로 적용됩니다. 핵심적으로, 하위 스케일에 생성된 토큰들은 상위 스케일에 대한 잔차를 계산할 때 재사용되고 공유됩니다.
• 파인튜닝: 사전 훈련된 RQVAE 의 어휘와 디코더는 각 목표 스케일에 대한 스케일별 디코더와 재구성 손실을 사용하여 파인튜닝됩니다. 이는 어휘가 서로 다른 해상도 간에 의미론적으로 일관되도록 보장합니다.
• 결과: 이는 모델이 초기 토큰들이 여러 스케일에서 유효한 거친 의미 구조를 나타낸다는 것을 학습하도록 하는 '강한 귀납적 편향 (strong inductive bias)'을 생성하며, 동일한 토큰 시퀀스로부터 128×128, 256×256, 512×512 와 같은 중간 해상도에서 유효한 이미지를 재구성할 수 있게 합니다.

2. DPO 정규화

외부 보상 모델이나 대규모 부정적 데이터셋에 의존하지 않고 이미지 품질을 향상시키기 위해, 저자들은 직접 선호도 최적화 (DPO) 기반의 정규화 항을 도입합니다:

• 메커니즘: 모델은 ground-truth HR 토큰의 로그 가능도를 최대화하도록 훈련되는 동시에, LR 입력의 단순한 이선형 업샘플링과 유사한 토큰의 가능도에 대해 패널티를 부과받습니다.
• 수식화: 손실 함수는 $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$로 정의되며, 여기서 $p(z_{HR})$와 $p(z_{LR})$는 각각 HR 및 LR 토큰 시퀀스의 확률입니다.
• 장점: 이 접근법은 모델 자체의 HR 과 LR 시퀀스를 구분하는 능력을 활용하여 외부 VLM 이나 부정적 샘플 수집의 필요성을 제거합니다.

아키텍처 및 학습

• 모델 크기: 저자들은 이전 작업에서 사용된 10 억 개 이상의 파라미터 모델에 비해 상대적으로 작은 트랜스포머 (3 억 1 천만 개 파라미터, 16 개 블록) 를 활용합니다.
• 학습 데이터: 모델은 독점적이거나 대규모 외부 코퍼스 없이 표준 ISR 데이터셋 (DIV2K, DIV8K, Flickr2k, OST 및 FFHQ 의 하위 집합) 에서 훈련됩니다.
• 조건부: ControlNet 을 사용하는 VARSR 과 달리, 이 방법은 업샘플링된 LR 이미지의 RQVAE 인코더 특징을 직접 조건부 신호로 사용합니다.

주요 기여

1. 최초의 다중 스케일 VAR 기반 ISR: 이 논문은 스케일 간 의미론적 일관성을 유지하면서 중간 스케일을 이미지 공간으로 디코딩할 수 있는 최초의 VAR 기반 접근법을 소개하여, 단일 순전파에서 다중 스케일 출력을 가능하게 합니다.
2. HIT 를 통한 강한 귀납적 편향: 제안된 계층적 이미지 토큰화는 강한 귀납적 편향으로 작용하여, 거대한 백본 없이도 3 억 1 천만 개 파라미터의 작은 모델이 최첨단 결과를 달성할 수 있게 합니다.
3. DPO 를 통한 단순화된 학습: DPO 기반 정규화 항의 도입은 대규모 주석 부정적 샘플이나 외부 보상 모델에 대한 의존성을 제거하여 학습 과정을 단순화하면서도 우수한 선명도와 품질을 제공합니다.

실험 결과

제안된 방법 (H-VAR) 은 GAN 기반, 확산 기반, AR 기반 베이스라인에 대해 합성 (DIV2K-Val) 및 실세계 (RealSR, DRealSR) 데이터셋에서 평가되었습니다.

• 다중 스케일 능력: 중간 스케일 (예: 256×256) 에서 일관된 이미지를 생성하지 못하는 베이스라인 (VARSR, Baseline) 과 달리, H-VAR 은 단일 패스로부터 1 배, 2 배, 4 배 스케일에서 유효한 이미지를 성공적으로 재구성합니다.
• 성능:
  • RealSR에서 H-VAR 은 PSNR 25.55 및 LPIPS 0.256 을 달성하여 VARSR(PSNR 24.61, LPIPS 0.350) 과 기타 확산/GAN 방법을 능가합니다.
  • DRealSR에서 H-VAR 은 PSNR 28.73 을 달성하여 VARSR(28.16) 과 StableSR(27.87) 을 능가합니다.
• 효율성: 3 억 1 천만 개 파라미터 모델은 DIV2K-Val 에서 VARSR(0.93 초) 대비 0.25 초의 추론 시간으로 더 적은 계산 자원을 요구하면서도 10 억 개 파라미터 VARSR 모델을 크게 능가합니다.
• 애블레이션: HIT 구성 요소를 제거하면 성능이 크게 저하되어 이것이 중요한 귀납적 편향임을 확인시켜 줍니다. 마찬가지로 DPO 정규화를 제거하면 더 흐릿한 결과와 낮은 PSNR/LPIPS 점수로 이어집니다.

의의 및 주장

이 논문은 표준 RQVAE 공식에 내재된 '고정 스케일' 제한을 해결함으로써 ISR 에 VAR 를 적용하는 패러다임을 발전시켰다고 주장합니다. 계층적 이미지 토큰화를 도입함으로써 저자들은 거대한 독점 데이터나 복잡한 외부 안내 메커니즘 없이 표준 데이터셋에서 훈련된 소형 모델 (3 억 1 천만 개 파라미터) 로도 최첨단 초해상도 결과를 달성할 수 있음을 입증합니다. 이 연구는 토큰화 자체의 구조 (HIT) 가 강력한 성능 추진력이며, 모델을 의미론적으로 의미 있는 다중 스케일 표현을 향하도록 이끄는 강한 귀납적 편향으로 작용함을 강조합니다.