RestoreVAR: 시각적 자기회귀 (Visual Autoregressive) 를 활용한 범용 이미지 복원 기술

이 논문은 RestoreVAR이라는 새로운 생성형 이미지 복원 (All-in-One Image Restoration, AiOR) 프레임워크를 제안합니다. 기존에 널리 사용되던 잠재 확산 모델 (Latent Diffusion Models, LDMs) 의 느린 추론 속도와 계산 비용 문제를 해결하면서, 비생성형 모델의 픽셀 단위 정확도와 LDM 의 지각적 현실감을 모두 달성하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

이미지 복원은 흐림, 안개, 비, 눈, 저조도 등 다양한 열화 (degradation) 를 제거하여 깨끗한 이미지를 복원하는 복잡한 역문제입니다. 최근 **범용 이미지 복원 (AiOR)**은 단일 네트워크로 여러 종류의 열화를 처리하는 방식으로 주목받고 있습니다.

• 비생성형 모델 (Non-generative): PromptIR, InstructIR 등. 빠른 추론 속도와 안정적인 픽셀 단위 복원 성능을 보이지만, 실제 세계의 다양한 열화 상황에 대한 일반화 (generalization) 능력이 부족합니다.
• 생성형 모델 (Generative - LDM 기반): Stable Diffusion 등을 활용한 Diff-Plugin, AutoDIR 등. 강력한 생성 사전 지식 (priors) 을 통해 지각적으로 현실적인 결과와 뛰어난 일반화 능력을 보이지만, 반복적인 디노이징 (denoising) 과정으로 인해 추론 속도가 매우 느리고 계산 비용이 높습니다. 또한, VAE 디코더의 한계로 인해 미세한 구조적 세부 사항이 손실되는 경향이 있습니다.

2. 방법론 (Methodology)

저자들은 최근 이미지 생성 분야에서 주목받는 **시각적 자기회귀 모델링 (Visual Autoregressive Modeling, VAR)**을 AiOR 작업에 적용하여 RestoreVAR 을 개발했습니다.

2.1 핵심 아이디어: 스케일 - 공간 자기회귀 (Scale-Space Autoregression)

VAR 은 이미지를 픽셀 단위가 아닌, 다중 스케일 (multi-scale) 잠재 공간에서 coarse(거친) 스케일에서 fine(세밀) 스케일 순서로 자기회귀적으로 생성합니다.

• 스케일 분석: 저자들의 분석에 따르면, VAR 의 **coarse 스케일 (초기 단계)**은 주로 열화 (degradation) 정보를 포착하고, **fine 스케일 (후기 단계)**은 장면의 세부 사항 (scene detail) 을 인코딩합니다.
• 복원 전략: 이 특성을 활용하면, 열화를 제거하는 것은 초기 스케일 (소수의 토큰) 을 올바르게 예측하는 것으로 간주할 수 있어 복원 과정이 단순화됩니다.

2.2 RestoreVAR 아키텍처

VAR 을 AiOR 작업에 최적화하기 위해 다음과 같은 구조적 개선이 이루어졌습니다.

1. 교차 주의 메커니즘 (Cross-Attention Conditioning):

   • 열화된 이미지의 잠재 표현 (continuous latent) 을 VAR 트랜스포머의 각 블록에 **교차 주의 (Cross-Attention)**를 통해 주입합니다.
   • 이는 생성된 이미지가 열화된 입력과 공간적으로 일관성을 유지하도록 하여, 할루시네이션 (hallucination) 을 최소화하고 의미론적 일관성을 확보합니다.
   • 이산 (discrete) 잠재보다 연속 (continuous) 잠재로 조건을 설정했을 때 성능이 훨씬 우수함이 확인되었습니다.

2. 세부 정보 보존을 위한 잠재 정제 트랜스포머 (Latent Refinement Transformer, LRT):

   • VAR 의 출력은 벡터 양자화 (VQ) 와 VAE 디코딩 과정에서 미세한 세부 사항이 손실될 수 있습니다.
   • 이를 해결하기 위해 **가벼운 비생성형 트랜스포머 (LRT)**를 도입했습니다. LRT 는 VAR 이 예측한 이산 (discrete) 잠재에 잔차 (residual) 를 더하여 연속 (continuous) 잠재로 변환합니다.
   • 이 과정은 추가적인 오버헤드가 약 3% 에 불과하면서도 세부 정보 복원에 결정적인 역할을 합니다.

3. VAE 디코더 미세 조정 (Fine-tuning):

   • 기존 VAE 디코더는 생성 다양성에 최적화되어 있어 복원에는 부적합할 수 있습니다.
   • 저자들은 **연속 잠재 (continuous latents)**에 대해 VAE 디코더를 미세 조정 (fine-tuning) 하였습니다. 픽셀 손실, SSIM, 지각적 손실, 그리고 적대적 손실 (adversarial loss) 을 결합하여 디코더가 AiOR 작업에 적합한 고품질 재구성을 하도록 학습시켰습니다.

3. 주요 기여 (Key Contributions)

1. RestoreVAR 제안: LDM 기반 방법론보다 10 배 이상 빠른 추론 속도를 가지면서도 생성형 AiOR 에서 최첨단 (SOTA) 성능을 달성하는 최초의 VAR 기반 프레임워크입니다.
2. 의미론적 일관성 확보: 열화된 이미지의 연속 잠재에 기반한 교차 주의 메커니즘을 도입하여 공간적 일관성을 유지하고 할루시네이션을 줄였습니다.
3. 세부 정보 복원 기술: 이산 잠재와 연속 잠재 간의 간극을 메우기 위해 경량화된 비생성형 잠재 정제 트랜스포머 (LRT) 와 연속 잠재용 VAE 디코더 미세 조정 기법을 제안했습니다.
4. 실험적 검증: 다양한 데이터셋에서 LDM 기반 방법론을 능가하는 성능과 비생성형 모델에 버금가는 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 성능: RESIDE, Snow100k, Rain13K, LOLv1, GoPro 등 다양한 데이터셋에서 PSNR, SSIM, LPIPS 지표를 측정했습니다. RestoreVAR 은 Diff-Plugin, AutoDIR, PixWizard 등 기존 LDM 기반 생성 모델들보다 PSNR, SSIM, LPIPS 모두에서 우수한 성능을 보였습니다.
• 속도: LDM 기반 모델들은 2~8 초 이상의 추론 시간이 소요되는 반면, RestoreVAR 은 약 0.2 초로 10 배 이상 빠릅니다. 이는 VAR 의 O(log n) 복잡도 특성과 확산 모델의 O(n^4 log n) 복잡도 차이에서 기인합니다.
• 일반화 (Generalization): 실제 세계의 미시적, 혼합된 열화 (LHP, REVIDE, TOLED 등) 데이터셋에서 비생성형 모델들보다 MUSIQ 및 CLIP-IQA 지표를 통해 더 높은 지각적 품질과 일반화 능력을 보여주었습니다.
• 사용자 연구: 50 개의 실제 장면에서 사용자들이 평가한 결과, RestoreVAR 이 다른 모든 방법론 (비생성형 및 LDM 기반 포함) 보다 가장 높은 평균 점수를 받아 인간 선호도와 가장 부합하는 결과를 생성함을 입증했습니다.

5. 의의 및 결론 (Significance)

RestoreVAR 은 이미지 복원 분야에서 **속도와 품질의 트레이드오프 (trade-off)**를 획기적으로 개선했습니다.

• 기존 LDM 기반 생성 모델이 가진 느린 추론 속도와 미세 세부 사항 손실 문제를 해결하면서도, 강력한 생성 사전 지식을 통한 일반화 능력과 지각적 현실감을 유지했습니다.
• 비생성형 모델의 빠른 속도와 LDM 의 높은 품질을 모두 갖춘 새로운 패러다임을 제시하여, 실시간이 요구되는 비디오 감시, 자율 주행 등 시간 민감도가 높은 애플리케이션에서의 생성형 이미지 복원 적용 가능성을 크게 높였습니다.

결론적으로, RestoreVAR 은 생성형 모델의 한계를 넘어 고속, 고품질, 강건한 범용 이미지 복원을 실현하는 중요한 진전입니다.