Distilling Specialized Orders for Visual Generation

1. 연구 배경 및 문제 정의 (Problem)

• 자기회귀 (AR) 모델의 한계: 최근 이미지 생성 분야에서 자기회귀 (Autoregressive, AR) 모델이 확산 모델 (Diffusion Models) 과 경쟁할 만큼 높은 품질과 확장성을 보여주며 주목받고 있습니다. 그러나 기존 AR 모델은 대부분 **고정된 래스터 스캔 순서 (Raster-scan order, 왼쪽 상단에서 오른쪽 하단으로)**에 의존합니다.
  • 문제점: 고정된 순서는 인페인팅 (inpainting), 아웃페인팅 (outpainting), 편집 (editing) 과 같은 다양한 작업에 유연하게 대응할 수 없게 만듭니다. 이러한 작업을 수행하려면 별도의 재학습이 필요합니다.
• Any-Order AR 모델의 딜레마: 고정된 순서의 한계를 극복하기 위해 임의의 패치 순서 (Any-order) 로 학습하는 모델들이 등장했습니다. 이는 유연성을 제공하지만, N! 개의 가능한 순서 모두를 학습해야 하므로 모델 용량 (Capacity) 이 분산되어 생성 품질이 고정 순서 모델에 비해 떨어지는 단점이 있습니다.
• 핵심 질문: 단일 AR 모델이 임의의 순서로 학습하여 유연성을 유지하면서도, 동시에 생성 품질을 높일 수 있는 "전문화된 순서 (Specialized Order)"를 발견하고 이를 활용할 수 있을까?

2. 제안 방법: OAR (Ordered Autoregressive)

저자들은 **OAR (Ordered Autoregressive)**라는 자기 증류 (Self-Distillation) 파이프라인을 제안합니다. 이 방법은 임의 순서 모델을 기반으로 하여, 모델의 자신에 대한 신뢰도 (Confidence) 를 이용해 최적의 생성 순서를 추출하고 이를 통해 모델을 미세 조정 (Fine-tuning) 합니다.

주요 단계:

1. 임의 순서 AR 모델 학습 (Any-Order AR Training):
   • 먼저 이미지 패치들의 무작위 순서 (Random Permutations) 로 학습하여 모든 가능한 조건부 확률 분포를 학습하는 'Any-Order AR' 모델을 구축합니다. 이 단계에서 모델은 인페인팅 등 다양한 작업에 필요한 유연성을 습득합니다.
2. 전문화된 순서 추출 (Specialized Order Extraction):
   • 학습된 Any-Order 모델을 '교사 (Teacher)'로 활용합니다. 각 학습 이미지마다, 모델이 다음 토큰을 예측할 때 가장 높은 확률 (Likelihood) 을 보이는 위치를 그리디 (Greedy) 방식으로 선택하여 해당 이미지에 최적화된 생성 순서 ($l^*$) 를 도출합니다.
   • 이는 모델이 가장 자신 있는 영역부터 생성하도록 유도하여, 오류가 누적되는 것을 방지하고 생성 품질을 높이는 원리입니다.
3. 자기 증류 및 미세 조정 (Self-Distillation & Fine-tuning):
   • 추출된 이미지 - 순서 쌍 $(x, l^*)$을 사용하여 모델을 미세 조정합니다.
   • 용량 재할당 (Capacity Reallocation): 모델이 N! 개의 모든 순서를 학습할 필요가 없어지고, 각 이미지별 최적의 단일 경로에 집중하게 되어 생성 품질이 향상됩니다.
   • 순서 어닐링 (Order Annealing): 초기에는 혼합된 순서로 학습하다가 점차 전문화된 순서만 학습하도록 점진적으로 전환하여, Any-Order 모델의 유연성 (재학습 없이 인페인팅 가능) 을 유지하면서도 품질을 극대화합니다.

추론 (Inference) 시 최적화:

• 추론 시에도 그리디 방식으로 다음 패치 위치를 선택하지만, **병렬 쿼리 (Parallel Querying)**와 최적화된 KV 캐싱 기술을 적용하여 계산 비용을 줄이고 속도를 높였습니다.

3. 주요 기여 (Key Contributions)

1. 유연성과 품질의 동시 달성: Any-Order AR 모델의 유연성 (재학습 없는 인페인팅/편집) 을 유지하면서, 전문화된 순서 증류를 통해 생성 품질 (FID 등) 을 획기적으로 개선했습니다.
2. 이론적 및 실증적 분석: "순서 전문화 (Order Specialization)"가 모델 용량을 N! 개의 순서 학습에서 단일 최적 경로 학습으로 재할당하여 품질 향상을 이끈다는 것을 증명했습니다.
3. 새로운 아키텍처 변경 없이 적용 가능: 기존 Any-Order 모델의 구조를 변경하거나 추가 주석이 필요 없이, 경량화된 미세 조정 파이프라인만으로 효과를 입증했습니다.

4. 실험 결과 (Results)

• ImageNet 256x256:
  • 기존 Any-Order Baseline (RandAR-XL) 의 FID 2.39 를 OAR 를 통해 2.17 로 개선했습니다.
  • Raster-scan 기반 모델보다 유연성이 뛰어나며, RAR (Randomized AR) 과 비교했을 때 인페인팅 등 Zero-shot 작업에서 우위를 보였습니다.
• Human Evaluation (인간 평가):
  • 21 개의 ImageNet 클래스에 대한 인간 선호도 조사에서 64.33% 의 선호도를 기록하여 Baseline 을 압도했습니다. 특히 21 개 중 16 개 클래스에서 OAR 가 더 높은 평가를 받았습니다.
• 다른 데이터셋 (Fashion Products, CelebA-HQ):
  • Fashion Products 데이터셋에서 FID 4.07 (Random) → **2.56 (OAR)**로 개선.
  • CelebA-HQ 데이터셋에서 FID 1.94 (Raster) → **1.41 (OAR)**로 개선.
  • 특히 CelebA-HQ 에서 모델이 얼굴의 주요 특징 (눈, 입술 등) 을 먼저 생성하고 배경을 나중에 생성하는 의미론적 구조화된 순서를 학습함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 AR 기반 이미지 생성 모델의 가장 큰 약점인 "유연성 vs. 품질"의 트레이드오프를 해결했습니다.

• 실용성: 별도의 재학습 없이 인페인팅, 아웃페인팅, 편집이 가능한 Zero-shot 능력을 유지하면서, 확산 모델에 버금가는 고품질 이미지를 생성할 수 있게 되었습니다.
• 효율성: 복잡한 구조 변경 없이 증류 (Distillation) 기법만으로 성능을 끌어올렸으며, 병렬 처리 기법을 통해 추론 속도도 현실적으로 사용 가능한 수준으로 최적화했습니다.
• 미래 방향: 생성 순서를 학습하는 예측기를 개발하여 추론 시 그리디 탐색의 계산 비용을 줄이거나, 반복적인 정제 (Iterative Refinement) 과정을 통해 순서 품질을 지속적으로 높이는 방향으로의 확장을 제시합니다.

요약하자면, OAR는 "모델이 스스로 가장 잘 예측하는 순서를 찾아내어 학습함으로써, 유연성은 잃지 않으면서도 더 선명하고 자연스러운 이미지를 만들어내는" 혁신적인 접근법입니다.