기술 요약: 혼합 전문가(Mixture of Experts)를 이용한 시각적 자기회귀 모델링을 위한 다중 스케일 표현 정렬 (MEPA)

1. 문제 정의

시각적 자기회귀(Visual AutoRegressive, VAR) 모델링은 이미지를 다중 스케일 잔차 표현(multi-scale residual representations)으로 분해하고 스케일을 순차적으로 예측함으로써 성공적인 coarse-to-fine 생성 패러다임을 구축했습니다. 그러나 저자들은 현재의 VAR 아키텍처에서 두 가지 고유한 결함을 식별했습니다:

1. 공유 아키텍처에서의 최적화 충돌: 표준 VAR 모델은 모든 스케일(작은 스케일부터 큰 스케일까지)에 대해 단일 공유 트랜스포머 아키텍처를 사용합니다. 그러나 서로 다른 스케일은 서로 다른 학습 목표를 가집니다. 낮은 스케일은 전역적인 의미론(semantics)과 레이아웃을 포착하는 반면, 높은 스케일은 미세한 디테일과 질감에 집중합니다. 이러한 이질적인 특징 공간(feature spaces)을 동시에 학습하도록 공유된 아키텍처를 강제하는 것은 최적화 충돌을 유발하여 효과적인 다중 스케일 표현 학습을 저해합니다.
2. 의미론적 오류 전파: 인과적(causal) 특성을 가진 자기회귀 과정 때문에, 높은 스케일의 예측은 이전 스케일에서 생성된 특징 맵에 엄격하게 종속됩니다. 작은 또는 중간 스케일에서의 부정확한 의미론적 표현은 생성 체인을 통해 전파되고 증폭되어, 최종 출력 품질의 심각한 저하를 초도합니다.

2. 방법론: MEPA

이러한 과제를 해결하기 위해 저자들은 스케일 인지형 혼합 전문가(scale-aware Mixture of Experts) 아키텍처와 의미론적 가이드 메커니즘을 결방한 MEPA(Multi-scale rEpresentation Alignment) 프레임워크를 제안합니다.

2.1 스케일 인지 토큰 라우팅 혼합 전문가 (STMoE)

저자들은 스케일에 따라 모델 용량을 분리하여 특화된 특징 학습을 가능하게 하는 토큰 라우팅 MoE 아키텍처를 도입했습니다.

• SMoE에서 STMoE로의 진화: 저자들은 먼저 토큰을 오직 스케일 인덱스에 기반하여 전문가에게 할당하는 스케일 라우팅 MoE(SMoE)를 설계했습니다. 그러나 이는 동일한 스케일 내의 모든 토큰이 동일하게 라우팅되어 부하 불균형을 초래하고 유연성을 제한하는 "라우팅 균질화(routing homogenization)" 현상을 일으켰습니다.
• STMoE 설계: 이를 해결하기 위해 저자들은 **스케일 인지 토کن 라우팅 MoE(STMoE)**를 제안합니다. 이 방식은 스케일 임베딩을 입력 토큰에 직접 통합합니다. 그 후 토큰 기반 라우터는 토큰의 의미론적 내용과 스케일 정보를 모두 바탕으로 친화도 점수를 계산합니다. 이를 통해 동일한 스케일 내에서도 적응형 전문가 선택이 가능해져, 부하 분산(load balancing)을 개선하고 미세한 특성화를 구현할 수 있습니다.
• 부하 분산: 훈련 중 전문가의 균등한 활성화를 보장하기 위해 표준 부하 분산 손실(load-balance loss)이 포함되었으며, 이는 분산 훈련 효율성에 필수적입니다.

2.2 잔차 집계 및 의미론적 가이드 (SG)

의미론적 오류 전파를 완화하기 위해, 저자들은 VAR 표현을 외부 자기지도 특징(self-supervised features)과 정렬하는 의미론적 가이드(Semantic Guidance) 메커니즘을 도입했습니다.

• 인과적 정렬 전략: 최종 표현만을 제약하는 단순한 정렬과 달리, MEPA는 생성의 초기 단계를 목표로 합니다. 저자들은 대규모 예측이 소규모 특징에 의존하기 때문에, 오류 전파를 방지하려면 초기 단계에 의미론적 정규화가 적용되어야 한다고 주장합니다.
• 잔차 집계(Residual Aggregation): VAR의 다중 스케일 잔차 특징과 (완전한 패치 기반 표현을 학습하는) 자기지도 인코더 사이의 직접적인 정렬은 특징 간 격차(feature gap)로 인해 최적이 아닙니다. MEPA는 잔차 특징을 누적적으로 집계(스케일 1부터 $j$까지 업샘플링 및 합산)하여 점진적으로 풍부해지는 표현을 생성함으로써 이 문제를 해결합니다.
• 타겟 선택: 저자들은 중간 스케일 집계 특징(구체적으로 스케일 1-5, 1-6, 1-7)을 정렬하는 것이 가장 좋은 결과를 낸다는 것을 경험적으로 결정했습니다. 이는 프로세스 초기에 "거친 의미론적 스케치(coarse semantic sketches)"를 강화하여, 이후의 미세한 디테일 생성을 위한 신뢰할 수 있는 토대를 제공합니다.
• 외부 인코더: 프레임워크는 DINOv2나 MoCoV3보다 우수한 구조적 및 의미론적 정확도를 제공한다고 밝힌 사전 훈련된 DINOv3 인코더의 특징을 활용합니다.

최종 훈련 목적 함수는 원래의 자기회귀 교차 엔트로피 손실과 의미론적 가이드 손실의 결합으로 구성됩니다.

3. 주요 기여

1. VAR의 한계에 대한 체계적 분석: 본 논문은 공유 아키텍처에서 발생하는 최적화 충돌과 인과적 VAR 패러다임에서의 의미론적 오류 전파를 강조하고 분석합니다.
2. MEPA 프레임워크: 스케일 간 표현 학습을 분리하고 전문가 부하 분산을 개선하는 새로운 스케일 인지 토큰 라우팅 MoE(STMoE)를 제안합니다.
3. 맞춤형 의미론적 정렬: 일반적인 정렬 전략을 적용하는 대신, 생성 체인을 안정시키기 위해 초기 스케일에 정확한 의미론적 정보를 주입하는 VAR 전용 잔차 특징 집계 방식을 설계했습니다.
4. 효율성 및 품질 향상: MEPA가 더 적은 훈련 에포크와 더 작은 파라미터 예산으로도 우수한 성능을 달 수 있도록 하여, 훈련 효율성과 생성 품질을 모두 크게 개선함을 입증했습니다.

4. 실험 결과

본 방법은 ImageNet 256×256 클래스 조건부 벤치마크에서 평가되었습니다.

• 베이스라인 대비 성능: MEPA-d16은 200 에포크 훈련 시 2.32의 FID를 달성하여, 밀집(dense) VAR-d16 베이스라인(FID 3.55) 및 기타 최첨단 자기회귀 모델들을 능가했습니다.
• 훈련 효율성: 핵심적인 발견은 효율성 향상입니다. MEPA-d16은 단 100 에포크만 훈련해도 2.65의 FID를 달성하며, 이는 200~250 에포크 동안 훈련된 베이스라인과 비슷하거나 더 나은 수치입니다. 이는 수렴에 도달하는 속도가 2배 빠름을 의미합니다.
• 어블레이션 연구(Ablation Studies):
  • STMoE vs. SMoE: STMoE는 가이던스 없이(FID 2.99 vs. 3.11) SMoE보다 우수한 성능을 보여, 토큰 수준의 라우팅 유연성이 스케일 전용 라우팅보다 우월함을 확인했습니다.
  • 의미론적 가이드(Semantic Guidance): 베이스라인 VAR-d16에 SG를 추가하면 (DINOv3 사용 시) FID가 4.10에서 3.55로 감소합니다.
  • 집계 전략: 중간 집계 특징을 정렬하는 것(+SG-M)이 최종 집계 표현만을 정렬하는 것(+SG-Last)보다 더 나은 결과를 냈으며, 이는 초기 단계의 의미론적 교정이 중요하다는 가설을 검증합니다.
• REPA와의 비교: 확산 모델(SiT)에 적용된 REPA와 비교했을 때, MEPA는 더 큰 성능 향상(MEPA 21.36% 개선 vs. REPA 12.62% 개선)을 보여주며, 제안된 정렬 전략이 VAR 패러다임에 특히 효과적임을 시사합니다.
• 오버헤드: 이 방법은 추론 시간(0.7배)과 에포크당 훈련 시간(4.50%)의 미미한 증가를 초래하지만, 이는 빠른 수렴과 높은 품질에 의해 상쇄됩니다.

5. 의의 및 주장

저자들은 MEPA가 VAR 패러다임에 특별히 맞춤화된 최초의 체계적인 표현 정렬 연구라고 주장합니다. 저자들은 자신들의 접근 방식이 기존의 정렬 방법(예: 확산 모델을 위한 REPA)의 직접적인 확장이 아니라, 잔차와 완전한 표현 사이의 특징 격차 및 오류의 인과적 전파와 같은 VAR 고유의 과제를 해결한다는 점을 강조합니다.

결론적으로, 저자들은 MEPA가 STMoE를 통해 표현 학습을 분리하고 초기 단계의 의미론적 가이드를 통해 생성 체인을 안정화함으로써, VAR의 높은 추론 효율성과 확산 모델의 높은 생성 품질 사이의 간극을 성공적으로 메웠다고 설명합니다. 저자들은 MEPA가 제한된 훈련 예산 하에서 기존 방법들보다 우수함을 보여주었으나, 더 높은 해상도(예: 512×512) 및 더 큰 모델로의 확장은 향후 연구 과제로 남겨두고 있습니다.