기술적 요약: 트랜스포머를 활용한 확장 가능한 GAN (GAT)

1. 문제 제기

확장성 (scalability) 은 최근 생성 모델링 (특히 자기회귀 및 확산 계열) 에서의 획기적인 발전을 주도해 왔으나, 생성적 적대 신경망 (GAN) 은 이 측면에서 여전히 충분히 탐구되지 않았습니다. GAN 을 확장하려는 기존 시도들은 종종 단일 고용량 모델에 의존하며 작업별 튜닝을 광범위하게 수행할 뿐, 진정한 체계적인 확장성을 입증하지는 못했습니다. furthermore, 표준 GAN 학습은 확장 시 다음과 같은 특정 장애물에 직면합니다:

1. 초기 레이어의 미활용: 대규모 트랜스포머 기반 생성기에서 초기 레이어들은 종종 비활성화되어 이미지 합성에 미미한 기여만 합니다.
2. 최적화 불안정성: 하이퍼파라미터 (특히 학습률) 를 동일하게 유지한 채 모델의 깊이와 너비를 무작정 증가시키면 수렴 실패가 발생합니다. 더 큰 모델은 동일한 학습률 하에서 더 큰 단계별 출력 변화를 보이며, 이는 민감한 적대적 역학을 불안정하게 만듭니다.

2. 방법론

저자들은 확장성을 위한 두 가지 핵심 요소인 사전 훈련된 고정된 변이형 오토인코더 (VAE) 잠재 공간에서의 학습과 생성기 및 판별자 모두를 위한 순수 트랜스포머 기반 아키텍처의 활용을 결합한 생성적 적대 트랜스포머 (Generative Adversarial Transformers, GAT) 프레임워크를 제안합니다.

2.1 아키텍처

• 잠재 공간: 모델은 사전 훈련되고 고정된 VAE(특히 SD-VAE) 의 잠재 공간에서 작동하여 계산 부하를 줄이면서도 지각적 충실도를 유지합니다.
• 생성기: 순수 비전 트랜스포머 (ViT) 아키텍처입니다. 잠재 코드 $z$와 조건 $c$를 입력받아 트랜스포머 블록 (GAT 블록) 스택을 통해 처리한 후, 언패치 (unpatchify) 레이어 (선형 디코더) 를 통해 이미지를 출력합니다. 안정성을 위해 적응형 정규화 (adaptive normalization) 와 LayerScale 을 사용합니다.
• 판별자: 분류를 위한 전용 [cls] 토큰을 갖춘 ViT 백본으로, 역시 LayerScale 을 활용합니다.

2.2 확장성을 위한 주요 혁신

GAN 확장 시 발생하는 특정 실패 모드를 해결하기 위해 저자들은 두 가지 주요 메커니즘을 도입합니다.

A. 다중 레벨 노이즈 교란 이미지 가이드 (MNG)
초기 레이어가 비활성화되는 것을 방지하기 위해, 생성기는 $K$개의 단계로 나뉘며 각 단계는 중간 출력 $\hat{x}_k$를 생성합니다.

• 노이즈 계층 구조: 각 중간 출력은 깊이에 따라 단조롭게 감소하는 강도의 가우시안 노이즈로 교란됩니다 ($\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$).
• 감독: 모든 교란된 중간 출력은 판별자로 전달됩니다. 이는 초기 레이어가 강한 노이즈 하에서 거친 구조를 학습하고, 후기 레이어는 약한 노이즈 하에서 미세한 세부 사항을 정제하도록 강제합니다.
• 효과: 이는 MSG-GAN 과 달리 명시적인 이미지 계층 구조 없이도 모든 레이어가 합성 과정에 능동적으로 기여하도록 보장하는 거칠기에서 정밀함으로의 정제 궤적을 장려합니다.

B. 너비 인식 학습률 스케일링
서로 다른 모델 크기 전반에 걸쳐 안정적인 학습 역학을 유지하기 위해 저자들은 학습률 ($\eta$) 에 대한 스케일링 규칙을 제안합니다.

• 원리: 모델 너비 (채널 차원 $C$) 가 증가함에 따라 입력의 기대 제곱 노름이 선형적으로 증가하여, 고정된 학습률에서 단계별 출력 업데이트가 더 커집니다.
• 규칙: 기능적 업데이트의 크기를 일정하게 유지하기 위해 학습률은 채널 차원에 반비례하여 감소해야 합니다:
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• 효과: 이는 더 큰 모델에서의 발산을 방지하고 각 스케일마다 하이퍼파라미터를 수동으로 튜닝할 필요성을 제거합니다.

C. 추가 목적 함수

• 표현 정렬 (REPA): 판별자는 실제 데이터에 대한 유사도 손실을 사용하여 고정된 비전 기반 모델 (VFM, 예: DINOv2) 과 정렬됩니다. 이는 판별자가 의미적으로 풍부한 특징을 학습하도록 장려하여 더 나은 적대적 피드백을 제공합니다.
• 적대적 손실: 프레임워크는 양측 기울기 페널티 (근사 R3GAN) 를 사용하는 상대적 페어링 손실을 사용합니다.

3. 주요 결과

저자들은 ImageNet-256 데이터셋에서 소형 (S) 에서 초대형 (XL) 에 이르는 다양한 모델 크기에 걸쳐 GAT 를 검증했습니다.

• 최고 수준의 성능: GAT-XL/2 모델은 ImageNet-256 에서 단 60 에포크 만에 FID 2.18을 달성했습니다. 이는 MeanFlow-XL/2(FID 3.43) 과 같은 강력한 1-NFE(한 단계) 베이스라인보다 월등히 우수한 결과이며, 다른 강력한 베이스라인 (예: GigaGAN 은 480 에포크 필요) 보다 4 배 적은 에포크 수를 요구합니다.
• 확장성: 성능은 모델 크기가 커짐에 따라 (S $\to$ XL) 단조롭게 향상됩니다. 추론 비용 (GFLOPs) 과 FID 사이에는 강한 음의 상관관계 (-0.95) 가 있으며, 총 학습 계산량에 대해서도 유사한 상관관계가 멱법칙을 따릅니다: $FID(C) \approx 3.52 \times 10^5 \cdot C^{-0.456}$.
• 효율성: GAT 는 GAN 의 단일 단계 추론 장점 (1 NFE) 을 유지하여, 동등한 품질의 다단계 확산 모델 (예: DiT) 에 비해 추론 시간에서 약 200 배의 속도 향상을 제공합니다.
• 애블레이션 연구:
  • MNG 를 제거하면 초기 레이어가 비활성화되고 성능이 저하됩니다.
  • 스케일 전반에 고정된 학습률을 사용하면 더 큰 모델에서 발산하거나 더 작은 모델에서 수렴이 느려집니다.
  • REPA 목적 함수는 성능을 크게 향상시키며, 확산 모델의 기법이 GAN 으로 효과적으로 이전됨을 보여줍니다.
• 일반화: 이 방법은 더 높은 해상도 (ImageNet-512) 와 다른 토크나이저 (FLUX-e2e) 로 확장 가능하며, 텍스트 - 이미지 생성 (MS-COCO) 과 무조건부 생성 (FFHQ) 을 지원합니다.

4. 중요성과 주장

이 논문은 GAT 가 현대의 확산 및 자기회귀 모델과 경쟁하는 성능을 유지하면서도 GAN 의 고유한 장점을 보존하는 확장 가능한 GAN 프레임워크를 성공적으로 정립했다고 주장합니다:

1. 단일 단계 추론: 반복적 탈노이징 없이 고효율 생성.
2. 잠재 조작: 대규모 스케일에서도 일관성을 유지하는 부드러운 잠재 보간 및 의미 편집 수행 능력.
3. 데이터 효율성: 확산 베이스라인에 비해 훨씬 적은 학습 에포크로 최고 수준의 결과를 달성.

저자들은 이 작업을 "GAN 확장"을 향한 한 걸음으로 위치시키며, 올바른 아키텍처 선택 (순수 트랜스포머) 과 최적화 전략 (MNG 및 너비 인식 학습률) 을 통해 적대적 학습을 견고하고 확장 가능하게 만들 수 있음을 입증합니다. 이는 확산 모델에 비해 GAN 이 본질적으로 확장 잠재력이 제한적이라는 관념에 도전합니다.