기술 요약: GAN 훈련을 위한 교차 스케일 정렬된 감독

1. 문제 제기

본 논문은 현대의 다단계 생성적 적대 신경망 (GAN) 에서 표준 스케일별 적대적 감독의 해석에 존재하는 근본적인 결함을 다룹니다. 이러한 아키텍처는 종종 " coarse-to-fine(거칠기에서 정밀함으로)" 계층적 생성을 수행한다고 묘사되지만, 저자들은 이것이 적절한 계층 구조를 구축하지 못한다고 주장합니다.

핵심 문제는 교차 스케일 궤적 불일치로 식별됩니다:

• 독립적 최적화: 표준 스케일별 감독에서 각 중간 생성기 출력 ($x_k$) 은 해당 해상도에서 판별기에 의해 독립적으로 평가됩니다. 적대적 기울기는 각 단계를 해당 해상도에서 어떤 현실적인 모드 쪽으로 밀어붙이지만, 출력이 최종 출력과 동일한 샘플 궤적을 나타내도록 제약하지는 않습니다.
• 정제 부족: 중간 이미지 $x_k$ 가 현실성을 위해 최적화되지만, 다음 단계의 명시적 정제 목표로 강제되지 않기 때문에 (다음 단계는 생성기 특징 $f_k$ 를 통해 진행됨), 후속 단계는 이전 출력에서 벗어날 수 있습니다. 이미지를 점진적으로 정제하는 대신, 후기 단계는 샘플을 완전히 "다시 작성"하여 다른 현실적인 모드 쪽으로 수렴할 수 있습니다.
• 결과: 이로 인해 개별적으로는 현실적이지만 서로 간에 일관성이 없는 중간 이미지들이 생성되어, 의도된 coarse-to-fine 생성 과정이 무너집니다. 저자들은 표준 감독 하에서 중간 출력과 최종 출력 간의 불일치가 여전히 크며, 단계 간 재작성이 점진적이기보다는 상당하다는 것을 입증합니다.

2. 방법론: CAT (교차 스케일 정렬 트랜스포머)

궤적 불일치를 해결하기 위해 저자들은 교차 스케일 일관성을 강제하면서도 스케일별 적대적 피드백의 이점을 유지하는 CAT 프레임워크를 제안합니다.

핵심 구성 요소

1. 스케일별 판별기:

   • 판별기는 여전히 스케일별이며, 각 중간 출력 ($x_k$) 을 자체 해상도에서 평가합니다.
   • 교차 스케일 정보 누출 없이 엄격한 스케일별 판별을 보장하기 위해, 저자들은 공유된 트랜스포머 판별기 내에서 블록 대각선 어텐션 마스크를 사용합니다. 이는 스케일 $k$ 의 토큰이 동일한 스케일의 토큰에만 어텐션할 수 있도록 하여, 판별기가 현실성을 판단할 때 교차 스케일 호환성에 의존하지 않도록 합니다.

2. 생성기 측 일관성 정규화:

   • 주요 혁신은 생성기 목적 함수에 추가된 간단한 일관성 손실입니다.
   • 또 다른 현실성 목적을 추가하는 대신, 이 손실은 중간 단계 출력 ($h_k$) 을 최종 단계 출력 ($h_K$) 에 정렬시킵니다.
   • 손실은 다음과 같이 정의됩니다:
     $$L_{cons} = \frac{1}{K} \sum_{k=0}^{K-1} w_k \|h_k - h_K\|_2^2$$
   • 가중치 전략: 가중치 $w_k$ 는 저해상도 (더 거친) 단계가 더 약한 제약을 갖도록 스케일링됩니다. 이는 거친 출력이 본질적으로 모호함 (많은 고해상도 샘플이 동일한 저해상도 구조를 공유할 수 있음) 을 인정하여, 초기 단계에 지나치게 경직된 점대점 제약을 부과하지 않으면서도 여전히 동일한 샘플 궤적 위에 있도록 보장합니다.

3. 훈련 목적 함수:
   생성기는 다음을 최소화하도록 훈련됩니다:
   $$L_G = L_{adv} + \lambda_{cons} L_{cons}$$
   여기서 $L_{adv}$ 는 표준 스케일별 적대적 손실이며, $\lambda_{cons}$ 는 하이퍼파라미터 (실험에서 0.1 로 설정됨) 입니다.

3. 주요 기여

• 불일치 식별: 본 논문은 표준 스케일별 적대적 감독이 본질적으로 coarse-to-fine 계층 구조를 생성하지 않는다는 것을 엄밀하게 분석하여 입증합니다. 또한 표준 방법이 일관된 샘플 궤적을 유지하지 못하는 실패를 정량화하기 위해 지표 (불일치 $\delta_k$, 재작성 크기 $R_k$, 방향 정렬 $A_k$) 를 도입합니다.
• CAT 아키텍처:** 판별기의 스케일별 피드백과 생성기의 궤적 정렬을 분리하는 방법을 제안합니다. 판별기를 스케일별로 유지하면서 생성기 측 일관성을 추가함으로써, 이 방법은 중간 출력들이 연결된 부수적 예측을 최적화하는 대신 최종 샘플을 지원하도록 보장합니다.
• 효율성과 성능: 이 방법은 기존 1 단계 베이스라인에 비해 훨씬 적은 훈련 에포크와 계산 자원으로 최첨단 결과를 달성합니다.

4. 실험 결과

실험은 SD-VAE 의 잠재 공간에서 ImageNet-256(256×256 해상도) 에서 수행되었습니다.

• 성능: CAT-H/2 모델은 단 60 개의 훈련 에포크 후 FID-50K 1.56을 달성합니다.
  • 이는 강력한 1 단계 GAN 베이스라인 (예: 2.18 FID 의 GAT-XL/2) 과 경쟁적인 1 단계 확산/흐름 모델 (예: 1.72 FID 의 iMF-XL/2) 보다 우수합니다.
  • 주목할 점은 CAT-H/2 가 iMF-XL/2 베이스라인보다 약 13 배 적은 훈련 에포크 (60 대 800 에포크) 로 이를 달성했다는 것입니다.
• 계산 효율성:
  • CAT-H/2 는 반복당 샘플당 훈련에 1,040.2 GFLOPs를 필요로 하는 반면, GAT-XL/2 는 2,297.2 GFLOPs, iMF-XL/2 는 1,306.3 GFLOPs가 필요합니다.
  • 이는 iMF-XL/2 대비 약 16.7 배 적은 총 훈련 GFLOPs 로 더 나은 FID 를 달성함을 의미합니다.
• 애블레이션 연구:
  • 일관성 손실 ($L_{cons}$) 을 제거하면 성능이 크게 저하됩니다 (예: 40 에포크 시 Medium 모델의 FID 가 1.93 에서 3.00 으로 증가).
  • 분석은 $L_{cons}$ 를 추가하면 불일치 ($\delta_k$) 와 재작성 크기 ($R_k$) 가 감소하고 방향 정렬 ($A_k$) 이 증가함을 확인시켜 주어, 이 방법이 성공적으로 교차 스케일 궤적 정렬을 강제한다는 것을 검증합니다.
• 정성적 결과: 큐레이션되지 않은 샘플은 다양한 카테고리에서 다양하고 고충실도의 이미지를 보여주며, 잠재 공간 보간은 부드러운 전환을 보여줍니다.

5. 중요성과 주장

본 논문은 생성기 측 교차 스케일 정렬이 트랜스포머 기반 GAN 의 확장성을 위한 중요하지만 과거에 간과된 원칙이라고 주장합니다.

• 계층적 감독의 재평가: 이 연구는 스케일별 적대적 감독만으로는 계층적 생성에 충분하다는 가정에 도전합니다. 명시적 정렬 없이는 다단계 GAN 이 궤적 불일치로 고통받아 일관성 없는 정제를 초래한다는 점을 제기합니다.
• 경쟁력 있는 1 단계 생성: 결과는 계층적 적대적 감독이 일관성 정규화를 통해 적절하게 조직될 때, 트랜스포머 기반 GAN 이 품질과 훈련 효율성 모두에서 확산 및 흐름 기반 모델을 능가하거나 견줄 수 있는 매우 경쟁력 있는 1 단계 생성 모델이 될 수 있음을 시사합니다.
• 확장성: 이 방법은 교차 스케일 일관성이 생성기 측에서 강제된다면, 판별기 용량을 생성기에 비례하여 확장하지 않고도 고품질 생성을 달성할 수 있음을 보여줍니다.

저자들은 그들의 접근 방식이 효율적이고 고품질 이미지 합성을 위한 새로운 방향을 제시한다고 결론지으며, 수동으로 지정된 스케일 계층에 대한 의존성과 생성기 - 판별기 용량 균형에 대한 체계적 분석의 필요성과 같은 한계를 인정합니다.