기술 요약: SEGA – 확산 트랜스포머에서 해상도 외삽을 위한 스펙트럼 에너지 기반 어텐션

문제 제기

확산 트랜스포머 (DiTs) 는 텍스트-이미지 (T2I) 생성을 위한 지배적인 아키텍처로 자리 잡았습니다. 그러나 해상도가 훈련 범위 (일반적으로 1024²에서 2048²) 를 초과하는 이미지를 생성할 때 성능이 현저히 저하됩니다. 더 높은 해상도로 외삽하는 경우 종종 흐릿한 질감, 반복적인 패턴, 구조적 붕괴가 발생합니다.

기존의 훈련 없는 (training-free) 솔루션들은 주로 로터리 포지션 임베딩 (RoPE) 외삽과 어텐션 스케일링을 결합하여 추론 시간의 어텐션 행동을 수정함으로써 이를 완화하려 시도합니다. YaRN 과 같은 현재 방법들은 모든 RoPE 구성 요소에 걸쳐 균일하고 콘텐츠 무관한 스케일링을 적용합니다. 이 접근법은 미세한 질감을 지배하는 단파장 구성 요소와 전역 구조를 형성하는 장파장 구성 요소를 동일하게 취급합니다. 본 논문은 이러한 정적 균일성이 근본적인 트레이드오프를 유발한다고 주장합니다. 즉, 전역 구조를 보존하는 전략은 종종 미세한 세부 사항을 복원하지 못하며, 그 반대의 경우도 마찬가지라는 것입니다. 또한, 잠재 표현의 스펙트럼 분포는 탈노이즈 과정에서 역동적으로 진화하며 다양한 이미지 콘텐츠에 따라 달라지므로, 정적 스케일링은 최적이지 않습니다.

방법론: SEGA

저자들은 SEGA(스펙트럼 에너지 기반 어텐션) 를 소개합니다. 이는 각 탈노이즈 단계에서 잠재 공간의 공간-주파수 구조에 기반하여 RoPE 구성 요소 간 어텐션을 동적으로 스케일링하는 훈련 없는 방법입니다.

핵심 통찰

SEGA 는 RoPE 구성 요소가 특정 공간 주파수와 결합되어 있다는 관찰에서 영감을 받았습니다. 고정된 스케일링 인자를 적용하는 대신, SEGA 는 현재 중간 잠재 공간의 에너지 분포를 분석하여 차원별 스케일링 크기를 도출합니다.

알고리즘 워크플로우

1. 스펙트럼 분석: 각 탈노이즈 단계에서 중간 잠재 공간 $Z$는 2D 고속 푸리에 변환 (FFT) 을 사용하여 공간 영역에서 주파수 영역으로 변환됩니다.

   • 축별 프로파일: 2D 파워 스펙트럼을 직교 축에 대해 마진화하여 수평 및 수직 주파수에 대한 1D 에너지 프로파일 ($E_H, E_W$) 을 얻습니다.
   • 방사형 프로파일: 파워 스펙트럼을 동심원 링 내에서 평균화하여 공간 스케일 전반의 에너지 분포를 나타내는 회전 불변 프로파일 ($E_{iso}$) 을 얻습니다.

2. 차원별 보정 ($s_d$):

   • 각 RoPE 차원 $d$에 대해 해당 파장을 식별하여 축별 프로파일의 특정 주파수 대역에 매핑합니다.
   • 해당 대역의 로그 에너지를 표준화합니다.
   • 비선형성 (tanh) 을 적용한 후 결과를 0 중심화하여 스케일링의 엄격한 재분배를 보장합니다. 저에너지 대역과 관련된 차원은 위치 구별력을 보존하기 위해 더 강한 스케일링을 받고, 고에너지 대역은 과도한 증폭을 피하기 위해 더 약한 스케일링을 받습니다.

3. 전역 진폭 인자 ($\sigma$):

   • 방사형 프로파일을 **스펙트럼 평탄도 (Wiener entropy)**를 사용하여 단일 스칼라로 축소합니다.
   • 이 인자는 스케일링의 강도를 제어합니다. 잠재 공간의 스펙트럼이 평탄하다면 (노이즈 우세), $\sigma \to 0$이 되어 보정을 억제합니다. 구조적 콘텐츠가 나타나고 스펙트럼이 덜 평탄해지면 $\sigma \to 1$이 되어 보정을 최대 강도로 적용합니다.

4. 최종 스케일링 공식:
   차원 $d$에 대한 최종 스케일링 인자 $m_d$는 다음과 같이 계산됩니다:
   $$m_d = m_{ref} \cdot (1 - \sigma \cdot s_d)$$
   여기서 $m_{ref}$는 해상도 비율에 의해 결정되는 기준 스케일 (멱함수 형식 사용) 입니다. 이를 통해 SEGA 는 잠재 공간의 스펙트럼 콘텐츠에 지속적으로 적응하여 미해결 주파수에서는 어텐션을 선명하게 하고 과부각된 주파수에서는 부드럽게 만듭니다.

주요 기여

• 동적, 콘텐츠 인식 스케일링: 이전의 균일 스케일링 방법과 달리 SEGA 는 매 탈노이즈 단계에서 잠재 공간의 특정 스펙트럼 구조에 맞춰 어텐션 스케일링을 적응시킵니다.
• 구조 - 세부 사항 트레이드오프 해결: RoPE 구성 요소를 해당 주파수 대역과 에너지 수준에 따라 구분함으로써 SEGA 는 전역 구조적 일관성과 미세한 세부 사항 충실도를 동시에 향상시킵니다.
• 훈련 불필요 및 아키텍처 무관: 이 방법은 미세 조정이나 학습 가능한 매개변수, 아키텍처 변경이 필요하지 않습니다. 표준 RoPE 기반 파이프라인에 직접 통합됩니다 (Flux 및 Qwen 에서 입증됨).
• 초고해상도에서의 우수한 성능: SEGA 는 3 천 6 백만 픽셀을 초과하는 해상도 (예: 6144²) 에서 안정적인 생성을 가능하게 하며, 다른 방법들이 종종 완전히 실패하는 영역에서도 작동합니다.

실험 결과

저자들은 Aesthetic-4K 데이터셋과 커스텀 제로샷 벤치마크를 사용하여 여러 고해상도 설정 (최대 6144²) 에서 Flux 및 Qwen 아키텍처에 대해 SEGA 를 평가했습니다.

• 정량적 성능: SEGA 는 모든 지표 (ImageReward(IR), PickScore(PS), CLIP Score(CS), MUSIQ(MSQ), FID) 에서 NTK, YaRN, DyPE, UltraImage, HiFlow 및 I-Max 와 같은 다단계 가이드 방법 등을 포함한 최첨단 베이스라인보다 일관되게 우수한 성과를 거두었습니다. 특히 4096² 해상도에서 SEGA 는 평가된 모든 지표에서 최고 점수를 기록했습니다.
• 정성적 개선: 시각적 비교는 SEGA 가 반복적인 타일링 아티팩트, 구조적 붕괴, 의미적 명료성 손실과 같은 일반적인 실패 모드를 효과적으로 방지함을 보여주었습니다. SEGA 는 다른 방법들이 흐리게 하거나 왜곡하는 복잡한 기하학적 구조와 미세한 질감 (예: 털, 직물 세부 사항) 을 보존합니다.
• 강건성: 이 방법은 비정사각형 종횡비와 극단적인 외삽 인자 (훈련 영역의 최대 36 배) 에서도 안정성을 유지한 반면, 경쟁 방법들은 해상도가 증가함에 따라 성능이 크게 저하되었습니다.

중요성 및 주장

본 논문은 SEGA 가 사전 훈련된 DiTs 의 고해상도 생성 기능을 해제하기 위한 최소적이면서도 효과적인 솔루션이라고 주장합니다. 정적, 휴리스틱 기반 스케일링에서 동적, 스펙트럼 에너지 기반 접근법으로 전환함으로써 저자들은 현재 외삽 전략의 근본적인 한계를 해결합니다.

저자들은 그들의 작업이 어텐션 스케일링에 대한 "스펙트럼 관점"을 제공하며, RoPE 차원과 공간 주파수 간의 결합을 밝혀내어 추론 시간 적응을 안내하는 데 활용할 수 있음을 강조합니다. 그들은 SEGA 를 훈련 기반 접근법의 대체물이 아닌, 기존 모델이 재훈련의 계산 비용이나 다단계 파이프라인의 복잡성 없이 고유한 훈련 해상도를 훨씬 넘어 일반화할 수 있게 하는 강력하고 플러그 - 앤 - 플레이식 향상 도구로 위치시킵니다. 이 방법은 해상도 외삽 작업에서 어텐션 메커니즘의 행동을 더 잘 이해하고 제어하기 위한 한 걸음으로 제시됩니다.