기술 요약: 대규모 활성화 변조를 통한 확산 트랜스포머(Diffusion Transformers)의 각성

1. 문제 정의

확산 트랜스포머(Diffusion Transformers, DiTs)는 고품질 시각적 생성(예: SD3, Flux, Wan)을 위한 지배적인 아키텍처가 되었으며, 밀집 시각 이해 작업(예: 의미론적 대응, 세그멘테이션)을 위한 특징 추출기로도 점점 더 많이 재사용되고 있습니다. 그러나 이러한 이중적 능력을 제어하는 내부 활성화 성분에 대해서는 여전히 충분히 이해되지 않고 있습니다.

DiTs에서 나타나는 특정하고 미개척된 현상은 **대규모 활성화(Massive Activations, MAs)**의 존재입니다. 이는 소수의 특징 차원에 집중되어 나머지보다 훨씬 큰 크기를 갖는 숨겨진 활성화(hidden activations)를 의미합니다. MAs는 대규모 언어 모델(문맥적 지식) 및 비전 트랜스포머(전역적 의미/배경 토큰)에서는 연구된 바 있으나, DiTs에서의 역할은 독특합니다. DiTs는 모든 토큰이 국소적 재구성에 참여하는 공간 그리드 상에서 반복적인 디노이징을 수행합니다. 본 논문은 이러한 밀집된 생성 문맥에서 MAs의 구조와 기능적 역할이 아직 완전히 규명되지 않았으며, 이로 인해 두 가지 구체적인 문제가 발생한다고 주장합니다.

1. 생성(Generation): MAs가 미세한 디테일(fine-grained details)의 합성 대 전역적 의미(global semantics)에 어떻게 영향을 미치는지 불분명합니다.
2. 이해(Understanding): 특징 추출기로 사용될 때, 공간적 토큰 전반에 걸쳐 공유되는 MAs의 고차원 방향(high-magnitude directions)은 표현을 편향시켜, 로컬 기술자(local descriptors)를 지나치게 유사하게 만들고 밀집 인지 작업에 대한 공간적 식별력을 약화시킵니다.

2. 방법론: 대규모 활성화 유도(Eliciting Massive Activation, EMA)

저자들은 MAs를 변조하여 생성 및 표현 능력을 모두 향상시키는 통합된 학습 불필요(training-free) 프레임워크인 EMA를 제안합니다. 이 프레임워크는 두 가지 작업별 모듈로 구성됩니다.

A. 대규모 활성화 분석

솔루션을 제안하기에 앞서, 본 논문은 DiTs 내 MAs의 구조적 특성을 규명합니다:

• 공간적 분포 및 채널 집중도: MAs는 모든 공간적 이미지 토큰에 분포되어 있지만, 고정된 소수의 특징 차원(예: SD3의 차원 810)에 집중되어 있습니다.
• AdaLN 정렬: MAs가 존재하는 차원은 적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN)에 의해 생성된 잔차 스케일링 계수($\alpha_k$)와 밀접하게 일치합니다.
• 타임스텝 변조: MA 크기는 텍스트 조건보다는 디노이징 타임스텝(노이즈 레벨)에 의해 주로 결정됩니다. 프로세스가 고노이즈에서 저노이즈 타임스텝으로 이동함에 따라 MA 크기가 증가합니다.
• 기능적 이중성:
  • 생성: MAs를 방해하면 전역적 의미(레이아웃, 객체 정체성)는 유지되지만 미세한 디테일(질감, 눈, 머리카락)은 심각하게 저하됩니다.
  • 이해: MAs의 공유된 고차원 방향은 코사인 유사도 하에서 DiT 특징을 공간적으로 식별 불가능하게 만들어 밀집 매칭을 방해합니다.

B. 모듈 1: 생성을 위한 MA 기반 디테일 가이드(Detail Guidance, DG)

시각적 생성을 향상시키기 위해, EMA는 샘플링을 가이드하기 위해 "디테일이 결핍된" 대조적 분기(counterfactual branch)를 구축하는 자기 가이드(self-guidance) 전략인 **디테일 가이드(DG)**를 도입합니다.

• 메커니즘: DG는 중간 DiT 블록의 숨겨진 상태에서 식별된 MA 차원을 적응적으로 억제합니다.
• 적응형 억립: 디테일은 주로 후기 디노이징 단계에서 형성되므로, 억제는 타임스텝 의존적 유지 계수($\rho_t$)를 통해 적용됩니다. MAs는 초기 단계(전역 구조를 위해)에는 보존되고, 후기 단계(디테일 합성을 제거하기 위해)에는 강력하게 감쇄됩니다.
• 가이드 공식: 최종 예측은 디테일 결핍 분기로부터 멀어지도록 가이드됩니다:
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  여기서 $\hat{z}_t$는 MAs가 억제된 상태입니다.
• 효율성 및 유연성:
  • 부분 순방향 추론(Partial-Forward Inference): 대조적 분기는 개입 블록까지 원래 분점과 계산을 공유하므로, DG는 표준 CFG에 비해 레이턴시를 줄이면서 네트워크의 접미사(suffix)만을 재계산합니다.
  • 로컬 DG: 특정 공간 토큰(예: 바운딩 박스)에만 억제를 적용할 수 있어, 디테일이 약한 영역에 대한 타겟팅된 정밀화가 가능합니다.
  • 호환성: DG는 분류기 없는 가이드(Classifier-Free Guidance, CFG)와 상보적입니다. CFG가 의미론적 정렬을 강화한다면, DG는 로컬 디테일 충실도를 높입니다.

C. 모듈 2: 이해를 위한 MA 변조 표현 추출(MA-modulated Representation Extraction, MREP)

밀집 시각 이해를 개선하기 위해, EMA는 유용한 공간 구조를 보존하면서 MAs의 방향적 지배력을 완화하는 MREP를 도입합니다.

• AdaLN 변조: MREP는 사전 학습된 AdaLN 채널별 가중치($\gamma_k, \beta_k$)를 재사용하여 숨겨진 상태를 변조합니다. 이는 MAs 채널을 버리지 않으면서도 그 지배력을 줄입니다.
• 공간 정규화: MA 공간 맵은 여전히 유의미한 반응 패턴을 인코딩하므로, MREP는 이 맵들을 추출하고, 크기 편향을 제거하기 위해 공간적으로 정규화한 후 변조된 특징과 결합합니다.
• 결과: 이를 통해 글로벌 MA 방향에 의해 지배되지 않으면서도 정보가 풍부한 공간적 단서를 유지하는 표현을 생성하며, 이는 밀집 작업에 대한 식별력을 향상시킵니다.

3. 주요 기여

1. 체계적 분석: 본 논문은 DiTs 내 MAs를 공간적으로 분포되어 있고, 채널에 집중되며, AdaLN과 관련이 있고, 타임스텝에 의해 변조되는 구성 요소로 규명함으로써 최초의 체계적인 연구를 제공합니다.
2. 이중 역할 규명: MAs의 이중적 성격을 밝혀냈습니다. 즉, 생성 시에는 미세한 디테일 합성에 필수적이지만, 표현 학습 시에는 공유된 고차원 방향으로 인해 공간적 식별력을 저해합니다.
3. EMA 프레임워크: 두 가지 모듈을 가진 학습 불필요 프레임워크를 도입했습니다:
   • DG: 이미지/비디오 생성의 디테일을 향상시키고 로컬 정밀화를 가능하게 합니다.
   • MREP: AdaLN 기반 변조 및 공간 정규화를 통해 특징 추출을 조절함으로써 밀집 시각 이해(대응, 세그멘테이션, 깊이 추정)를 개선합니다.
4. 통합 도구: MA 변조가 사전 학습된 DiTs로부터 더 강력한 능력을 이끌어내기 위한 통합된 메커니즘임을 입증했습니다.

4. 실험 결과

저자들은 다양한 모델(SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2)과 작업에 대해 EMA를 평가했습니다:

• 이미지 생성:
  • DG는 프롬프트 정렬을 유지하면서 모든 모델에서 미세한 디테일 품질(Aesthetic scores, HPSv2.1)을 일관되게 향 향상시켰습니다.
  • SD3.5에서, DG는 Aesthetic 점수를 Cond의 경우 5.94에서 6.16으로, CFG의 경우 6.01에서 6.18로 개선했습니다.
  • DG는 디테일 품질 지표에서 다른 가이드 방법(CFG++, APG, S2-Guidance)보다 우수한 성능을 보였습니다.
  • DG와 CFG를 결합했을 때 최상의 종합 성능을 달성하여, 이들의 상보적 관계를 검증했습니다.
• 비디오 생성:
  • Wan 모델에 적용했을 때, DG는 전체 점수, 품질 및 외관 충실도를 향상시켰습니다. DG+CFG 조합이 Wan14B에서 가장 높은 총점을 기록했습니다.
• 클래스 조건부 생성:
  • ImageNet(DiT-XL/2)에서, DG는 클래스 조건 하에서 FID를 9.52에서 5.77로 낮추고 IS를 122.79에서 179.26으로 높였습니다.
• 시각적 이해:
  • 의미론적 대응(Semantic Correspondence): MREP는 raw DiTF 특징에 비해 SPair-71k, AP-10K, PF-Pascal에서 PCK 점수를 크게 향상시켰습니다.
  • 의미론적 세그멘테이션(Semantic Segmentation): ADE20K에서 MREP는 54.9 mIoU(단일 스케일)를 달성하여, raw DiTF(53.6)를 능가하고 강력한 베이스라인들과 경쟁했습니다.
  • 깊이 추정(Depth Estimation): NYUv2에서 MREP는 RMSE를 0.220으로, REL을 0.060으로 낮추어 raw 특징 및 다른 확산 기반 베이스라인들을 능가했습니다.
• 효율성:
  • 부분 순방향 DG는 전체 CFG 재평가와 비교하여 레이턴시를 줄이면서(예: SD3.5에서 15.7초에서 10.6초로) 품질을 개선했습니다.
• 일반화:
  • DG는 비표준 DiT 아키텍처(PixArt-$\alpha$, SANA) 및 클래스 조건 설정에서도 효과적이었으며, 이는 이것이 아키텍처 특정적인 아티팩트가 아닌 일반적인 메커니즘임을 나타냅니다.

5. 의의 및 주장

본 논문은 대규모 활성화(MAs)가 단순한 수치적 이상치가 아니라, DiTs가 시각 정보를 처리하는 방식을 근본적으로 형성하는 구조적이고 단계 의존적인 구성 요소라고 주장합니다. MAs를 통합된 변조 신호로 다룸으로써 저자들은 다음을 입증했습니다:

• 생성을 위해: MAs를 억제하면 자연스러운 "디테일 결핍" 분기가 생성되어, 전역적 의미를 해치지 않으면서 미세한 합성을 구체적으로 겨냥하는 가이드 신호를 추출할 수 있습니다.
• 이해를 위해: 밀집 인지에서 MAs가 유발하는 "노이즈"는 AdaLN 기반 변조와 공간 정규화를 통해 완화될 수 있으며, 이를 통해 생성 백본을 더 판별력 있는 특징 추출기로 전환할 수 있습니다.

이 연구는 MA 변조가 사전 학습된 DiTs의 잠재력을 끌어내어 생성 콘텐츠의 충실도와 다운스트림 인지 작업에 대한 내부 표현의 유용성을 모두 향상시키는 다재다능한 학습 불필요 도구임을 보여줍니다. 저자들은 이 접근 방식이 대규모 시각 생성 모델에서 제어 가능한 신호로서 내부 활성화 구조에 대한 추가적인 탐구를 장려한다고 결론짓습니다.