💻 computer science

Guiding a Diffusion Transformer with the Internal Dynamics of Itself

이 논문은 학습 과정 중 중간 레이어에 보조 감독을 도입하고 추론 시 해당 레이어의 출력을 외삽하여 생성 품질을 획기적으로 향상시키는 '내부 안내 (Internal Guidance)' 전략을 제안합니다.

원저자: Xingyu Zhou, Qifan Li, Xiaobin Hu, Hai Chen, Shuhang Gu

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

원저자: Xingyu Zhou, Qifan Li, Xiaobin Hu, Hai Chen, Shuhang Gu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'내부 나침반 (Internal Guidance, IG)'**이라는 새로운 기술을 소개합니다. 이 기술은 AI 가 그림을 그릴 때, 더 빠르고 더 아름답게 그릴 수 있도록 도와줍니다.

비유를 들어 쉽게 설명해 드리겠습니다.

1. 문제: AI 화가의 고민

지금까지의 AI 그림 그리기 기술 (확산 모델) 은 "모든 종류의 그림을 다 그려봐야 해"라고 배우는 동안, 드물게 나오는 그림 (예: 아주 특이한 색상의 고양이) 을 그릴 때 실수를 많이 했습니다.

기존 해결책 (CFG): "더 확실한 방향으로 가!"라고 AI 에게 큰 소리로 지시하는 방법입니다. 하지만 너무 크게 지시하면 AI 가 겁을 먹고 그림을 너무 단순화하거나, 얼굴이 일그러진 이상한 그림을 그릴 수 있습니다.
다른 해결책 (나쁜 버전 사용): AI 가 실수하는 '나쁜 버전'을 따로 만들어서, "이건 아니야!"라고 가르치는 방법입니다. 하지만 이 방법은 훈련을 다시 해야 하거나, 시간이 너무 많이 걸려서 현실적으로 쓰기 어렵습니다.

2. 해결책: '내부 나침반 (IG)'의 등장

이 논문은 **"AI 가 스스로의 '중간 단계 생각'을 이용하자"**라고 제안합니다.

상황: AI 가 그림을 그릴 때, 처음에는 막연한 구름 같은 형태 (중간 단계) 에서 시작해서 점점 선명한 그림 (최종 단계) 으로 완성합니다.
기존 방식: AI 는 최종 결과물만 보고 "잘했나?"를 확인합니다.
새로운 방식 (IG): AI 가 **중간 단계의 생각 (구름 같은 형태)**도 함께 보고, "이 중간 단계는 아직 너무 흐릿하니까, 최종 결과물은 이보다 더 명확하고 선명하게 그려줘!"라고 스스로를 다독입니다.

비유하자면:

한 명의 화가가 그림을 그릴 때, **초보 화가 (중간 단계)**와 **숙련된 화가 (최종 단계)**가 같은 캔버스 앞에 서 있다고 상상해 보세요.

초보 화가는 대충 윤곽만 그립니다.

숙련된 화가는 그 초보 화가의 그림을 보며, "너는 여기가 너무 흐릿하잖아. 내가 그리는 최종 그림은 이보다 훨씬 선명하고 디테일해야 해!"라고 말합니다.

이렇게 스스로의 '초보 버전'을 거울 삼아 '숙련된 버전'을 더 잘 그리게 유도하는 것이 바로 '내부 나침반 (IG)'입니다.

3. 이 기술의 놀라운 장점

이 방법은 마치 마법 같은 효과를 냅니다.

별도의 훈련 불필요: 나쁜 버전을 따로 만들거나 복잡한 설정이 필요 없습니다. 기존 AI 모델에 이 '나침반' 기능만 켜면 됩니다. (플러그 앤 플레이)
시간 단축: 같은 품질의 그림을 그리는 데 훨씬 적은 시간이 걸립니다. 예를 들어, 보통 1,400 번의 훈련이 필요했던 것을 80 번만 해도 비슷한 결과를 내거나, 800 번 훈련했을 때 훨씬 더 좋은 결과를 냅니다.
최고의 품질: 이 기술과 기존 지시 방법 (CFG) 을 합치면, 현재까지 나온 AI 그림 중 **가장 선명하고 자연스러운 결과물 (FID 1.19)**을 만들어냅니다. 마치 프로 화가가 초보 화가의 실수를 바로잡아 완벽한 작품을 완성한 것과 같습니다.

4. 결론

이 논문은 **"AI 가 그림을 그릴 때, 스스로의 '중간 생각'을 거울로 삼아 더 잘 그리게 하면, 더 빠르고 더 예쁜 그림을 그릴 수 있다"**는 아주 간단하지만 강력한 아이디어를 증명했습니다.

앞으로 우리가 보는 AI 생성 이미지들은 이 '내부 나침반' 덕분에 훨씬 더 선명하고, 더 빠르고, 더 자연스러워질 것입니다.

1. 문제 제기 (Problem Statement)

확산 모델 (Diffusion Models) 은 조건부 데이터 분포 전체를 포착하는 강력한 능력을 갖추고 있으나, 다음과 같은 한계점이 존재합니다.

저확률 영역의 학습 부족: 모델은 전체 데이터 분포를 학습하려 하지만, 충분한 데이터와 훈련이 부족하여 저확률 영역 (low-probability areas) 을 커버하지 못하면 고품질 이미지를 생성하지 못해 패널티를 받습니다.
기존 유도 (Guidance) 전략의 한계:
- 클래스프리 가이드 (CFG): 샘플링 단계에서 고확률 영역으로 샘플을 유도하여 생성 품질을 높이지만, 과도한 CFG 계수는 샘플이 분포 범위를 벗어나게 만들어 과단순화되거나 왜곡된 이미지를 생성하는 문제가 있습니다.
- 자기 나쁜 버전 유도 (Autoguidance 등): 잘 훈련된 모델을 '나쁜 버전'으로 유도하여 다양성을 유지하며 품질을 높이는 접근법이 있으나, 이는 정교한 열화 (degradation) 전략 설계, 추가 훈련, 또는 추가 샘플링 단계를 필요로 하여 대규모 적용에 한계가 있습니다.

2. 방법론 (Methodology: Internal Guidance, IG)

저자들은 내부 유도 (Internal Guidance, IG) 라는 간단하지만 효과적인 전략을 제안합니다. 이는 확산 트랜스포머 (Diffusion Transformer) 의 내부 계층 역학을 활용하여 추가적인 비용 없이 생성 품질을 향상시키는 방식입니다.

A. 훈련 단계: 중간 계층 보조 감독 (Intermediate Supervision)

네트워크의 중간 계층 (intermediate layer) 에 보조 출력 레이어를 추가합니다.
최종 출력 ( $D_f$ $D_{f}$ ) 과 중간 출력 ( $D_i$ $D_{i}$ ) 에 대해 각각 손실 함수를 정의합니다.
- $L = L_{final} + \lambda L_{inter}$
여기서 $L_{inter}$ 는 중간 계층이 약한 생성 출력 (weaker generative output) 을 생성하도록 유도하는 보조 감독 신호 역할을 합니다.
효과: 이 간단한 구조는 심층 네트워크의 기울기 소실 (vanishing gradient) 문제를 완화하며, 복잡한 자기지도 학습 정규화 (self-supervised regularization) 와 유사하거나 더 나은 수렴 성능을 보입니다.

B. 샘플링 단계: 내부 출력 기반 외삽 (Extrapolation)

훈련된 모델은 최종 출력 ( $D_f$ ) 과 중간 출력 ( $D_i$ ) 을 모두 제공합니다. 여기서 $D_i$ 는 현재 모델의 '나쁜 버전 (bad version)'으로 간주됩니다.
CFG 와 유사한 방식으로 두 출력을 외삽하여 가이드된 샘플을 생성합니다.
- $D_w(x; c) = D_i(x; c) + w(D_f(x; c) - D_i(x; c))$
핵심 아이디어: $D_i$ 는 $D_f$ 보다 분포가 덜 명확하므로, 이를 기준으로 $D_f$ 를 더 나은 분포 영역으로 이동시킵니다. 이는 Autoguidance 와 유사한 효과를 내지만, 별도의 나쁜 버전 모델 훈련이나 추가 샘플링 단계가 필요하지 않습니다.

C. CFG 및 가이드 구간 (Guidance Interval) 와의 결합

IG 는 CFG 와 결합하여 시너지 효과를 낼 수 있습니다. CFG 는 클래스 조건 방향성을 제공하고, IG 는 데이터 매니폴드 내부로 샘플을 유도하여 다양성을 유지합니다.
가이드 구간 (Guidance Interval): CFG 와는 반대로, IG 는 높은 노이즈 (high-noise) 및 중간 노이즈 영역에서 적용할 때 가장 효과적임을 발견했습니다.

3. 주요 기여 (Key Contributions)

플러그 앤 플레이 (Plug-and-Play) 전략: 별도의 추가 훈련이나 복잡한 열화 전략 없이, 기존 확산 트랜스포머에 쉽게 통합 가능한 IG 를 제안했습니다.
효율성 향상: 중간 계층 감독을 통해 훈련 효율성을 높이고, 샘플링 단계에서는 추가 계산 비용 없이 생성 품질을 극대화합니다.
새로운 훈련 가속화 방법 제안: IG 의 원리를 훈련 손실 함수에 반영하여 (최종 출력과 중간 출력의 차이를 가이드 신호로 활용), 기존 방법 (REPA 등) 보다 빠른 수렴을 달성하는 새로운 훈련 가속화 전략을 제시했습니다.

4. 실험 결과 (Results)

ImageNet 256×256 및 512×512 에서 다양한 베이스라인 (SiT, DiT, LightningDiT) 과 비교 실험을 수행했습니다.

SiT-XL/2 모델:
- CFG 없이 80 에포크에서 FID 5.31, 800 에포크에서 FID 1.75 달성.
- 기존 SiT-XL(1400 에포크) 과 REPA(800 에포크, 사전 학습 모델 사용) 보다 훨씬 빠른 수렴과 더 낮은 FID 를 기록했습니다.
- CFG 와 결합 시 800 에포크에서 FID 1.46 달성.
LightningDiT-XL/1 모델 (자기지도 표현 모델 기반):
- CFG 없이 680 에포크에서 FID 1.34 달성 (기존 모든 방법 대비 큰 우위).
- CFG 와 가이드 구간을 결합하여 FID 1.19를 기록, 현재 State-of-the-Art (SOTA) 성능을 달성했습니다.
계산 비용: IG 는 파라미터 수와 FLOPs 를 거의 증가시키지 않으면서 (약 0.44% 증가) 생성 품질을 획기적으로 개선했습니다.

5. 의의 및 결론 (Significance)

생성 품질과 효율성의 동시 달성: IG 는 추가적인 샘플링 단계나 복잡한 훈련 없이, 모델의 내부 역학만으로도 생성 품질을 크게 향상시킵니다.
대규모 모델 확장성: 모델 크기가 커질수록 IG 의 개선 효과가 더욱 뚜렷하게 나타나는 확장성 (Scalability) 을 입증했습니다.
실용성: 기존 최첨단 모델 (LightningDiT 등) 에 쉽게 적용 가능하여, 계산 자원을 적게 사용하면서도 SOTA 수준의 이미지 생성이 가능하게 합니다.
연구 방향 제시: 내부 계층의 상호작용을 활용하는 것이 확산 모델의 훈련 및 샘플링을 최적화하는 새로운 패러다임을 제시합니다.

이 논문은 확산 모델의 샘플링 가이드 전략을 단순화하면서도 성능을 극대화하는 혁신적인 접근법을 제시하여, 향후 고품질 이미지 생성 모델 개발에 중요한 기여를 할 것으로 기대됩니다.