Jano: Adaptive Diffusion Generation with Early-stage Convergence Awareness

이 논문은 생성 콘텐츠의 지역별 수렴 패턴을 분석하여 학습 없이 적응형 토큰 스케줄링을 수행함으로써 생성 품질을 유지하면서 확산 모델의 생성 속도를 평균 2 배까지 향상시키는 'Jano' 프레임워크를 제안합니다.

핵심

JANO: "지능형 화가"가 그림을 더 빠르게 그리는 법

이 논문은 JANO라는 새로운 기술을 소개합니다. JANO는 AI 가 그림이나 영상을 만드는 속도를 획기적으로 빠르게 해주면서도, 그림의 질은 그대로 유지하는 '스마트한 가속기'입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 왜 AI 그림 그리기는 이렇게 느릴까요?

기존의 최신 AI(특히 'Diffusion Transformer'라고 불리는 모델) 는 그림을 그릴 때 모든 부분을 똑같은 힘과 시간으로 꼼꼼하게 다듬습니다.

• 비유: 상상해보세요. 한 화가가 거대한 벽화를 그릴 때, 하늘의 구름 한 점, 배경의 나무 한 잎, 그리고 주인공의 눈동자까지 모두 똑같은 정성으로 100 번씩 덧칠한다고 가정해 봅시다.
• 현실: 배경은 이미 다 그려져서 더 이상 수정이 필요 없는데도, AI 는 매번 전체를 다시 계산합니다. 이 불필요한 노력 때문에 5 초짜리 영상을 만드는 데도 1 시간 이상 걸리는 경우가 많습니다.

2. JANO 의 핵심 아이디어: "어디가 복잡하고 어디가 단순한지 미리 알기"

연구자들은 흥미로운 사실을 발견했습니다. 그림을 그릴 때, 모든 부분이 같은 속도로 완성되는 것은 아니라는 점입니다.

• 단순한 부분 (배경, 하늘): 몇 번만 덧칠하면 금방 안정화되어 더 이상 변하지 않습니다.
• 복잡한 부분 (인물의 얼굴, 움직이는 동물): 많은 수정과 정교한 작업이 필요해서 오랫동안 변합니다.

JANO는 이 차이를 이용합니다. 이름인 'JANO'는 과거와 미래를 동시에 보는 로마 신에서 따왔습니다. JANO 는 그림을 그리기 시작하자마자 초반 단계에 "어디가 복잡하고 어디가 단순할지" 미리 예측합니다.

3. JANO 가 어떻게 작동할까요? (3 단계 프로세스)

JANO 는 그림을 그리는 과정을 세 단계로 나누어 똑똑하게 관리합니다.

① 초기 분석 (예측 단계)

그림을 그리기 시작하자마자 아주 짧은 시간 (약 10% 정도) 동안 모든 부분을 빠르게 훑어봅니다. 이때 "이 부분은 단순하니까 금방 끝날 거야 (정적)", "이 부분은 복잡하니까 계속 손봐야 해 (활발)"라고 분류합니다.

② 지능형 작업 배분 (교차 작업 단계)

이제 JANO 는 각 부분마다 다른 전략을 적용합니다.

• 단순한 부분 (Static): 더 이상 수정할 필요가 없으므로 일시 정지시킵니다. AI 는 이 부분의 계산을 건너뛰고, 대신 메모리에 저장된 이전 상태를 그대로 사용합니다.
• 복잡한 부분 (Active): 계속 집중해서 정교하게 다듬습니다.
• 중간 부분 (Moderate): 상황에 따라 가끔만 업데이트합니다.

비유: 화가가 배경은 더 이상 보지 않고 손만 뗀 채, 오직 주인공의 눈과 표정에만 집중해서 그림을 완성하는 것과 같습니다.

③ 마지막 다듬기 (정리 단계)

그림이 거의 완성될 때, 잠시 멈췄던 배경 부분과 계속 움직였던 주인공 부분을 자연스럽게 이어붙여 최종적인 완성도를 높입니다.

4. 왜 이것이 혁신적인가요?

기존 방법들은 "무조건 전체를 다 계산하자"거나 "임의로 일부만 건너뛰자"는 식이었습니다. 하지만 JANO 는 무엇이 중요한지 알고 선택적으로 계산합니다.

• 결과:
  • 속도: 그림이나 영상 생성 속도가 약 2 배에서 최대 2.4 배까지 빨라졌습니다. (예: 1 시간 걸리던 게 30 분으로 줄어듦)
  • 품질: 속도가 빨라졌다고 해서 그림이 흐릿해지거나 깨지지 않습니다. 오히려 중요한 부분 (주인공) 에 집중해서 더 선명하게 나올 수도 있습니다.
  • 훈련 불필요: 기존 AI 모델을 다시 가르칠 필요 없이, 바로 적용할 수 있는 '추가 도구' 형태입니다.

5. 요약

JANO는 AI 가 그림을 그릴 때 "모든 부분을 똑같이 열심히 그리지 않아도 된다"는 사실을 발견한 지능형 관리자입니다.

• 배경 같은 단순한 곳은 "잠시 쉬어가세요"라고 하고,
• 얼굴 같은 복잡한 곳은 "열심히 일하세요"라고 지시합니다.

이렇게 자원을 똑똑하게 배분함으로써, 우리는 훨씬 짧은 시간에 고품질의 AI 콘텐츠를 만들어낼 수 있게 되었습니다. 이는 앞으로 실시간으로 영상을 만들거나 대화형 AI 를 사용하는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 계산 효율성 병목 현상: 최근 생성형 AI 의 핵심인 확산 모델 (Diffusion Models), 특히 Diffusion Transformers (DiTs) 는 UNet 아키텍처를 대체하며 높은 품질의 콘텐츠를 생성하지만, 계산 비용이 매우 높습니다. DiTs 는 모든 토큰에 대해 전역 어텐션 (Full Attention) 을 수행해야 하므로 시퀀스 길이에 대해 이차 (Quadratic) 적으로 계산 복잡도가 증가합니다. 예를 들어, 14B 파라미터 모델을 사용하여 720p 5 초 영상을 생성하는 데는 A100 GPU 에서 1 시간 이상이 소요됩니다.
• 기존 가속화 방법의 한계: 기존 학습이 필요 없는 (Training-free) 가속화 기법들은 대부분 '특성 캐싱 (Feature Caching)'에 의존합니다. 그러나 이러한 방법들은 콘텐츠의 특성을 고려하지 않는 균일한 (Uniform) 최적화 전략을 사용합니다.
  • coarse-grained(거친 단위) 캐싱: 최적의 가속 효과를 내지 못함.
  • fine-grained(세밀한 단위) 캐싱: 매 단계 모니터링 및 관리 오버헤드가 커서 비효율적.
• 핵심 통찰: 생성되는 콘텐츠의 서로 다른 영역 (Spatial Regions) 은 탈노이즈 (Denoising) 과정에서 이질적인 수렴 패턴 (Heterogeneous Convergence Patterns) 을 보입니다.
  • 복잡한 영역 (예: 얼굴 특징): 안정화되기 위해 많은 단계가 필요함.
  • 단순한 영역 (예: 균일한 배경): 매우 적은 단계 만에 수렴함.
  • 문제: 이러한 비균일성을 초기 단계에서 파악하고, 계산 자원을 영역별로 적응적으로 할당하는 효율적인 방법이 부재함.

2. 제안 방법론: JANO (Methodology)

JANO 는 학습이 필요 없는 (Training-free) 프레임워크로, 생성 초기 단계의 복잡성을 인식하고 수렴을 예측하여 적응적으로 토큰을 스케줄링합니다.

A. 초기 단계 복잡성 인식 (Early-stage Complexity Recognition)

• 이론적 기반: Flow Matching (FM) 프레임워크를 기반으로 합니다. 탈노이즈 과정에서 두 지점의 속도 필드 (Velocity Field) 차이를 분석하여, 해당 영역이 최종적으로 유사한 상태로 수렴할지 여부를 초기 단계 (Noisy Latents) 에서 예측합니다.
• 블록 단위 복잡도 분석기 (Block-wise Complexity Analyzer):
  • 생성된 잠재 공간 (Latent Space) 을 3D 블록 (프레임×높이×너비) 으로 분할합니다.
  • 초기 몇 단계 (Warm-up) 의 탈노이즈 과정에서 시간적 (Temporal) 과 공간적 (Spatial) 기울기 (Gradient) 의 변화율을 계산합니다.
  • FFT 와 같은 기존 방법들은 초기 노이즈 단계에서는 신뢰도가 낮지만, JANO 는 이러한 기울기 변화 패턴을 통해 복잡도 점수 (Complexity Score) 를 산출합니다.

B. 수렴 적응형 생성 (Convergence-Adaptive Generation)

• 3 단계 수렴 레벨 분류: 계산된 복잡도 점수를 기반으로 모든 토큰을 3 가지 레벨로 분류합니다.
  1. Static (정적): 초기 단계에 빠르게 수렴하는 영역 (배경 등).
  2. Moderate (중간): 중간 정도의 단계가 필요한 영역.
  3. Active (활성): 전체 탈노이즈 과정이 필요한 복잡한 영역 (주체, 얼굴 등).
• 인터리브드 파이프라인 (Interleaved Pipeline):
  • Warm-up: 초기 단계에서 전체 시퀀스를 처리하여 복잡도 지도를 생성합니다.
  • Interleaved Generation: 분류된 레벨에 따라 업데이트 빈도를 다르게 적용합니다.
    • Static 토큰: 낮은 빈도로 업데이트 (또는 고정).
    • Active 토큰: 매 단계 업데이트.
  • Cool-down: 최종 단계에서 모든 영역을 다시 처리하여 디테일을 보정하고 일관성을 유지합니다.
• KV Cache 최적화: DiT 의 전역 어텐션 특성을 유지하기 위해, 정지된 (Frozen) 토큰의 Key-Value 쌍을 캐싱했다가 필요 시 가져와서 활성 토큰과 연결 (Concatenation) 합니다. 이는 위치 복원 오버헤드를 제거하고 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 이질적 수렴 패턴의 규명: 확산 생성 과정에서 콘텐츠 영역별 수렴 속도와 복잡도의 강한 상관관계를 발견하고, 이를 초기 노이즈 단계에서 예측할 수 있음을 증명했습니다.
2. JANO 프레임워크 제안: 초기 복잡성 인식 알고리즘과 적응형 토큰 활성화 전략을 통합한 경량화 프레임워크를 제시했습니다. 이는 KV Cache 관리 최적화를 통해 최소한의 오버헤드로 구현됩니다.
3. 성능 입증: 다양한 최신 생성 모델 (Flux, Wan 등) 에서 평균 2.0 배 (최대 2.4 배) 의 가속화를 달성하면서도 생성 품질 (PSNR, SSIM, LPIPS 등) 을 유지하거나 오히려 개선함을 보였습니다.

4. 실험 결과 (Results)

• 평가 모델: 이미지 생성 (Flux-1-dev), 비디오 생성 (Wan2.1 1.3B, 14B).
• 비교 대상: TokenCache (ToCa), Pyramid Attention Broadcast (PAB), TeaCache 등 최신 가속화 기법.
• 성능 지표:
  • 속도: Wan-14B 모델에서 기존 방법들 (ToCa 는 메모리 부족으로 실패) 보다 2.3 배 (Speedup) 의 가속을 달성했습니다. (기존 1790 초 → 778 초)
  • 품질: PSNR, SSIM, LPIPS 지표에서 기존 방법들보다 우수한 품질을 유지했습니다. 특히 배경이 단순한 영역은 계산이 줄어든 반면, 주체는 선명하게 유지되어 Subject Consistency 가 오히려 향상되기도 했습니다.
  • 적응성: 정적 장면 (2.5 배 가속), 공간적 활성 장면 (2.1 배), 시공간적 활성 장면 (1.8 배) 등 콘텐츠 복잡도에 따라 가속 비율이 자동으로 조절되는 것을 확인했습니다.
• Ablation Study: 무작위 마스킹 (Random Masking) 과 비교 시, JANO 는 유사한 가속도를 유지하면서도 훨씬 높은 생성 품질을 보여주어 초기 단계 수렴 인식의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존 확산 모델 가속화가 '균일한 처리'를 전제로 했다면, JANO 는 '콘텐츠 인식 (Content-aware)' 및 '영역별 적응적 처리'를 통해 효율성을 극대화하는 새로운 접근법을 제시합니다.
• 실용성: 학습이 필요 없으며 (Training-free), 기존 DiT 모델에 쉽게 적용 가능하여 대규모 콘텐츠 생성 (고해상도 영상 등) 의 실시간 및 상호작용적 적용 가능성을 크게 높였습니다.
• 확장성: Flow Matching 기반의 이론적 분석은 DDIM 등 다른 확산 기반 모델에도 자연스럽게 일반화될 수 있음을 시사합니다.

요약하자면, JANO는 생성 초기 단계에서 콘텐츠의 복잡성을 분석하여 불필요한 계산을 줄이고, 중요한 부분에만 계산 자원을 집중시킴으로써 품질 손실 없이 대규모 확산 모델의 추론 속도를 획기적으로 개선한 혁신적인 방법론입니다.