기술 요약: 빠르고 견고한 확산 모델 샘플링을 위한 계층적 스케줄 최적화

문제 정의

확산 확률 모델은 생성적 충실도에서 새로운 표준을 수립했지만, 계산 집약적인 반복적 샘플링 과정으로 인해 고품질 이미지를 생성하는 데 필요한 총 함수 평가 횟수 (NFE) 가 수백에서 수천에 달해 실시간 응용 분야에서 병목 현상을 초래합니다. 스케줄 최적화(모델을 재학습하지 않고 고정된 소수의 NFE 에 대한 최적의 시간 단계 분포를 찾는 것) 는 학습 없는 가속 전략을 제공하지만, 기존 패러다임은 다음 네 가지 핵심 원칙을 동시에 충족하지 못합니다:

1. 적응성: 고정된 일률적인 규칙에 의존하는 대신, 특정 모델 특성 및 NFE 예산에 맞춘 스케줄을 도출할 수 있는 능력.
2. 효과성: 고충실도 샘플을 생성할 수 있는 능력.
3. 실용적 견고성: 이론적 목표가 실제 충실도와 일치하도록 보장하고, 병리적 해결책 (예: 시간 단계가 너무 밀집하는 경우) 을 피하는 것.
4. 계산 효율성: 최적 스케줄에 대한 탐색 비용을 실용적으로 유지하는 것.

현재 방법들은 이러한 균형을 맞추는 데 어려움을 겪습니다: 규칙 기반 접근법은 적응성이 부족하고, 지각적 최적화는 효율성을 희생하며, 원칙적 최적화는 종종 국소 탐색을 비최적 최소점에 가두거나 견고성이 부족한 비볼록 지형으로 고통받습니다.

방법론: 계층적 스케줄 최적화기 (HSO)

이러한 한계를 해결하기 위해 저자들은 전역 최적 스케줄 탐색을 더 다루기 쉬운 문제로 재구성하는 새로운 이레벨 최적화 프레임워크인 계층적 스케줄 최적화기 (HSO) 를 제안합니다. HSO 는 두 가지 시너지 효과를 내는 수준을 반복적으로 번갈아 수행합니다:

1. 프레임워크 아키텍처

• 상위 수준 (전역 탐색): 고차원 NFE 공간에서 직접 탐색하는 대신, HSO 는 저차원 하이퍼파라미터 공간 ($\psi \in \mathbb{R}^3$) 내에서 최적의 초기화 전략을 탐색합니다. 이 전략은 초기 스케줄 $\Lambda_{init}$을 생성합니다. 탐색은 비볼록 지형을 탐색하기 위해 집단 기반 진화 알고리즘 (예: 차분 진화) 을 사용합니다.
• 하위 수준 (국소 최적화): 상위 수준에서 생성된 $\Lambda_{init}$에서 시작하여, 이 수준은 스케줄을 최적의 $\Lambda_{opt}$로 정제하기 위해 국소 탐색을 수행합니다. 이는 표준 제약 최적화 알고리즘 (예: 신뢰 영역) 을 사용하여 실행됩니다.

2. 주요 기술적 혁신

이 프레임워크는 네 가지 핵심 원칙을 보장하도록 설계된 두 가지 구체적인 혁신에 의해 안내됩니다:

• 중점 오차 프록시 (MEP): 하위 수준 국소 최적화의 목적 함수 ($J_{lower}$) 로서 작용하는 MEP 는 솔버 무관적이고 수치적으로 안정적인 목적 함수입니다. 특정 솔버 (예: UniPC) 에 종속된 이전 방법들과 달리, MEP 는 하이브리드 중점 규칙을 사용하여 전역 생성 오차 적분을 근사함으로써 유도됩니다. 이는 분석적으로 다루기 쉬운 지수 항을 분리하고 신경망 항을 근사하여 고차 정확도 ($O(h^3)$) 와 계산 효율성 ($O(N)$) 을 갖춘 목적 함수를 결과로 도출합니다.
• 간격 페널티 적합도 (SPF): 상위 수준 전역 탐색의 적합도 함수 ($F_{upper}$) 로서 작용하는 SPF 는 실용적 견고성을 보장합니다. SPF 는 이론적 오차 (MEP 에서 유래) 에 동적 페널티 항 ($L_{penalty}$) 을 추가하여 "병리적으로 가까운" 시간 단계를 억제합니다. 이 페널티는 NFE 예산에 따라 적응하며, 수치적 불안정성과 "단계 붕괴"(생성 과정 말미에 단계가 군집하는 현상) 를 방지하기 위해 최소 단계 간격을 강제합니다.

주요 기여

1. HSO 프레임워크: 기존 패러다임의 트레이드오프를 극복하고 적응성, 효과성, 실용적 견고성, 계산 효율성을 동시에 성공적으로 충족하는 새로운 이레벨 최적화 프레임워크.
2. 기술적 혁신: 견고한 국소 최적화를 위한 MEP 목적 함수와 안정적이고 실용적인 스케줄을 향한 전역 탐색을 안내하기 위한 SPF 함수의 도입.
3. 최첨단 성능: 재학습 없이 극도로 낮은 NFE 영역 (예: NFE < 5) 에서 우수한 성능을 입증.

실험 결과

저자들은 LAION-Aesthetics 6.5+, MS-COCO, ImageNet 512x512 벤치마크를 사용하여 Stable Diffusion v2.1 모델에서 HSO 를 평가했으며, 최첨단 원칙적 최적화 방법 (DM-NonUni) 및 기타 학습 없는/학습 기반 가속기와 비교했습니다.

• 효과성: HSO 는 특히 매우 낮은 NFE 에서 베이스라인을 크게 능가합니다. LAION-Aesthetics 에서 NFE=5 일 때, HSO 는 FID 를 11.94로 달성합니다 (DM-NonUni 의 13.91 대비). NFE=4 일 때 HSO 는 FID 15.71 을 유지하는 반면, 베이스라인은 크게 저하됩니다 (18.96). DDIM 솔버를 사용할 때 이 우위는 더욱 두드러져, HSO 는 NFE=4 에서 FID 를 베이스라인의 68.92 에서 24.77 로 감소시킵니다.
• 적응성: 실험은 HSO 가 서로 다른 NFE 예산과 서로 다른 모델 (예: PixArt-α 대 Stable Diffusion v2.1) 에 대해 서로 다른 최적 초기화 매개변수 ($\psi^*$) 를 발견함을 보여주며, 이는 특정 제약 조건과 모델 노이즈 스케줄에 적응할 수 있는 능력을 확인시켜 줍니다.
• 실용적 견고성: SPF 페널티 없이 최적화는 시간 단계 [999, 70, 9, 9] 와 같은 불안정한 스케줄로 붕괴되어 치명적인 FID 점수 (165.48) 를 초래합니다. SPF 를 활성화하면 안정성이 회복되어 평균 FID 19.76 을 달성합니다.
• 계산 효율성: HSO 는 소비자 등급 CPU 에서 한 번의 최적화 비용이 8 초 미만입니다. 이는 AutoDiffusion (~1.1 일) 과 같은 전역 탐색 방법보다 수 orders of magnitude 빠르며, 학습 기반 방법의 상당한 학습 비용 (종종 GPU 일 또는 개월 단위) 을 우회합니다.

중요성 및 주장

이 논문은 HSO 가 확산 모델 가속을 위한 매우 실용적이고 효율적인 패러다임을 제시한다고 주장합니다. 전역 초기화 전략 탐색과 국소 정제를 분리함으로써 HSO 는 비볼록 최적화 지형을 효과적으로 탐색합니다. 저자들은 이 접근법이 극도로 낮은 NFE 영역에서 학습 없는 샘플링에 대한 새로운 최첨단 기준을 설정하며, 준비 시간을 무시할 수 있을 정도로 줄이면서 놀라운 샘플 품질 (예: NFE=5 에서 FID 11.94) 을 달성한다고 주장합니다. 이 연구는 이러한 성능이 비용이 많이 드는 재학습을 통해 달성된 것이 아니라, 실용적 배포의 근본적 제약을 존중하는 견고한 한 번의 최적화 과정을 통해 달성되었음을 강조합니다.