기술 요약: 스펙트럼 진화 탐색 (Spectral Evolution Search, SES)

1. 문제 정의

추론 시간 스케일링(Inference-time scaling)은 파라미터 업데이트나 재학습 없이도 시각적 생성 모델을 다운스트림 목적(예: 미적 품질, 인간 선호도)에 맞게 정렬할 수 있는 패러다임을 제공합니다. 그러나 기존 방법론들은 다음과 같은 상당한 비효율성에 직면해 있습니다:

• 궤적 최적화 (Trajectory Optimization): 디노이징 경로에 대한 침습적인 개입에 의존하며, 이는 종종 SDE(Stochastic Differential Equation) 솔버와 결합되어 효율적인 ODE(Ordinary Differential Equation) 샘플러나 Flow Matching 모델과의 호환성을 저해합니다.
• 경사 기반 최적화 (Gradient-Based Optimization): 미분 가능한 보상 함수를 요구하므로, 미분 불가능한 인간 선호도 지표를 사용할 수 없으며, 인지하기 어려운 고주파 아티팩트를 통한 "보상 해킹(reward hacking)"에 취약합니다.
• 초기 노이즈 탐색 (Initial Noise Search): 초기 노이즈에 대한 블랙박스 탐색으로서의 추론을 다루는 방식은 광범위하게 호환 가능하지만, 현재의 접근 방식들은 차원의 저주로 인해 어려움을 겪습니다. 이들은 일반적으로 모든 탐색 방향을 동일하게 취급하는 암묵적인 등방성 파라미터화(isotropic parameterization)를 채택합니다. 이러한 가정은 많은 탐색 방향(특히 고주파 섭동)이 최종 생성에 미미한 영향을 미치기 때문에 심각한 계산적 중복을 초래하며, 결과적으로 수확 체감의 법칙을 유발합니다.

2. 방법론: 스펙트럼 진화 탐색 (SES)

저자들은 생성 역학의 **스펙트럼 편향(spectral bias)**을 활용하여 이러한 비효율성을 해결하는 초기 노이즈 최적화용 플러그 앤 플레이 프레임워크인 **스펙트럼 진화 탐색 (SES)**을 제안합니다. 핵심 통찰은 모델이 초기 섭동에 대한 민감도가 주파수가 증가함에 따라 급격히 감소한다는 것입니다. 즉, 저주파 섭동은 이미지 구조를 크게 재구성하는 반면, 동일한 에너지를 가진 고주파 섭동은 시각적 영향이 미미합니다.

SES는 두 가지 주요 모듈을 통해 작동합니다:

A. 웨이브릿 기반 스펙트럼 분리 (Wavelet-Based Spectral Decoupling)

차원의 저주를 완화하기 위해, SES는 탐색 공간을 압축된 저주파 매니폴드로 제한합니다:

1. 분해 (Decomposition): 초기 노이즈 $x_{init}$을 이산 웨이브릿 변환(DWT)을 사용하여 저주파 계수($c_{LL}$)와 고주파 세부 사항($c_{H}$)으로 분해합니다.
2. 고정 (Freezing): 고주파 성분은 정적인 배경으로 고정됩니다.
3. 최적화 공간 (Optimization Space): 최적화는 오직 저주파 벡터 $u \equiv c_{LL}$에 대해서만 제한됩니다. 이는 탐색 차원을 $4^J$ (여기서 $J$는 분해 레벨)만큼 감소시킵니다.
4. 재구성 (Reconstruction): 후보 저주파 벡터는 고정된 고주파 배경과 결합되어 역 이산 웨이브릿 변환(IDWT)을 통해 샘플러를 위한 유효한 초기 노이즈로 재구성됩니다.

B. 교차 엔트로피 최가 (Cross-Entropy Optimization, CEM)

축소된 저주파 부공간 내에서, SES는 경사 없는 진화 전략을 사용합니다:

• 초기화 (Initialization): 사전 학습된 확산 사전 확률(diffusion prior)과 일치하도록 가우시안 분포 $p(u; \mu, \Sigma)$를 초기화합니다 ($\mu=0, \Sigma=I$).
• 샘플링-평가-업데이트 루프 (Sample-Evaluate-Update Loop):
  1. 샘플링 (Sampling): 현재 분포로부터 후보들을 추출합니다.
  2. 평가 (Evaluation): 후보들을 재구성하고, 디노이징한 후, 보상 함수 $R$(미분 불가능할 수 있음)을 사용하여 점수를 매깁니다.
  3. 업데이트 (Update): 상위 $K$개의 "엘리트(elite)" 후보들의 통계량을 사용하여 분포 파라미터를 업데이트하며, 조기 수렴을 방지하기 위해 평활화 계수 $\gamma$를 적용합니다.
• 최종 생성 (Final Generation): 최적화된 분포로부터 샘플링하여 최종 이미지를 생성합니다.

3. 이론적 분석

본 논문은 저주파 집중을 이론적으로 입증하기 위해 **스펙트럼 스케일링 예측(Spectral Scaling Prediction)**을 도출합니다. 연속 시간 생성 흐름(ODE로 모델링됨)에서의 섭동 전파 역학을 분석함으로써, 저자들은 초기 섭동의 누적 이득 $G(\omega)$가 주파수 노름 $\|\omega\|$에 대해 역 거듭제곱 법칙 스케일링을 따른다는 것을 보여줍니다:
$$G(\omega) \propto \|\omega\|^{-\beta/2}$$
디노이저가 위너 필터(Wiener filter) 역할을 하고 자연 이미지가 거듭제곱 법칙 스펙트럼 감쇠를 나타낸다는 가정을 바탕으로 한 이 유도는, 유효 자유도가 본질적으로 희소하며 저주파 대역에 집중되어 있음을 확인시켜 줍니다. 고주파 섭동은 누적 이득이 미미하여 효과적인 제어 변수가 될 수 없습니다.

4. 실험 결과

주요 모델(SDXL, FLUX.1-dev, Qwen-Image)과 다양한 보상 목적 함수(CLIP, PickScore, HPS, ImageReward, Aesthetic Score)에 대해 광범위한 실험이 수행되었습니다.

• 성능 (Performance): 고정된 계산 예산(NRE = 200) 하에서, SES는 Best-of-N (BoN), Zero-Order Search (ZO-N), 그리고 궤적 기반 방법(SMC, SVDD, Demon)을 포함한 강력한 베이스라인들을 일관되게 능가했습니다. SES는 모든 지표와 아키텍처에서 가장 높은 보상 점수를 달数했습니다.
• 스케일링 동작 (Scaling Behavior): Bo$\text{N}$이 빠르게 정체되는 로그 형태의 스케일링을 보인 반면, SES는 NRE = 1000까지 지속적인 성능 성장을 나타내는 가파르고 연속적인 스케일링 궤적을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 부공간 선택 (Subspace Selection): 저주파 부공간에서 탐색하는 것이 동일한 차원의 전체 주파수, 고주파, 또는 무작위 부공간보다 훨씬 뛰어난 성능을 보였으며, 이는 이득이 단순히 차원 축소가 아니라 저주파의 특정한 제어 권한에서 기인함을 확인시켜 줍니다.
  • 최적화 전략 (Optimization Strategy): 교차 엔트로피 방법(CEM)은 고정된 부공간 내에서 무작위 탐색보다 실질적으로 우수한 성능을 보였습니다.
• 효율성 (Efficiency): 프록시 가이드 탐색 메커니즘(LCM 또는 감소된 단계의 ODE 사용)은 순위 일관성과 높은 구조적 충실도를 유지하면서 평가 비용을 약 85% 절감했습니다.
• 일반화 (Generalization): SES는 훈련 시간 방법(DPO, SPO)을 통해 이미 정렬된 모델에 적용했을 때도 효과적이었으며, 이는 학습 패러다임에 대한 직교성을 입증합니다. 또한 결정론적 ODE 및 확률적 SDE 샘플러 모두에서 견고함을 보여주었습니다.

5. 의의 및 주장

본 논문은 SES가 **생성 품질 대 계산 비용의 파레토 프런티어(Pareto frontier)**를 유의미하게 발전시킨다고 주장합니다. 생성 역학에 내재된 스펙트럼 편향을 식별하고 활용함으로써, SES는 다음과 같은 모델 불가지론적(model-agnostic) 솔루션을 제공합니다:

1. 중복 제거 (Eliminates Redundancy): 계산 예산을 가장 영향력 있는 자유도(저주파)에만 집중합니다.
2. 호환성 보장 (Ensures Compatibility): 생성 과정에 대한 침습적인 수정 없이 미분 불가능한 보상 및 다양한 샘플러 유형(ODE/SDE)과 작동합니다.
3. 보상 해킹 방지 (Prevents Reward Hacking): 최적화를 저주파 매니폴드로 제한함으로써, 경사 기반 방법들을 괴롭히는 인지하기 어려운 고주파 아티팩트의 착취를 암묵적으로 규제합니다.

저자들은 SES가 정적인 모델이 기존의 탐색 전략보다 특정 목적에 더 효과적으로 적응할 수 있도록 하는, 다방면으로 활용 가능하고 효율적인 추론 시간 스케일링의 새로운 패러다임을 제공한다고 결론짓습니다.