기술 요약: NoiseTilt: 확산 모델 보상 정렬을 위한 노이즈 기울임(Noise-Tilted) 역방향 커널

문제 정의

추론 시간 스케일링(Inference-time scaling)은 비용이 많이 드는 재학습 없이도 사전 학습된 확산 모델을 사용자 선호도에 맞게 정렬할 수 있는 강력한 메커즘으로 부상했습니다. 선호도가 보상 함수(reward functions)로 표현될 때, 확산 모델의 반복적인 디노이징 과정은 샘플링을 고보상 영역으로 유도하는 모델 불가지론적(model-agnostic) 방법을 제공합니다. 그러나 기존 방법들은 **그래디언트 가이던스(gradient guidance)**와 노이즈 호환성(noise compatibility) 사이의 근본적인 트레이드오프에 직면해 있습니다:

1. 평균 이동 방식 (그래디언트 가이던스): DPS [10]와 같은 접근법은 역방향 가우시안 커널의 평균에 보상 그래디언트를 직접 주입합니다. 이는 생성을 유도하는 데는 효과적이지만, 샘플링된 상태를 "노이즈 호환 영역(noise-compatible regime)"—즉, 사전 학습된 모델이 작동하도록 훈련된 잠재 공간의 좁은 영역—외부로 이동시킵니다. 이러한 변위는 중간 상태를 분포 외(out-of-distribution)로 만들어 생성 품질을 저하시키고 시스템을 보상 해킹(reward hacking)에 취약하게 만듭니다.
2. 탐색 기반 방식: SVDD [38]와 같은 접근법은 $K$개의 후보군을 확률적 커널에서 추출하여 최적의 것을 선택함으로써 기본 역방향 평균을 보존합니다. 이는 노이즈 호환성과 샘로 품질을 유지하지만, 직접적인 그래디언트 가이던스를 포기하며, 보상을 개선하는 방향을 찾기 위해 무작위 샘플링에 의존합니다. 이는 계산 효율성이 떨어지며, 강력한 정렬을 달성하기 위해 지나치게 많은 수의 샘플을 요구합니다.

기존의 어떤 방법도 그래디언트 가이던스와 노이즈 호환성을 동시에 달성하지 못했습니다.

방법론: 노이즈 기울임 역방향 커널 (NTRK)

저자들은 역방향 평균을 고정하고 보상 정보를 오직 **노이즈 항(noise term)**을 통해서만 전달함으로써 이 트레이드오프를 해결하는 샘플러인 **Noise-Tilted Reverse Kernels (NTRK)**를 제안합니다.

핵심 메커니즘

표준 역방향 단계는 $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$로 정의됩니다 (여기서 $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$).
NTRK는 노이즈 항을 다음과 같이 수정합니다:
$$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$$
여기서 가이드된 노이즈 $\tilde{\bm{\epsilon}}_t$는 백색화된(whitened) 보상 방향과 편향되지 않은 확률성(stochasticity)의 혼합입니다:
$$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$$
여기서 $\rho_t \in [0, 1]$는 가이던스 강도를 조절하며, $\hat{\bm{x}}_{0|t}$는 깨끗한 이미지를 추정하는 Tweedie 추정치입니다.

백색화 연산자 ($\mathcal{W}$)

핵심적인 과제는 가공되지 않은 보상 그래디언트는 구조적이고 결정론적이라는 점이며, 이는 사전 학습된 모델이 요구하는 전형적인 가우시안 노이즈의 통계적 특성을 위반합니다. 이를 직접 주입하면 "비전형적인 노이즈"가 생성되어 아티팩트(artifacts)를 유발할 수 있습니다 주입 시 발생할 수 있습니다.

이를 해결하기 위해 저자들은 보상 그래디스엔트를 주입하기 전에 이를 "전형적인" 노이즈 벡터로 변환하는 백색화 연산자(whitening operator) $\mathcal{W}$를 도입합니다. 이 연산자는 섭동(perturbation)이 노이즈 호환 영역 내에 머물도록 보장하면서도 그래디언트의 방향성 신호를 보존합니다. 연산자는 표준 가우시안 통계로부터 도출된 고신뢰 집합에 대한 일련의 투영(projection)을 통해 구축됩니다:

1. 2단계 순위 통계(2OS) 투영: 입력 벡터를 타일 형태로 재구성합니다. 각 타일 내에서 값을 정렬한 후 타일 간에 정렬합니다. 이렇게 이중으로 정렬된 통계치는 Beta 분포에서 도출된 99.99% 신뢰 구간으로 클리핑(clipping)됩니다. 이는 전역적인 히스토그램은 유지하면서 국소적인 구조적 아티팩트를 억제합니다.
2. 타일별 통계: 연산자는 각 타일의 평균과 중심 에너지(centered energy)를 표준 가우시안 노이즈의 기대 분포와 일치하도록 추가로 제한합니다.
3. 직교 변환 도메인: 공간 도메인에서 보이지 않는 잔여 전역 구조를 억제하기 위해 변환된 도메인(예: 컴팩트 푸리에 및 하다마르 스타일 믹싱)에서도 동일한 신뢰 구간 투영을 적용합니다.

결정적으로, 이미 전형적인 가우시안 노이즈인 입력에 대해 $\mathcal{W}$는 거의 변화를 주지 않는 반면, 구조적인 입력에 대해서는 실질적으로 백색화합니다.

주요 기여

1. 트레이드오프 해결: NTRK는 그래디언트 기반 가이던스와 노이즈 호환성을 동시에 달성하는 최초의 방법입니다. 이는 (평균 이동 방식과 달리) 사전 학습된 역방향 평균을 보존하면서도 (탐색 기반 방식과 달리) 단계당 단일 샘플을 사용합니다.
2. 백색화 연산자: 본 논문은 보상 정렬의 품질이 백색화 연산자의 품질과 직결된다는 점을 식별했습니다. 제안된 2OS 기반 투영은 단순한 노름(norm) 투영이나 엄격한 등가 제약(WGNC [24]와 같은)보다 우수함을 입증했습니다. 이는 구조 억제와 자연스러운 노이즈 가변성 보존 사이의 균형을 맞춥니다.
3. 효율성: 그래디언트를 노이즈 항을 통해 전달함으로써, NTRK는 훨씬 적은 함수 호출 횟수(NFE)로 최첨단(state-of-the-art) 성능을 달감합니다.

실험 결과

저자들은 이미지의 경우 FLUX [35]를, 비디오의 경우 Wan2.1 [70]을 사용하여 세 가지 주요 작업에 대해 NTRK를 평가했습니다:

• 미적 이미지 생성 (Aesthetic Image Generation): NTRK는 모든 베이스라인 중 가장 높은 목표 보상(Aesthetic Score)을 달성했습니다. 특히, 단 25 NFE를 사용한 NTRK가 500 NFE를 사용한 최상의 베이스라인(SVDD)의 보상을 넘어섰으며, 이는 20배의 컴퓨팅 자원 절감을 의미합니다. 또한 ImageReward 및 HPSv2와 같은 홀드아웃(held-out) 지표를 유지하거나 개선했습니다.
• 텍스트 정렬 이미지 생성 (Text-Aligned Image Generation): 복잡한 구성 프롬프트(T2I-CompBench++)에서 NTRK는 PickScore(목표 보상)와 VQA Score, HPSv2와 같은 홀드아웃 지표 모두에서 베이스라인을 능가했습니다.
• 선호도 정렬 비디오 생성 (Preference-Aligned Video Generation): VideoReward를 목표로 하여, NTRK는 DPS 및 FreeDoM에 비해 더 나은 텍스트 정렬, 움직임 품질 및 시각적 품질을 가진 비디오를 생성했습니다.
• 추가 응용 분야: NTRK는 수량 인지 생성(객체 개수 세기) 및 VLM 기반 보상 정렬(수평 및 깊이 위치 지정)에 성공적으로 적용되어 광범위한 적용 가능성을 입증했습니다.
• 미세 조정과의 통합: NTRK는 미세 조정(예: MixGRPO [37])과 직교(orthogonal)함을 보여주었으며, 미세 조정된 모델 위에 적용했을 때 추가적인 이득을 제공했습니다.

의의 및 주장

본 논문은 NTRK가 사전 학습된 샘플링 역학을 그대로 유지하면서 추론 시간 보상 정렬을 위한 단순하고 폭넓게 적용 가능한 메커니즘을 제공한다고 주장합니다. 그래디언트를 평균의 이동이 아닌 백색화될 섭동으로 취급함으로써, NTRK는 그래디언트 기반 가이던스가 겪는 분포 외 문제를 피합니다.

저자들은 이 방법의 효과가 백색화 연산자에 크게 의존한다는 점을 강조합니다. 절제 연구(ablation studies)에 따르면, 약한 연산자는 해로운 구조를 제거하지 못하고, 지나치게 경직된 연산자는 실제 노이즈를 왜곡합니다. 제안된 2OS 기반 접근 방식은 이러한 트레이드오프를 성공적으로 탐색하여, 사전 학습된 모델 고유의 품질을 희생하지 않으면서도 높은 보상을 가진 생성을 가능하게 합니다.

이 연구는 향후 추론 시간 스케일링이 무차별적인 탐색이나 파괴적인 평균 이동을 넘어, 노이즈의 통계적 특성을 활용하여 효율적으로 생성을 가이드할 수 있음을 시사합니다.