📊 statistics

Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures

본 논문은 점수나 기울기 평가를 요구하지 않고 편향되지 않은 고품질 생성을 달성하기 위해 Girsanov 기반 경로별 중요도 재가중치와 순차적 재샘플링을 활용하는 확산 모델용 무도함수 추론 시간 확장 알고리즘인 \texttt{URGE}를 소개합니다.

원저자: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마스터피스 그림을 그리려고 하는데, 최종 이미지가 어떻게 보여야 하는지에 대한 대략적인 스케치만 있다고 상상해 보세요. 이것이 현대의 AI 이미지 생성기 (확산 모델이라고 함) 가 작동하는 방식입니다: 무작위 잡음에서 시작해 이를 천천히 '잡음 제거'하여 이미지로 변환합니다.

보통 AI 에게 "더 사실적으로 보이게 하라"거나 "조명을 수정하라"는 특정 지시를 따르게 하려면, 생성 과정이 진행되는 동안 그림 그리기 과정을 조정해야 합니다. 이를 **추론 시간 확장 (inference-time scaling)**이라고 합니다.

그러나 기존에 이 과정을 조정하는 방법들은 복잡한 지도를 끊임없이 확인하고 매초마다 풍속을 계산하며 배를 조종하려는 시기와 같습니다. 이들은 미분과 도함수 같은 무거운 수학 계산을 필요로 하며, 계산 비용이 매우 높고, 단순한 근사치일 뿐이므로 종종 오류를 일으킵니다.

이 논문은 URGE(Girsanov 추정을 통한 편향 없는 재샘플링)라는 새로운 방법을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명하겠습니다:

문제: "순진한 안내자"

숨겨진 보물 (완벽한 이미지) 을 찾기 위해 숲을 지나 100 명의 등산객 (입자) 을 인솔한다고 상상해 보세요.

목표: 그들이 보물이 있는 정확한 장소에 도착하도록 하는 것입니다.
옛 방법 (가이드): 보물을 대략적으로 가리키는 나침반을给他们 줍니다. 하지만 나침반은 완벽하지 않아 약간의 오차가 있습니다. 이 나침반만 따르면 그룹은 진로를 이탈하게 됩니다.
옛 교정: 이전 방법들은 몇 걸음마다 멈춰서 지형의 정확한 수학적 경사를 확인하고 등산객들에게 어떻게 조정해야 하는지 알려줌으로써 이를 수정하려 했습니다. 이는 구하기 어렵고 읽는 데 시간이 오래 걸리는 상세한 지도 (도함수) 를 필요로 합니다.

URGE 해결책: "재샘플링 등반"

URGE 는 전략을 완전히 바꿉니다. 각 등산객을 위해 경사를 완벽하게 계산하려 하는 대신, 그들의 수행도에 기반한 복권 시스템을 사용합니다.

모두 출발시키기: 100 명의 등산객을 모두 동시에 보내고, 약간 불완전한 나침반 (가이드된 경로) 을 따르게 합니다.
"점수판" (재가중): 지형 지도를 확인하는 대신, 보물과 비교한 등산객들의 최종 위치만 봅니다.
- 등산객이 보물에 가까우면 높은 점수를 받습니다.
- 등산객이 멀리 있으면 낮은 점수를 받습니다.
- 중요하게도: 그들이 왜 그곳에 있는지, 혹은 지면의 경사가 어떤지 알 필요가 없습니다. 결과만 보면 됩니다.
"재샘플링" (복권):
- 등산객들을 모읍니다.
- 고득점 등산객들에게 스스로를 복제하도록 요청합니다 (최고의 경로를 복사).
- 저득점 등산객들에게 집으로 돌아가게 합니다 (나쁜 경로를 폐기).
- 이제 통계적으로 보물에 훨씬 더 가까운 경로에 있는 100 명의 새로운 등산객 그룹을 갖게 됩니다.
**반복:**旅程 내내, 끝이 아니라 이 과정을 반복합니다.

이것이 특별한 이유는 무엇입니까?

미적분 불필요: 기존 방법들은 보상 함수의 "경사" (도함수) 를 알아야 했습니다. URGE 는 경사에 관심이 없으며, 최종 결과만 중요하게 생각합니다.这意味着它可以处理"黑盒"奖励 (예: 인간의 선호도 점수나 복잡한 신경망), 즉 점수背后的数学无法计算的情况。
근사치 없음: 논문은 이 방법이 "근사치 없이" 작동한다고 주장합니다. 우리 비유에서 이는 복권 시스템이 수학적으로 최고의 경로를 계속 복제하면, 불완전한 나침반으로 인한 이탈 없이 그룹이 결국 보물이 있는 정확한 장소에 도달함을 보장한다는 뜻입니다.
경로 대 입자: 이전 방법들은 개별 등산객 (입자) 을 보고 그들을 살짝 밀어보려 했습니다. URGE 는 각 등산객의 전체 여정 (경로) 을 봅니다. 마치 결승선에서의 위치뿐만 아니라 달린 전체 경주의 질로 선수를 평가하는 것과 같습니다.

결과

저자들은 URGE 를 다음에서 테스트했습니다:

합성 수학 문제: 정확한 답을 알고 있는 경우. URGE 는 다른 어떤 방법보다 진실에 더 가까웠습니다.
이미지 복원: 흐릿하거나 손상된 사진을 수정. URGE 는 복잡한 수학 계산이 없더라도 이전 방법들보다 더 선명한 이미지를 생성했습니다.
텍스트-이미지 생성: 텍스트 프롬프트에서 이미지를 생성. URGE 는 더 작고 덜 강력한 AI 모델을 사용하더라도 텍스트 설명과 더 잘 일치하고 미적으로 더 매력적인 이미지를 생성했습니다.

요약하자면: URGE 는 AI 이미지 생성기를 안내하는 더 똑똑하고 간단한 방법입니다. 배를 조종하기 위해 무거운 수학 계산을 하는 대신, 최고의 선원들만 남기고 나머지는 폐기함으로써, 해양의 상세한 지도 없이도 높은 정밀도로 최종 목적지에 도달하도록 보장합니다.

기술 요약: URGE – 경로 측도에서의 순차 몬테카를로를 통한 확산 모델의 단순 근사 및 미분자 없는 추론 시간 스케일링

1. 문제 제기

현대적인 확산 모델과 흐름 기반 생성 방법은 일반적으로 데이터 분포 $p_{\text{data}}$ 를 포착하도록 훈련됩니다. 그러나 배포 시에는 재훈련 없이 특정 하위 목표 (예: 물리적 타당성, 텍스트 - 이미지 정렬) 로 생성을 유도해야 하는 경우가 많습니다. 이는 보상 기울어진 사후분포 $q(x) \propto p_{\text{data}}(x)r(x)$ 로부터 샘플링하는 것으로 공식화됩니다.

현재의 추론 시간 스케일링 방법, 특히 **가이드 (guidance)**는 가이드 잠재력 $G$ 에서 유도된 기울기 항을 사용하여 샘플링 SDE 의 드리프트를 수정함으로써 이를 달성하려 합니다. 경험적으로 효과적이지만, 가이드는 근본적인 수학적 한계를 도입합니다. 즉, 정확한 기울어진 분포 $q(x)$ 로부터 샘플링을 보장하지 못한다는 점입니다. 정확한 샘플링은 도브의 $h$ -변환 (Doob's $h$ -transform) 을 필요로 하며, 이는 역방향 콜모고로프 방정식을 푸는 것을 포함하고 고차원에서는 종종 계산이 불가능합니다.

FK-Corrector 및 AFDPS와 같은 기존 대안들은 입자 재가중치 (reweighting) 를 통해 순차 몬테카를로 (SMC) 를 사용하여 가이드된 생성의 편향을 보정하려 시도합니다. 그러나 이러한 방법들은 보상 함수의 고차 미분 (특히 스코어 $\nabla \log p_t$ , 라플라시안 $\Delta r$ , 그리고 가이드의 헤시안) 에 대한 접근이 필요한 **미소 생성자 (infinitesimal generators)**에 의존합니다. 이러한 요구 사항은 상당한 계산 오버헤드를 초래하며, 미분 정보가 없거나 비싼 블랙박스 보상 모델 (예: 텍스트 - 이미지 생성에 사용되는 신경망 보상 모델) 에는 적용할 수 없게 만듭니다.

이 논문이 다루는 핵심 과제는 다음과 같습니다: 보상 함수의 미분 정보를 요구하지 않으면서 하위 최적 가이드의 편향을 제거하는 근사 없는 추론 시간 스케일링 절차를 설계할 수 있는가?

2. 방법론: URGE

저자들은 URGE(Girsanov 추정을 통한 편향 없는 재샘플링) 를 제안합니다. 이는 개별 생성 샘플 (입자 공간) 이 아닌 생성 궤적(경로 공간) 에 대해 재샘플링을 수행하는 미분자 없는 추론 시간 스케일링 알고리즘입니다.

핵심 메커니즘

URGE 는 Girsanov 정리를 활용하여 확산 과정의 경로 공간에서 측도 변경을 수행합니다.

가이드된 생성: 임의의 가이드 잠재력 $G$ (불완전할 수 있음) 를 가진 가이드 SDE 를 사용하여 여러 궤적 $\{X^{(i),G}_t\}$ 를 시뮬레이션합니다.
$dX^G_t = (v(X^G_t, t) + V(t)^2 \nabla_x G(X^G_t, t))dt + V(t)dW_t$
경로별 재가중치: 미소 생성자 (미분이 필요함) 에 기반한 가중치 계산 대신, URGE 는 목표 보상 기울어진 경로 측도 $Q$ 와 가이드 경로 측도 $P_G$ 사이의 Radon-Nikodym 도함수에 기반하여 각 전체 궤적에 곱셈 가중치를 할당합니다.
$[s, t]$ 에 대한 궤적의 중요도 가중치는 다음과 같습니다:
$w^{\text{URGE}}_{s,t} = \exp\left( \int_s^t -V(\tau)\nabla_x G(X^G_\tau, \tau)^\top dW_\tau - \frac{1}{2}\int_s^t V(\tau)^2 \|\nabla_x G(X^G_\tau, \tau)\|^2 d\tau + \int_s^t dr(X^G_\tau, \tau) \right)$
결정적으로, 이 공식은 $\nabla r$ , $\Delta r$ , 또는 $\nabla \log p_t$ 를 요구하지 않습니다. 보상 함수 $r$ 과 가이드 $G$ 만 필요합니다.
재샘플링: 이산 시간 단계에서 입자는 경로 가중치에 비례하여 재샘플링됩니다. 이는 고보상 궤적은 복제되고 저보상 궤적은 제거되는 "출생 - 사망" 메커니즘을 구현하여 경험적 분포를 진정한 사후분포 $q$ 로 유도합니다.

이론적 동등성

이 논문은 경로 공간 재샘플링 (URGE) 과 입자 공간 재샘플링 (FK-Corrector/AFDPS) 사이의 이론적 동등성을 확립합니다.

저자들은 URGE 경로 공간 과정의 **마진화된 생성자 (marginalized generator)**가 말단 상태에 조건부일 때, FK-Corrector 와 AFDPS 가 사용하는 정확한 미소 재가중치 항을 회복함을 증명합니다.
이는 URGE 가 **근사 없음 (approximation-free)**임을 확인시켜 줍니다. 즉, 이론적으로 최적이지만 미분 의존적인 입자 공간 방법과 동일한 목표 분포로 수렴하지만, 가중치 구성을 경로 공간으로 승격시킴으로써 명시적인 미분 계산의 필요성을 우회합니다.

3. 주요 기여

새로운 믹스처 - 오브 - 전문가 (Mixture-of-Experts) 프레임워크: 저자들은 샘플이 아닌 궤적에 대한 재샘플링을 통해 생성 과정과 SMC 를 통합하는 방법을 소개합니다. 이는 보상 미분을 요구하지 않고 Girsanov 측도 변경을 통한 유연한 가중치 구성을 가능하게 합니다.
미분자 없는 구현: URGE 는 보상 함수의 스코어 함수, 헤시안, 또는 라플라시안에 대한 필요성을 제거합니다. 이로 인해 기울기에 접근할 수 없는 블랙박스 보상 모델 (예: CLIP, ImageReward, DPO-튜닝된 모델) 에 적용 가능해집니다.
이론적 동등성: 이 논문은 URGE 의 경로별 재가중치가 마진화되었을 때, 최첨단 미분 기반 방법 (FK-Corrector/AFDPS) 의 가중치 구조를 정확히 회복함을 증명하여, 두 체계 모두 동일한 근사 없는 말단 법칙을 생성함을 보장합니다.
경험적 우위: URGE 는 합성 및 실제 작업 전반에 걸쳐 기존 베이스라인 (FK-Steering 및 AFDPS 변형 포함) 보다 일관되게 우수한 성능을 발휘하면서도 구현이 훨씬 간단하고 완전한 기울기 자유 (gradient-free) 입니다.

4. 실험 결과

저자들은 세 가지 벤치마크에서 URGE 를 평가했습니다.

가우시안 혼합 모델 (합성):
- URGE 는 순수 가이드, AFDPS, FK-Steering 과 비교하여 모든 지표 (MMD, SWD, 평균 L2, 공분산 Frob) 에서 가장 낮은 오차를 달성했습니다.
- 더 적은 입자로 더 나은 결과를 달성함으로써 우수한 수렴 효율성을 보여주었습니다.
- URGE 는 다양한 차원과 이산화 단계에서 견고하게 유지되었으며, 경쟁 방법들보다 단계 크기에 덜 민감함을 보여주었습니다.
역문제 (이미지 복원):
- ImageNet-256 및 FFHQ-256 을 사용하여 가우시안 디블러링, 모션 디블러링, 초해상도, 박스 인페인팅에서 테스트되었습니다.
- URGE 는 미분이 필요한 AFDPS 와 유사한 성능을 달성했으며, PSNR 및 LPIPS 에서 다른 베이스라인보다 현저히 우수한 성능을 보였습니다.
- URGE 는 높은 복원 품질을 유지하면서 AFDPS-ODE 보다 짧은 추론 시간을 달성하여 더 나은 계산 확장성을 보여주었습니다.
텍스트 - 이미지 생성:
- DPO-튜닝된 변형과 함께 Stable Diffusion v1.5 및 SDXL 에서 테스트되었습니다.
- URGE 는 미적 품질 (ImageReward, HPS) 및 프롬프트 충실도 (GenEval, CLIP-Score) 측면에서 FK-Steering 및 기본 모델보다 우수한 성능을 보였습니다.
- 특히, URGE 는 입자 스케일링을 사용할 때 더 작은 모델 (SD v1.5) 이 더 큰 모델 (SDXL) 의 성능을 맞추거나 근접하게 하도록 허용하는 반면, FK-Steering 은 체감 수익을 보였습니다.
- URGE 는 FK-Steering 과 달리 입자 수 증가에 따라 단조로운 보상 개선을 보여주었습니다.

5. 중요성 및 주장

이 논문은 URGE 가 훈련 없는, 근사 없는 앙상블 기반 사후분포 샘플링 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 경로 기반 및 상태 기반 가중치 전략을 통합하는 데 있습니다. 재샘플링 메커니즘을 입자 공간에서 경로 공간으로 승격시킴으로써 URGE 는 다음과 같은 이점을 제공합니다:

미분 병목 현상 제거: 고차 미분 계산의 계산 비용을 들이지 않고도 복잡한 블랙박스 보상 모델을 확산 가이드에 사용할 수 있게 합니다.
이론적 정확성 보장: 표준 가이드 방법의 고유한 편향을 수정하여 진정한 보상 기울어진 사후분포로의 수렴을 보장합니다.
실용적 효율성 제공: 더 간단한 구현과 경쟁력 있는 계산 오버헤드로 최첨단 생성 품질을 달성하여 대규모 실제 생성 작업에 적합하게 만듭니다.

저자들은 이전 연구들 (FK-Corrector, AFDPS) 이 가이드 보정에 대한 이론적 통찰을 제공했지만, 미분 정보에 대한 의존성으로 인해 제한적이었다고 강조합니다. URGE 는 이 격차를 해소하여 근사 없는 샘플링의 이론적 보장을 유지하는 실용적이고 미분자 없는 해결책을 제공합니다.