📊 statistics

Variance-Tilted Diffusion Models for Diverse Sampling

이 논문은 사후 디노이징 평균(posterior denoised means)을 명시적으로 밀어내고 입자들을 더 높은 특징 분산(feature variance)을 가진 영역으로 유도함으로써 다양한 후보 집합을 생성하기 위해 Doob $h$ -변환을 활용하는 분산 기울기 디퓨전 샘플링(variance-tilted diffusion sampling) 방법을 소개한다.

원저자: Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 "유리로 된 오리"와 같은 묘사를 바탕으로 그림을 그리는 데 매우 능숙한 마법 같은 예술가(확산 모델, Diffusion Model)가 있다고 상상해 보세요. 보통, 만약 당신이 이 예술가에게 오리 100마리를 그려달라고 요청한다면, 그는 단지 약간씩만 다른, 똑같이 완벽한 오리 100마리를 그려낼 것입니다. 그것들은 모두 매우 유사한 모습이며, 같은 자세를 취하고 있고, 같은 조명을 받고 있을 것입니다.

이것은 단 하나의 좋은 그림만을 원할 때는 아주 좋습니다. 하지만 만약 당신이 게임을 위해 다양한 오리 컬렉션이 필요하다면 어떨까요? 예를 들어 어떤 것은 수영하고 있고, 어떤 것은 날고 있으며, 어떤 것은 초록색 유리로 되어 있고, 또 다른 것은 파란색 유리로 되어 있어야 한다면 말이죠.

현재의 방식대로 예술가에게 요청하는 것은 대개 실패합니다. 그것은 마치 요리사에게 서로 다른 케이크 100개를 만들어 달라고 부탁했는데, 요리사가 자신이 가장 좋아하는 레시피인 초콜릿 케이크 100개를 똑같이 만들어 버리는 것과 같습니다.

문제점: "집단 사고"에 빠진 예술가

이 논문은 현재의 AI 모델들이 너무 "집단 사고(groupthink-y)"적이라고 주장합니다. 이 모델들은 가장 확률이 높고 안전한 답을 찾도록 훈련되었습니다. 그래서 당신이 한 묶음의 샘플을 요청하면, 그들은 똑같은 안전한 답을 반복해서 내놓습니다.

해결책: "분산 편향(Variance-Tilted)" 방식

저자들은 예술가에게 대화하는 새로운 방법을 제안합니다. 단순히 "오리를 그려줘"라고 말하는 대신, 특별한 규칙을 추가합니다: "오리 100마리를 그리되, 이들을 한데 모아 놓고 보았을 때 최대한 멀리 떨어져 있도록 해라."

이것을 **"분산 편향 확산(Variance-Tilted Diffusion)"**이라고 부릅니다.

작동 방식은 다음과 같습니다.

1. 특징 맵 (측정 테이프)

먼저, "차이"를 측정할 방법이 필요합니다. 저자들은 **선형 연산자(A)**라는 도구를 사용합니다. 이것을 특별한 측정 테이프라고 생각하세요.

그것은 오리의 모양을 측정할 수도 있습니다.
그것은 색상을 측정할 수도 있습니다.
그것은 배경을 측정할 수도 있습니다.
심지어 왼쪽 날개만을 측정할 수도 있습니다.

이 도구는 오리의 복잡한 이미지를 그 오리를 독특하게 만드는 것을 나타내는 단순한 숫자 리스트(특징)로 변환합니다.

2. 분산 목표 (퍼져 나가는 규칙)

목표는 **분산(Variance)**을 극대화하는 것입니다. 일상적인 용어로 분산은 단순히 "퍼짐"을 의미합니다.

만약 100마리의 오리가 일직선으로 서 있다면, 분산은 낮습니다 (서로 뭉쳐 있습니다).
만약 오리들이 방 전체에 흩어져 있다면, 분산은 높습니다.

논문은 수학적 규칙을 만듭니다: "우리는 우리의 측정 테이프를 기준으로 최종적인 오리 묶음이 가질 수 있는 가장 높은 퍼짐을 원한다."

3. Doob H-변환 (유령 가이드)

이 부분이 까다로운 수학적 부분이지만, 아주 간단하게 설명하자면 이렇습니다.
보통 AI는 이미지를 하나씩 독립적으로 생성합니다. 하지만 이 모델들은 다양성을 만들기 위해 게임의 규칙을 바꿉니다. 저자들은 AI가 단순히 오리 한 마리를 그리는 것이 아니라, 하나의 그룹 전체를 동시에 그리고 있으며, 그 그룹이 서로 "대화"하고 있다고 가정합니다.

그들은 Doob h-변환이라는 수학적 트릭을 사용합니다. 이것을 예술가의 귀에 속삭이는 유령 가이드라고 생각하세요.

속삭임: "이봐, 방금 네가 그린 그 오리는 5초 전에 그린 것과 너무 닮았어. 좀 움직여 봐! 두 발 대신 외발로 서 있게 해!"
반발력: 가이드는 새로운 오리들을 다른 오리들로부터 밀어냅니다 (마치 같은 극을 가진 자석처럼).
곡률: 가이드는 또한 오리들을 "퍼짐"이 자연스럽게 더 높은 영역으로 유도하여, 그들이 이상한 구석에 뭉쳐 있지 않도록 합니다.

작용하는 두 가지 힘

논문은 이 "유령 가이드"를 두 가지 단순한 힘으로 나눕니다.

"나를 따라 하지 마" 힘: 이 힘은 오리들을 서로 밀어냅니다. 만약 AI가 그룹의 평균과 너무 닮은 오리를 그리려 한다면, 이 힘은 그것을 밀어냅니다. 이는 오리들이 모두 똑같은 "평균적인" 오리가 되지 않도록 보장합니다.
"가장자리 탐색" 힘: 이 힘은 오리들을 가능한 세계의 가장자리로 밀어냅 지향합니다. 이는 AI가 지루하고 안전한 중심부에 머무는 대신, 약간 특이하거나 드문 것들을 시도하도록 격려합니다.

결과

저자들이 이미지(예: "유리 오리" 또는 "공을 가지고 있는 코기")에 대해 테스트했을 때, 결과는 놀라웠습니다.

표준 AI (CFG): 모두 매우 비슷해 보이는 오리 그룹을 만들어냈습니다.
그들의 방식 (Variance-Tilted): 매우 다양한 포즈, 배경, 스타일을 가진 오리 그룹을 만들어냈습니다. 어떤 것은 수영하고 있고, 어떤 것은 날고 있으며, 어떤 것은 비 속에서, 어떤 것은 햇빛 아래에서 있습니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 이 방식이 이전 방법들보다 더 낫다고 주장하는데, 그 이유는 다음과 같습니다:

정확합니다: 그들은 단순히 다양성을 만드는 규칙을 추측한 것이 아닙니다. 그들은 목표(퍼짐 극대화)에서 시작하여, 그곳에 도달하기 위한 정확한 단계들을 수학적으로 도출했습니다.
투명합니다: 당신은 "유령 가이드"가 무엇을 하고 있는지 정확히 볼 수 있습니다. 이것은 블랙박스가 아닙니다. 개별 오리와 그룹 사이의 명확한 밀고 당기기입니다.

요약하자면: 이 논문은 AI에게 모방자가 되기를 멈추고 창의적인 감독이 되도록 가르칩니다. 이를 통해 당신이 아이디어 한 묶음을 요청했을 때, 똑같은 것의 복사본 100개가 아니라 풍부하고 다양한 컬렉션을 얻을 수 있도록 보장합니다.

기술 요약: 다양한 샘플링을 위한 분산 기울기 디퓨전 모델 (Variance-Tilted Diffusion Models)

문제 정의
디퓨전 모델은 고해상도 이미지 합성부터 과학적 발견(예: 단백질 구조 예측 및 분자 도킹)에 이르는 다양한 영역에서 생성 모델링의 표준이 되었습니다. 그러나 표준 샘플링 패러다임은 독립 동일 분포(i.i.d.) 샘샘플을 추출하는 방식에 의존합니다. 이러한 접근 방식은 약물 설계에서 구조적으로 다양한 리간드를 생성하거나, 로봇 동작 계획에서 강건한 궤적 제안을 하는 것과 같이, 데이터 매니폴드의 서로 다른 영역을 포괄하는 다양한 후보군이 필요한 다운스트림 작업에는 최적이 아닐 수 있습니다.

다양성을 강제하기 위한 기존 방법들(예: 입자 가이드/particle guidance)은 샘플링 역학에 반발력(repulsive potentials)을 도입합니다. 이러한 방법들은 효과적이긴 하지만, 드리프트(drift)를 휴리스틱하게 수정하기 때문에, 계산적으로 정밀하게 평가하거나 제어하기 어려운 암묵적인 타겟 분포를 생성한다는 한계가 있습니다.

방법론
저자들은 정확한 샘플러를 유도하기 전에 배치 타겟 분포를 명시적으로 정의하는 "타겟 우선(target-first)" 정식화를 제안합니다. 핵심 혁신은 특정 선형 특징 맵(feature map) 이후에 큰 경험적 확산(empirical spread)을 갖는 샘플 집합을 선호하도록 하는 **분산 가중치 배치 분포(variance-weighted batch distribution)**입니다.

$n$ 개의 샘플 $\mathbf{x} = (x^{(1)}, \dots, x^{(n)})$ 에 대한 타겟 분포 $\pi^A_0(\mathbf{x})$ 는 다음과 같이 정의됩니다:
$\pi^A_0(\mathbf{x}) \propto \text{Var}^A_n(\mathbf{x}) \prod_{i=1}^n p_0(x^{(i)})$
여기서 $p_0$ 는 원래의 데이터 분포이며, $A: \mathbb{R}^d \to \mathbb{R}^k$ 는 샘플을 작업 특화된 특징 공간으로 매핑하는 선형 연산자이고, $\text{Var}^A_n(\mathbf{x})$ 는 특징 $A(x^{(i)})$ 의 경험적 분산입니다.

이 분포로부터 샘플링하기 위해, 저자들은 독립 디퓨전 역학의 정확한 **Doob $h$ -변환(Doob $h$ -transform)**을 유도합니다. 이는 노이즈가 섞인 상태 $\mathbf{x}_t$ 가 주어졌을 때 배치 분산의 조건부 기댓값을 계산하는 과정을 포함합니다:
$h^A_t(\mathbf{x}_t) := \mathbb{E}[\text{Var}^A_n(\mathbf{X}_0) \mid \mathbf{X}_t = \mathbf{x}_t]$

Tweedie의 항등식과 편향-분산 분해(bias-variance decomposition)를 사용하여, 저자들은 스코어 보정항 $\nabla_{\mathbf{x}_t} \log h^A_t(\mathbf{x}_t)$ 에 대한 폐쇄형(closed-form) 표현식을 유도합니다. 이 보정항은 두 가지 뚜렷한 항으로 구성됩니다:

상호작용 항 (반발력, Interaction Term): 특징 공간에서 입자들의 사후 디노이징 평균( $\mu_t$ )이 서로 밀어내도록 하는 항입니다. 이는 디노이저를 통한 벡터-자코비안 곱(VJP)을 통해 효율적으로 계산됩니다.
곡률 항 (Curvature Term): 입자들을 높은 특징 분산을 가진 영역으로 이동시키는 항으로, 스코어 함수의 다이버전스(divergence, 구체적으로 $\text{div}(A^\top A \nabla s_t)$ )를 포함합니다. 이는 유한 차분법(finite differences) 또는 확률적 트레이스 추정기(Hutchinson estimator 등)를 통해 추정됩니다.

결과적인 샘플러는 각 입자의 스코어가 표준 스코어와 유도된 Doob 보정항의 합으로 이루어지는 상호작용 입자 프로세스(interacting-particle process)입니다.

주요 기여

타겟 우선 정식화: 본 논문은 다양한 생성을 휴리스틱한 입자 반발력이 아닌, 명시적인 배치 타겟 분포으로부터의 정확한 샘플링 문제로 프레임화합니다.
폐쇄형 Doob 보정: 저자들은 일반적인 선형 연산자 $A$ 에 대한 스코어 보정의 분석적 유도를 제공하며, 이를 사후 평균에 대한 반발 항과 특징 분산에 대한 곡률 항으로 분해합니다.
실행 가능한 샘플링 알고리즘: 이산화된 상호작용 입자 샘플러를 도입했습니다. 주요 상호작용 항은 효율적인 VJP 계산을 활용하며, 곡률 항은 수치적 추정을 통해 처리되므로 기존 디퓨전 모델에 적용하기 실용적입니다.

결과
저자들은 다양한 프롬프트를 사용하여 Stable Diffusion v1.5 (512x512)를 이용한 이미지 생성 실험을 수행했습니다. 세 가지 구성을 비교했습니다:

표준 Classifier-Free Guidance (CFG).
Divergence 항이 없는 Variance-Tilted (VT).
Variance-Tilted + Divergence (VT + Divergence).

정성적 결과(그림 1–5)는 제안된 방법이 표준 CFG에 비해 더 다양한 샘플을 생성함을 보여줍니다. 생성된 이미지는 단순히 고확률 모드(high-probability modes)의 미세한 변형을 만드는 데 그치지 않고, 더 넓은 범위의 포즈, 배경, 시각적 스타일을 포괄합니다. Divergence 항을 포함하면 다양성이 더욱 정교해지지만, 저자들은 전체 방법이 이미지 품질을 약간 저하시킬 수 있다고 언급했습니다.

의의 및 주장
본 논문은 휴리스틱한 입자 반발에 대한 확률론적 대안을 제시한다고 주장합니다. 분산 가중치 타겟에 대한 정확한 샘플러를 유도함으로써, 이 방법은 암묵적인 목적 함수가 아닌 투명한 확률론적 목적 함수를 제공합니다. 저자들은 이를 실용적인 구현 경로를 유지하면서도 다양성 있는 샘플링을 달성하는 엄격한 접근법으로 위치시킵니다.

저자들은 방법론의 한계에 대해 겸허한 태도를 유지하며, 방법론이 질적으로 다양성을 개선하지만, 2차 미분(divergence) 추정으로 인해 계산 비용이 증가하고 이미지 품질을 약간 저하시킬 수 있음을 인정합니다. 또한 향-작업으로서 품질 문제를 완화하기 위해 Doob 보정을 어닐링(annealing)하거나, 곡률 항을 위한 더 효율적인 추정기를 개발하는 것을 제안합니다.