기술 요약: 확산 모델의 결합 초기 노이즈 설계

문제 제기

현대 확산 모델은 사실적인 이미지 생성에 탁월하지만, 생성된 이미지 배치의 출력을 제어하는 것은 여전히 과제입니다. 기존 방법들은 단일 샘플을 고품질 및 의미론적 정합성 방향으로 효과적으로 유도하지만, $K$개의 이미지 배치에 대한 초기 노이즈를 독립적이고 동일하게 분포된 (i.i.d.) 가우스 변수로 간주하는 경향이 있습니다. 이러한 독립성 가정은 갤러리 내 샘플 간의 관계를 제어하는 능력을 제한합니다.

최근 연구들은 초기 노이즈가 출력 품질, 레이아웃, 객체 위치에 상당한 영향을 미친다고 시사합니다. 그러나 현재 추론 시 방법들 (예: 노이즈 최적화 또는 시드 선택) 은 각 노이즈 벡터를 독립적으로 최적화하거나 순위 매겨야 할 별도의 개체로 취급합니다. 이는 근본적인 간극을 남깁니다: 각 샘플별 최적화가 발생하기 전에 초기 노이즈 간의 의존 구조를 명시적으로 설계할 수 있는가? 이 논문은 표준적인 독립성 가정이 유효한 결합 노이즈 설계의 더 넓은 클래스 내의 한 선택에 불과하다고 주장합니다.

방법론

결합 (Coupling) 프레임워크

저자들은 확률론의 개념인 **결합 (coupling)**에 기반한 프레임워크를 제안합니다. 이는 한 집합의 확률 변수에 대한 결합 분포를 구성하되, 그 주변 분포 (marginal distributions) 는 고정되도록 하는 개념입니다. 확산 모델의 맥락에서:

• 각 $Z_i$가 주변적으로 표준 가우스 ($Z_i \sim \mathcal{N}(0, I_d)$) 로 유지되도록 초기 노이즈 배치 $(Z_1, \dots, Z_K)$가 구성됩니다.
• 배치 전체에 걸친 의존 구조는 사용자가 명시적으로 설계합니다.
• 결정적으로, 주변 분포가 변하지 않기 때문에 사전 훈련된 확산 모델은 평소와 동일한 단일 샘플 입력 분포를 받습니다. 모델, 프롬프트, 샘플러, 또는 안내 규칙에 변경이 필요하지 않습니다.

주요 결합 구성

이 논문은 이 프레임워크 내에서 몇 가지 구체적인 결합을 연구합니다:

1. 동일 결합 (Identical Coupling): $Z_1 = Z_2 = \dots = Z_K$. 샘플 간 콘텐츠 보존에 사용됩니다.
2. 독립 결합 (Independent Coupling): 표준 i.i.d. 샘플링 ($\rho = 0$).
3. 반대 결합 (Antithetic Coupling): $K=2$인 경우, $(Z_1, Z_2) = (Z, -Z)$.
4. 반발 결합 (Repulsive Coupling): 임의의 $K$에 대한 새로운 구성으로, 모든 쌍 간에 음의 상관관계를 유도합니다. 알고리즘 1 은 독립적인 기본 노이즈를 중심으로 배치하고 스케일링하여 이를 생성합니다:
   $$Z_i = \sqrt{\frac{K}{K-1}} (U_i - \bar{U})$$
   여기서 $\bar{U}$는 배치 평균입니다. 이는 $i \neq j$에 대해 쌍별 공분산 $\text{Cov}(Z_i, Z_j) = -\frac{1}{K-1}I_d$를 결과로 낳습니다.

이론적 특성

• 최소최대 최적성 (Minimax Optimality): 반발 결합은 최소최대 (minimax) 관점에서 "가장 퍼져 있는" 결합 설계임이 증명되었습니다. 이는 모든 유효한 가우스 결합 중 최대 쌍별 상관관계를 최소화하여 $-1/(K-1)$의 이론적 하한을 달성합니다.
• 주변 분포 보존: 명제 3.2 는 결합을 변경해도 단일 이미지 지표 (예: 평균 프롬프트 정합성 또는 품질) 의 기대값을 변경할 수 없음을 확립합니다. 이는 오직 여러 샘플에 종속적인 지표 (예: 다양성, 쌍별 거리) 에만 영향을 미칩니다.
• 매개변수화: 정리 3.3 은 가우스 결합을 위한 행렬 매개변수화 ($Z = AU$) 를 제공하여, 감가 최적화를 통해 사용자 정의 의존 구조를 학습할 수 있게 합니다.

세 가지 적용 모드

1. 직접 플러그인: 샘플링 시작 시 독립 노이즈를 결합 노이즈 (특히 반발 결합) 로 대체합니다. 이는 초기 선형 변환을 제외하고 추가 계산 비용이 전혀 발생하지 않습니다.
2. 구조화된 초기화: 결합 노이즈를 추론 시 노이즈 최적화 (예: 대비 노이즈 최적화) 의 시작점으로 사용합니다. 최적화기는 무작위 i.i.d. 노이즈가 아닌 구조화된 분포에서 시작합니다.
3. 감가 최적화 (Amortized Optimization): 특정 분포 수준 보상 (예: 특정 밝기 클러스터링) 을 최대화하기 위해 결합 행렬 $A$를 학습합니다. 일단 학습되면, 이 행렬은 추가 최적화 없이 새로운 프롬프트에 재사용될 수 있습니다.

주요 결과

다양한 텍스트 - 이미지 생성

실험은 2,000 개의 프롬프트를 사용하여 Stable Diffusion 1.5 (SD1.5), SDXL, SD3 에서 수행되었습니다.

• 다양성 향상: 반발 결합은 독립 샘플링에 비해 다양성 지표 (L2 거리, 평균 쌍별 유사성, Vendi 점수) 를 크게 향상시켰습니다. 예를 들어, SD3 에서 L2 거리는 0.1417 에서 0.1667 로 증가했습니다.
• 품질 보존: 프롬프트 정합성 (CLIP 점수) 및 지각적 품질 (PickScore) 은 거의 변하지 않아, 다양성 향상이 충실도 (fidelity) 를 희생하는 것이 아님을 확인했습니다.
• 비용 효율성: 반발 결합은 최적화 루프의 계산 오버헤드 없이 다양성 지표에서 최근 추론 시 최적화 기준 (예: 대비 노이즈 최적화, CNO) 과 일치하거나 능가했습니다.
• 상호 보완성: 반발 결합과 CNO 를 결합하면 최상의 결과가 도출되어 두 방법이 상호 보완적임을 시사합니다.

고정 객체 배경 생성

이 방법은 특정 전경 객체 (예: 침실의 침대) 를 보존하면서 다양한 배경을 생성하는 데 적용되었습니다.

• 접근법: 전경 노이즈는 동일하게 결합 (및 충실도를 위해 최적화) 되었고, 배경 노이즈는 변이를 장려하기 위해 반발적으로 결합되었습니다.
• 성능: 전문화된 인페인팅 기준 및 SDEdit 에 비해 제안된 방법은 더 높은 배경 다양성과 더 나은 경계 부드러움 (낮은 Boundary-TV) 및 글로벌 자연스러움 (낮은 BRISQUE) 을 달성했으며, 전경 보존 오류는 moderate 한 트레이드오프만 있었습니다.

감가 학습

이 논문은 감가 최적화가 특정 구조적 목표 (예: 갤러리를 밝고 어두운 클러스터로 분할) 에 대한 결합 행렬을 학습할 수 있음을 시연했습니다. 학습된 행렬은 다른 모델 계열 (SD1.5, SDXL, SD3) 에서 일반화되었으며, 목표가 일반적인 다양성일 때 분석적 반발 구조를 복원했습니다.

중요성 및 주장

이 논문은 초기 노이즈 결합이 개별 시드 선택에서 갤러리의 결합 분포 설계로 문제를 재정의하는 확산 생성을 위한 일반적이고 유연한 제어 계층이라고 주장합니다.

• 일반 프레임워크: 기존 방법들 (예: 반대 샘플링) 을 특수 사례로 통합하고, 다양성에 대해 이론적으로 최적인 새로운 구성 (반발 결합) 을 도입합니다.
• 무비용 제어: 주요 기여는 사전 훈련된 모델을 수정하거나 제거/최적화 비용을 추가하지 않고 갤러리 다양성을 향상시키고 구조화된 생성 작업을 지원할 수 있는 방법입니다.
• 제한된 범위: 저자들은 이 접근법이 주로 단일 이미지 품질 향상을 위한 도구가 아닌 배치 수준 제어 방법임을 인정하며, 현재 학습된 결합은 저차원 행렬과 상대적으로 단순한 목적에 제한되며 비디오, 오디오, 3D 와 같은 다른 모달리티에 대한 유용성은 여전히 열린 질문이라고 지적합니다.

요약하자면, 이 논문은 초기 노이즈의 의존 구조가 다양성을 향상시키고 구조화된 생성 작업을 효율적으로 가능하게 하는 강력하지만 미활용된 제어 변수임을 확립합니다.