기술 요약: Divide-and-Denoise

문제 정의

사전 학습된 확산 모델(diffusion models)의 확산은 사용자가 여러 전문화된 모델(예: 개를 학습한 모델과 고양이를 학습한 모델)의 전문성을 결합하여 단일 모델으로는 생성할 수 없는 복잡한 데이터를 생성할 수 있는 상당한 기회를 제공합니다. 그러나 이러한 모델들을 나이브하게 결합하는 것은 두 가지 주요 과제를 안겨줍니다:

1. 지배력(Dominance): 한 모델이 다른 모델들을 압도하여 특정 개념이 무시될 수 있습니다.
2. 불일치(Disagreement): 모델들이 충돌하여 비일관적인 출력, 중첩된 객체 또는 일치하지 않는 속성(예: "개"와 "고양이"가 하나의 비일관적인 덩어리로 합쳐지는 현상)을 초래할 수 있습니다.

곱밀도(product densities)를 통해 합성 분포를 정의하거나 사용자 정의 공간 분할(예: MultiDiffusion)을 사용하는 기존 방식들은 충돌이 발생할 때 각 모델의 고유한 특성을 보존하는 데 종종 실패합니다. 사용자 정의 분할은 번거롭고, 복잡한 도메인(예: 단백질 구조)에서는 실행 불가능한 경우가 많으며, 생성의 특정 단계에서 모델의 강점과 약점에 적응하지 못합니다.

방법론: Divide-and-Denoise

저자들은 여러 사전 학습된 확산 모델을 샘플링 과정 중에 조정하는 게임 이론적 프레임워크인 Divide-and-Denoise를 제안합니다. 이 방법은 모든 타임스텝 $t$에서 함께 진화하는 두 개의 결합된 프로세스를 통해 작동합니다.

1. 분할 프로세스 (공정한 할당)

고정된 분할 대신, 이 방법은 온라인으로 최적의 "분업(division of labor)"을 추론합니다. 잠재 이미지(latent image)는 $n$개의 모델(플레이어)에게 할당될 $m$개의 특징(재화) 집합으로 취급됩니다.

• 효용(Utilities): 각 모델 $i$는 잠재 변수 $x$의 각 특징 $j$에 대해 효용 $u_{ij}(x, t)$를 할당받습니다. 논문은 두 가지 유형의 효용을 정의합니다:
  • 스코어 기반(Score-based): 조건부 가이던스와 무조건부 가이던스 사이의 스코어 차이의 크기에서 유도됩니다 (모든 조건부 확산 모델에 적용 가능).
  • 어텐션 기반(Attention-based): 크로스 어텐션 맵에서 유도됩니다 (크로스 어텐션 컨디셔닝을 가진 모델에 특화됨).
• 공정 분할 게임(Fair Division Game): 각 단계에서 이 방법은 할당 행렬 $Q$를 결정하기 위해 공정 분할 게임을 해결합니다. 목표는 공정성 제약 조건(예: 비례성, 불만 없음/envy-freeness)을 준수하면서 기대 총 효용(효율성)을 극대화하는 것입니다.
• 최적화: 할당 $Q_t$는 시간적 매끄러움을 보장하기 위해 이전 타임스텝의 할당으로부터의 쿨백-라이블러(KL) 발산을 이용해 정규화된 제약 최적화 문제를 해결함으로써 업데이트됩니다. 솔루션은 듀얼 문제를 통해 도출되며, 각 특징이 각 모델에 분수 가중치로 할당되는 분해 가능한 할당을 생성합니다.

2. 합성 디노이징 프로세스

할당 $Q_t$가 결정되면, 이 방법은 이 분할과 일치하는 합성 디노이징 커널 $p^c_t$를 구성합니다.

• 정렬(Alignment): 합성 업데이트는 모델 $i$에 할당된 특징에 대한 디노이징 단계가 모델 $i$의 제안(proposal)과 가깝게 유지하면서 총 효용을 극대화하도록 공식화됩니다.
• 업데이트 규칙: 단순화된 가정(요인화된 분포 및 선형 효용) 하에서, 최적의 합성 평균 $\mu^c_t$는 개별 모델 평균들의 가중 합과 가이던스 항의 합으로 도출됩니다:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  여기서 $\odot$는 특징별 곱을 나타내며, 두 번째 항은 총 효용의 그래디언트에 기반한 가이던스 업데이트 역할을 합니다.
• 가상 플레이어(Fictitious Player): 모델들이 충돌하거나 선호도가 없는 저효용 영역을 처리하기 위해, 균등한 효용을 가진 "가상 플레이어"가 도입됩니다. 이 플레이어의 제안은 모든 모델의 평균이며, 공정성 제약을 강제하지 않으면서 모호한 영역에서의 협력을 장려합니다.

주요 기여

1. 추론 시점 조정 알고리즘: 공유된 가중치, 아키텍처 또는 학습 데이터 없이도 서로 다른 전문성을 가진 여러 사전 학습된 확산 모델을 조정하는 방법입니다.
2. 결합된 프로세스: (공정 분할 게임을 해결하는) 동적 분할 프로세스와 (모델을 할당된 영역에 정렬하는) 합성 디노이징 프로세스의 통합입니다.
3. 효용 공식화: 모든 조건부 확산 모델에 적용 가능한 일반적인 효용 정의(스코어 기반)와 크로스 어텐션 모델을 위한 특정 인스턴스화(어텐션 기반)를 제공합니다.
4. 경험적 검증: 이 방법을 통해 조정된 단일 개념 모델 팀이 표준 벤치마크에서 기존의 구성 기법 및 심지어 멀티 컨셉 모델보다 우수한 성능을 보임을 입증했습니다.

실험 결과

이 방법은 Stable Diffusion 2.0 및 Diffusion Transformer (DiT) 모델을 사용하여 조건부 이미지 생성에 대해 평가되었습니다.

• 벤치마크: 평가는 GenEval(객체 존재 및 속성 바인딩에 집중), CLIP-Score, VQAScore, 그리고 ImageReward를 통해 수행되었습니다.
• 성능:
  • 객체 생성: "Concepts as Objects" 설정(예: 핸드백과 스포츠 볼이 있는 이미지를 생성)에서, Divide-and-Denoise는 Averaging, Composable Diffusion, MultiDiffusion과 같은 베이스라인을 크게 앞질렀습니다. 3개 객체 생성의 경우, GenEval "%images" 메트릭에서 Multi-Concept Diffusion(14.75%) 및 MultiDiffusion(14.00%)에 비해 **59.5%**를 달성했습니다.
  • 속성 바인딩(Attribute Binding): 특정 색상의 객체(예: "주황색 말")를 생성할 때, 이 방법은 속성을 올바른 객체에 성공적으로 바인딩했으며, 속성 누출이나 객체 누락을 겪는 베이스라인들보다 뛰어난 성능을 보였습니다.
  • 충돌 해결: 상충하는 개념(예: "사막" 대 "눈 덮인 산")이 있는 시나리오에서, 이 방법은 베이스라인보다 더 다양한 공간 레이아웃과 높은 품질의 이미지를 생성하며 호환되지 않는 개념들의 혼합을 피했습니다.
  • 공정성: 비례성 제약 조건을 포함하는 것이 특히 모델 수가 증가함에 따라 메트릭을 더욱 개선하였으며, 단일 모델이 생성을 지배하는 것을 방지했습니다.

의의 및 주장

본 논문은 Divide-and-Denoise가 제어 가능하고 재사용 가능한 생성 모델링을 위한 일반적인 레시피를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 충돌 해결: 수동 개입이나 정답(ground-truth) 파티션 없이도 모델 간의 충돌을 효과적으로 해결합니다.
• 모델 불가지론(Model Agnosticism): 이 공식은 특정 모델 아키텍처나 컨디셔닝 메커니즘에 얽매이지 않으며, 잠재 확산 모델(Stable Diffusion)과 트랜스포머 기반 모델(DiT) 모두에서 작동합니다.
• 협력적 상호작용: 게임 이론적 공정성을 통해 매개되는 사전 학습된 모델 간의 협력적 상호작용이 단일 대규모 멀티 컨셉 모델을 학습시키는 것보다 우수한 결과를 낼 수 있음을 강조합니다.
• 확장성: 이 방법은 여러 모델(최대 4개까지 테스트됨)과 도메인으로 확장 가능하며, 텍스트-투-그래프, 텍스트-투-오디오, 오디오-투-이미지 생성으로의 잠재적 확장이 가능합니다.

저자들은 이 방법이 계산 오버헤드(주로 분할 단계에서 발생)를 유발하지만, 분할 및 가이던스 단계를 초기 타임스텝으로 제한하는 등의 런타임 최적화를 통해 성능 향상을 유지하면서 비용을 크게 줄일 수 있다고 언급했습니다.