기술 요약: 디커플드 가이던스 (Decoupled Guidance, DeGu)

1. 문제 정의

텍스트-투-이미지 개인화(Text-to-image personalization)는 사용자가 제공한 특정 피사체(예: 특정 반려동물 또는 제품)를 텍스트로 설명된 새로운 장면 속에 생성하는 것을 목표로 합니다. 그러나 기존 방식들은 **조건부 얽힘(conditioning entanglement)**이라 불리는 근본적인 구조적 한계로 인해 어려움을 겪습니다. 임베딩 최적화(예: Textual Inversion), 미세 조정(예: DreamBooth), 또는 인코더 기반 접근 방식과 같은 현재의 패러다임에서는 피사체의 정체성(identity)과 장면의 문맥(context)이 단일한 조건부 경로를 통해 전달됩니다.

이러한 통합된 구조는 피사체 토큰과 문맥 토큰이 동일한 크로스 어텐션(cross-attention) 자원을 두고 경쟁하게 만듭니다. 저자들은 학습된 피사체 토큰이 어텐션 예산의 대부분을 흡수하여 문맥 토큰(예: "forest", "purple rug")을 체계적으로 억제하는 어텐션 붕괴(attention collapse) 현상을 식별했습니다. 이는 **충실도-편집 가능성 간의 트레이드오프(fidelity–editability trade-off)**를 형성합니다. 즉, 피사체의 충실도를 높이면 텍스트 프롬프트의 구성적 지시를 따르는 능력이 저하되고, 그 반대의 경우도 마찬가지입니다.

2. 방법론: 디커플드 가이던스 (DeGu)

이 얽힘 문제를 해결하기 위해, 저자들은 피사체의 정체성과 장면의 문맥을 두 개의 독립적인 가이던스 스트림으로 전달하는 플러그 앤 플레이(plug-and-play) 프레임워크인 **디커플드 가이던스(Decoupled Guidance, DeGu)**를 제안합니다. 이 프레임워크는 세 가지 수준에서 작동합니다.

A. 문맥 무관 임베딩 (Context-Agnostic Embeddings, CAE)

표준 방식은 문맥을 포함하는 프롬프트(예: "a sks in the snow") 내에서 피사체 토큰을 학습시키므로, 임베딩이 언어적 공기(co-occurrence)를 인코딩하게 됩니다. DeGu는 CAE를 도입하여, 오직 토큰과 패딩만을 포함하는 시퀀스(예: [SOT] [S*] [EOT]...)를 사용하여 학습 가능한 토큰 $[S^*]$를 완전히 고립된 상태로 학습시킵니다.

• 메커니즘: 텍스트 인코더는 이 고립된 시퀀스를 언어적 문맥으로부터 자유로운, 피사체의 시각적 정체성만을 포착하는 **충실도 조건($c_f$)**으로 매핑합니다.
• 대조: **문맥 조건($c_e$)**은 학습 가능한 토큰이 포함되지 않은 표준 텍텍스트 프롬프트로부터 도출됩니다.

B. 디커플드 가이던스 믹서 (Decoupled Guidance Mixer, DGM)

DeGu는 두 개의 독립적인 스트림으로부터의 예측을 결합하기 위해 분류기 없는 가이던스(Classifier-Free Guidance, CFG)를 재구성합니다. 단일 조건부 예측 대신, 노이즈 예측 $\tilde{\epsilon}(z_t)$는 다음과 같이 계산됩니다:
$$\tilde{\epsilon}(z_t) = \epsilon(z_t) + \gamma_e(\epsilon(z_t, t, c_e) - \epsilon(z_t)) + \gamma_f(\epsilon(z_t, t, c_f) - \epsilon(z_t))$$

• 메커니럼: $c_f$와 $c_e$는 별도의 순전파(forward pass)를 통해 처리되어, 크로스 어텐션 메커니즘을 위한 서로 분리된 키-값(key-value) 쌍을 생성합니다. 이를 통해 경로 수준의 간섭을 제거합니다.
• 이론적 근거: 이 공식은 주어진 잠재 상태(latent state)에 대해 충실도 조건과 편집 가능성 조건이 조건부 독립이라고 가정할 때, 전문가의 곱(Product-of-Experts, PoE) 분포의 스코어에 해당합니다.

C. 테스트 타임 크로스 어텐션 마스킹 (Test-time Cross-Attention Masking, TCAM)

스트림이 분리되어 있더라도, 충실도 스트림($c_f$)에서 참조 배경 정보가 생성된 장면에 유출될 수 있습니다. TCAM은 외부 세그멘테이션 모델 없이 각 디노이징 단계에서 가이던스를 공간적으로 분할함으로써 이를 해결합니다.

• 메커니즘: TCAM은 충실도 스트림 내의 지정된 비피사체 토큰(예: [SOT] 또는 [EOT])의 어텐션 맵을 반전 및 이진화하여 피사체 마스크 $M_t$를 도출합니다.
• 적용: 최종 가이던스는 공간적으로 제약됩니다: $c_f$는 피사체 영역($M_t$)에만 적용되고, $c_e$는 배경($1 - M_t$)에 적용됩니다. 이는 외부 세그멘테이션을 위해 노이즈가 섞인 잠재 변수를 디코딩할 때 발생하는 불안정성을 피하면서, 잠재 공간의 어텐션 맵을 활용합니다.

3. 주요 기여

1. 조건부 얽힘의 진단: 본 논문은 피사체 토큰이 문맥 토큰을 억제하는 "어텐션 붕패"로 특징지어지는, 통합된 프롬프트의 구조적 결과로서의 충실도-편집 가능성 트레이드오프에 대한 인과적 증거를 제공합니다.
2. 디커플드 프레임워크: DeGu는 피사체와 문맥을 명시적으로 독립된 가이던스 스트림을 통해 전달하는 최초의 프레임워크로, 추론 시 충실도($\gamma_f$)와 편집 가능성($\gamma_e$)을 독립적으로 조정할 수 있게 합니다.
3. 플러그 앤 플레이 통합: 이 방법은 기본 백본의 가중치를 수정할 필요가 없습니다. CAE 토큰(수백 킬로바이트 수준)의 최소한의 저장 오버헤드로 기존의 개인화 방법(임베딩 최적화, 미세 조정, 인코더 기반 방식) 및 다양한 백본(U-Net, Diffusion Transformer)에 적용할 수 있습니다.
4. 공간적 분할: TCAM의 도입은 내부 어텐션 맵을 사용하여 정밀한 공간 제어를 가능하게 하며, 외부 세그멘테이션 모델 및 그에 따른 계산 오버헤드를 제거합니다.

4. 실험 결과

저자들은 세 가지 백본(SD v2.1, SDXL, SD v3.5)과 다양한 패러다임에 대해 DeGu를 평가했습니다.

• 정량적 성능: DeGu는 일관되게 개인화의 파레토 프런티어(Pareto frontier)를 밀어 올립니다. SD v2.1에서 DeGu는 Textual Inversion(TI)의 전체 점수를 0.4953에서 0.5236으로, DreamBooth를 0.5127에서 0.5254로 개선했습니다. 또한 경쟁력 있는 편집 가능성을 유지하면서 마스크 충실도 지표(MDINO)를 최대 +0.0786까지 크게 향상시켰습니다.
• 일반화: 이 방법은 임베딩 최적화, 미세 조정, 인코더 기반 방식 전반에서 성능을 개선했습니다. 또한 Diffusion Transformer(DiT) 아키텍처를 사용하는 SD v3.5에서도 효과적이었습니다.
• 절제 연구(Ablation Studies):
  • CAE 단독: 통합된 스트림에 배치될 경우 어텐션 붕괴가 재현됩니다.
  • DGM 단독: 가이던스는 분리하지만 배경 유출이 발생합니다.
  • 전체 DeGu: 모든 구성 요소를 결합했을 때 높은 충실도와 구성적 제어를 달s합니다.
• 추론 제어: 이 프레임워크는 $\gamma_f$와 $\gamma_e$를 조정함으로써 추론 중에 충실도-편집 가능성 균형을 동적으로 제어할 수 있는 능력을 부여하며, 이는 얽힌 방식에는 없는 기능입니다.

5. 의의 및 주장

본 논문은 조건부 얽힘이 구성적 제어 능력을 제한하는 텍스트-투-이미지 개인화의 구조적 병목 현상이라고 주장합니다. 가이던스 경로를 분리함으로써, DeGu는 충실도-편집 가능성의 균형을 고정된 훈련 시 결정 사항에서 유연한 추론 시 선택 사항으로 전환합니다.

저자들은 자신들의 접근 방식이 다음과 같음을 강조합니다:

• 트레이드오프를 해결하기 위해 모델 용량을 늘리는 것(예: 더 많은 토큰 추가)에 의존하는 것이 아니라, 조건이 적용되는 방식을 재구조화합니다.
• 아키텍처에 구애받지 않으며, U-Net과 Diffusion Transformer 백본 모두에서 효과적으로 작동합니다.
• 피사체 정체성과 장면 준수를 독립적으로 조정할 수 있는 원칙적인 메커즘을 제공하여, 기존 방식에서 관찰되는 "어텐션 붕괴"를 해결합니다.

이 연구는 기본 모델을 재학습할 필요 없이 기존의 개인화 방법을 개선하는 모듈형 향상책으로 제시되며, 고충실도 및 편집 가능한 이미지 생성을 위한 확장 가능한 솔루션을 제공합니다.