기술 요약: ViDiT (Visual Direction Transfer for Diffusion)

문제 정의

고해상도 이미지 생성 분야에서 디노이징 확산 모델(DDMs)과 잠재 확산 모델(LDMs)이 급격한 발전을 이루었음에도 불구하고, 특정 속성에 대해 정밀하고 분리된(disentangled) 제어를 달성하는 것은 여전히 중요한 과제로 남아 있습니다. 기존의 워크플로우는 편집을 유도하기 위해 인간이 작성한 텍스트 프롬프트에 크게 의존합니다. 그러나 자연어는 "묘사의 병목 현상(descriptive bottleneck)"을 겪습니다. 즉, 자연어는 이미지 쌍(image pairs)에서는 쉽게 드러나지만 텍스트로 표현하기는 어려운 미세한 시각적 차이나 "델타(delta)"(예: 미묘한 질감 변화, 정밀한 얼굴 구조 변화, 또는 특정 예술적 스타일)를 포착하기에는 너무 거칠고 모호합니다.

또한, 선형적인 의미론적 조작이 용이한 잘 구조화된 잠재 공간을 가진 GAN(Generative Adversarial Networks)과 달리, 확산 모델은 복잡하고 재귀적인 노이즈 추정 과정을 거치기 때문에 분리된 잠재 방향(latent directions)을 찾아내는 것이 어렵습니다. 기존 방법들은 광범위한 미세 조정(fine-tuning), 이미지별 최적화, 또는 대규모 학습 데이터를 요구하는 경우가 많아 다양한 도메인에 대한 확장성과 적용성을 제한합니다.

방법론: ViDiT

저자들은 텍스트 설명 없이 이미지-편집 쌍으로부터 직접 연속적인 편집 방향을 학습함으로써, 사전 학습된 확산 모델의 편집 어휘를 확장하도록 설계된 프레임워크인 **ViDiT (Visual Direction Transfer for Diffusion)**를 제안합니다.

핵심 원리: "한 번 학습하여 어디서든 편집하기 (Learn Once, Edit Anywhere)"

ViDiT는 소수의 "전후(before-and-after)" 이미지 쌍으로부터 단일하고 전역적이며 연속적인 편집 방향($d$)을 학습하는 원리로 작동합니다. 일단 최적화된 이 방향은 베이스 모델의 미세 조정이나 이미지별 최로화 과정 없이, 실세계 이미지, 예술적 이미지, 또는 합성 이미지를 포함한 모든 이미지에 제로샷(zero-shot)으로 적용될 수 있습니다.

기술적 프레임워크

이 방법은 이중 목적 손실 함수(dual-objective loss function)를 사용하여 확산 모델의 컨디셔닝 공간(일반적으로 텍스트 임베딩 공간) 내에서 방향 $d$를 최적화합니다. 디노이징 네트워크($\epsilon_\theta$)와 시각-언어 인코더($E_I$)는 학습 과정 내내 동결(frozen) 상태로 유지되며, 오직 $d$만이 업데이트됩니다.

1. 의미론적 정렬 손실 ($\mathcal{L}_{sem}$):
   이 손실은 동결된 시각-언어 인코더(예: CLIP)를 활용하여, 방향 $d$가 특징 공간(feature space) 내에서 편집된 이미지($x'$)와는 기하학적으로 정렬되고 원본 이미지($x$)와는 정렬되지 않도록 보장합니다. 이는 전역적인 의미론적 닻(anchor) 역할을 합니다:
   $$\mathcal{L}_{sem} = 1 - \text{cossim}(E_I(x'), \mathbf{d}) + \text{cossim}(E_I(x), \mathbf{d})$$
   이 방식은 고수준의 개념에는 효과적이지만, 공간적 해상도가 부족하여 얽힌 편집(예: 수염을 편집할 때 피부톤이 변하는 현상)을 초래할 수 있습니다.

2. 잠재 정렬 손실 ($\mathcal{L}_{latent}$):
   미세한 구조적 세부 사항을 포착하고 픽셀 수준의 대응 관계를 강제하기 위해, ViDiT는 확산 모델의 고유한 예측 공간을 활용합니다. 이는 무작위 타임스텝에서의 노이즈가 추가된 편집 이미지($x'_t$)와 노이즈가 추가된 원본 이미지($x_t$) 사이의 노이즈 예측 차이를 최대화합니다:
   $$\mathcal{L}_{latent} = -\mathbb{E}_{x_0, \epsilon, t} [ ||\epsilon_\theta(x_t', \mathbf{d}) - \epsilon_\theta(x_t, \mathbf{d})||_2^2 ]$$
   이 항은 방향 $d$를 모델의 밀도 높고 공간적으로 정렬된 특징 공간에 고착시켜, 모공, 빛 반사, 피부 질감과 같은 고주파 정체성 단서(identity cues)를 보존합니다.

추론 및 적용

• 방향 주입 (Direction Injection): 추론 시, 학습된 방향 $d$는 분류기 없는 가이던스(Classifier-Free Guidance, CFG) 공식의 표준 텍스트 컨디셔닝 잔차(residual)를 대체합니다. 노이즈 예측은 다음과 같이 유도됩니다:
  $$\bar{\epsilon}_\theta(x_t, c, \mathbf{d}) = \tilde{\epsilon}_\theta(x_t, c) + \lambda_e (\epsilon_\theta(x_t, \mathbf{d}) - \epsilon_\theta(x_t, \phi))$$
  여기서 $\lambda_e$는 편집 강도를 제어합니다.
• 실제 이미지 편집: 실제 사진의 경우, 입력 이미지는 먼저 DDPM Inversion을 통해 모델의 잠재 궤적(latent trajectory)으로 역전(invert)됩니다. 그 후 역방향 디노이징 과정 중에 방향 $d$가 주입됩니다.
• 조합 가능성 (Composability): 독립적으로 학습된 여러 방향은 추론 시에 가산적으로 결합될 수 있으며, 이를 통해 복잡한 다중 속성 편집을 수행하면서도 분리된 특성을 유지할 수 있습니다.

주요 기여

1. 보편적 프레임워크: 텍스트 설명 없이 시각적 예시로부터 연속적인 편집 방향을 학습하여, 베이스 모델의 미세 조정 없이도 사전 학습된 확산 모델의 어휘를 확장하는 방법론을 제시했습니다.
2. 소스 불가지론 (Source Agnosticism): 무조건적 생성 공간(StyleGAN2), 도메인 적응 모델(StyleGAN-NADA), 그리고 확산 기반 편집기(Prompt2Prompt)를 포함한 다양한 소스로부터 방향을 전이할 수 있는 다재다능함을 입증했습니다.
3. "어디서든 편집하기" 능력: 얼굴, 동물, 예술적 스타일, 실세계 사진 등 모든 이미지에 대해 세밀하게 분리된 편집을 제어 가능한 강도로 제로샷 방식으로 적용할 수 있습니다.
4. 우수한 분리 성능 (Superior Disentanglement): 정체성 보존 지표(LPIPS, DINO, DreamSim)에서 텍스트 기반 방식보다 뛰어난 성능을 보이며, 텍스트 기반 및 지시 이행(instruction-following) 방식보다 더 나은 정체성 보존과 속성 격리를 달성했습니다.
5. 오픈 소스: 추가 연구를 촉진하기 위해 저자들은 소스 코드를 공개합니다.

결과 및 평가

저자들은 인간의 얼굴, 고양이, 개를 대상으로 SEGA, InstructPix2Pix, Prompt2Prompt, Concept Sliders와 같은 텍스트 기반 베이스라인 및 시각적 컨디셔닝 방법들과 비교하여 ViDiT를 평가했습니다.

• 정량적 성능: ViDT는 정체성 보존 지표(LPIPS, DINO, DreamSim)에서 텍스트 기반 베이스라인을 크게 앞지르는 동시에, 의미론적 정렬(CLIP-T, SigLIP-T) 측면에서도 경쟁력 있는 성능을 유지했습니다. 예를 들어, "아시아인(Asian)" 및 "미소(Smile)" 편집 작업에서 ViDT는 Prompt2Prompt의 0.867, InstructPix2Pix의 0.851에 비해 0.929의 DINO 점수를 기록했습니다.
• 정성적 분석: 시각적 결과는 ViDT가 배경, 정체성, 예술적 스타일를 경쟁 모델들보다 더 충실하게 보존함을 보여줍니다. 경쟁 모델들은 종종 정체성 드리프트(identity drift)나 의도하지 않은 구조적 변화를 겪습니다.
• 절제 연구 (Ablation Studies):
  • 손실 항 (Loss Terms): $\mathcal{L}_{latent}$를 제거하면 얽힌 편집(예: 머리카락을 편집할 때 피부톤이 변함)이 발생하였으며, 이는 이중 손실 접근법의 필요성을 확인시켜 줍니다.
  • 샘플 크기: 10개의 쌍만으로도 유의미한 방향을 학습할 수 있지만, 1,000개의 쌍을 사용할 때 가장 우수한 정체성 보존 성능을 보였습니다.
  • 역전 방법 (Inversion Method): 실세계 이미지의 고주파 세부 사항을 보존하는 데 있어 DDPM Inversion이 DDIM Inversion보다 우수함을 발견했습니다.
• 사용자 조사: 40명의 참가자를 대상으로 한 조사에서, ViDT는 분리성과 의미론적 충실도 측면에서 Concept Sliders(3.25)와 Prompt2Prompt(2.74)를 제치고 가장 높은 평균 선호도 점수(3.36/5)를 받았습니다.

의의 및 주장

본 논문은 ViDT가 자연어의 묘사적 한계와 정밀한 편집에 필요한 복잡한 시각적 의미론 사이의 간극을 메운다고 주장합니다. 문제를 텍스트 프롬프트 엔지니어링이 아닌 **시각적 델타 전이(visual-delta transfer)**로 정의함으로써, ViDT는 언어적 병목 현상을 극복하고 사용자가 시각적 예시를 통해 편집을 정의한 뒤 이를 확산 모델의 고유한 잠재 공간으로 번역할 수 있게 합니다.

저자들은 이 접근 방식이 개별 개념을 위한 LoRA 학습이나 특화된 어댑터 모듈의 오버헤드 없이 가볍고 확장 가능한 솔루션을 제공한다고 강조합니다. 비록 프레임워크가 감독 소스(예: StyleGAN, CLIP, Stable Diffusion)로부터의 편향을 계승할 수는 있으나, 새로운 편향을 도입하지는 않습니다. 이 연구는 복잡한 시각적 의미론을 임의의 생성 소스로부터 확산 모델에 통합하는 일반적인 패러다임을 구축하며, 광범위한 재학습 없이도 이전에는 불가능했던 "한 번 학습하여 어디서든 편집하기" 기능을 가능하게 합니다.