기술 요약: SteeringDiffusion

문제 제기

확산 모델은 고품질 이미지 합성을 위한 지배적 패러다임으로 자리 잡았습니다. 그러나 이러한 모델을 새로운 시각적 스타일이나 도메인에 적응시키는 것은 상당한 어려움을 수반합니다. 전통적인 전체 미세 조정 (full fine-tuning) 은 계산 비용이 많이 들고 과적합에 취약합니다. LoRA, DiffFit, 직교 미세 조정과 같은 매개변수 효율적 미세 조정 (PEFT) 방법들은 더 가벼운 대안을 제공하지만, 추론 시 연속적이고 탐색 가능한 제어 표면을 제공하지는 못합니다. 이러한 방법에서 작동점을 변경하려면 일반적으로 재학습이나 거친 하이퍼파라미터 조정이 필요하며, 일관된 제어 축을 따라 이동하는 것은 불가능합니다. 마찬가지로 DreamBooth, Textual Inversion, ControlNet 과 같은 접근 방식은 기본 모델 매개변수를 수정하지 않고도 콘텐츠와 스타일 간의 트레이드오프를 연속적으로 탐색할 수 있는 명시적 인터페이스가 부족합니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 확산 모델을 활성화 수준 변조를 통해 조종하여 매끄럽고 단조로운 제어 표면을 노출시킬 수 있는가?

방법론: 병목 명시적 제어를 통한 조종 (Steering via Bottlenecked Explicit Control, S-BEC)

저자들은 병목 명시적 제어를 통한 조종 (S-BEC) 개념에 기반한 SteeringDiffusion을 제안합니다. 가중치 공간 적응 방법과 달리, SteeringDiffusion 은 U-Net 백본을 완전히 동결한 채 활성화 수준에서 경량 제어 인터페이스를 도입합니다.

핵심 아키텍처

1. 동결된 백본: 사전 학습된 Stable Diffusion (SD 1.5 또는 SDXL) U-Net, VAE, CLIP 텍스트 인코더는 변경되지 않습니다.
2. 프롬프트 조건부 잠재 코드: 작은 학습 가능한 모듈 ($g_\theta$) 이 동결된 CLIP 인코더에서 추출된 풀링된 텍스트 임베딩을 저차원 조종 코드 $v \in \mathbb{R}^k$로 매핑합니다. 실험 결과에 따르면 작은 차원 ($k \approx 8\text{--}16$) 이 충분합니다.
3. 활성화 변조: 이 잠재 코드 $v$는 아핀 매개변수 ($\gamma, \beta$) 로 투영되어 FiLM/AdaGN 스타일 변환을 통해 중간 활성화를 변조합니다. 이 수정은 U-Net 의 중간 블록과 업샘플링 블록에서 그룹 정규화 (GroupNorm) 된 특징에 적용됩니다.
   • 업데이트 규칙은 다음과 같습니다: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$.
4. 제로 초기화: 모든 조종 투영은 제로로 초기화됩니다. 이는 조종 스케일 $s=0$에서 출력이 기본 동결 모델과 정확히 동일함을 보장하여, 제어가 비활성화될 때 성능 저하가 없음을 의미합니다.
5. 시간적 게이트: 시간 단계 인식 게이트 함수 $f(t)$ (이동 및 스케일된 시그모이드) 는 초기 탈노이즈 단계 (전체 구조가 형성되는 단계) 동안 변조를 억제하고 후기 단계 (텍스처와 스타일이 정제되는 단계) 에서 이를 점진적으로 증가시킵니다. 이는 콘텐츠 교란을 방지합니다.

추론 제어

추론 시, 단일 스칼라 $s$가 조종의 강도를 제어합니다. 이를 통해 사용자는 재학습 없이 또는 모델 가중치를 변경하지 않고도 콘텐츠와 스타일 간의 트레이드오프를 연속적으로 탐색할 수 있습니다.

주요 기여

1. 활성화 수준 조종 프레임워크: 이 논문은 가중치 업데이트가 아닌 경량 활성화 변조를 통해 동결된 확산 백본을 제어하기 위한 일반적인 추상화로서 S-BEC 를 소개합니다.
2. 매끄러운 제어 표면: 저자들은 이 접근 방식이 매끄럽고 단조로우며 스타일 불변인 제어 표면을 노출시킨다고 입증합니다. 스칼라 $s$를 변화시키면 콘텐츠 보존과 스타일 강도 간의 예측 가능한 트레이드오프가 발생합니다.
3. 역전 안정성 진단 지표: DDIM 역전을 기반으로 한 새로운 진단 지표가 도입되어 궤적 교란을 측정합니다. 이 지표는 개입 크기와 강한 상관관계를 보이며 기존 지각적 지표를 보완합니다.
4. 패러다임 구분: 이 연구는 기존 방법들 (LoRA, ControlNet, 랭크 1 어댑터) 이 비교 가능한 제어 표면을 노출시킬 수 없음을 확립하여, 런타임 제어 가능성에 있어 S-BEC 를 독특하고 우월한 패러다임으로 위치시킵니다.

실험 결과

실험은 Stable Diffusion 1.5 와 SDXL 에서 ArtBench-10 데이터셋 (아르누보, 인상주의, 르네상스, 우키요에 등의 스타일 포함) 을 사용하여 수행되었습니다.

• 단조성: 모든 테스트된 스타일과 차원 ($k$) 에서 조종 스케일 $s$를 증가시키면 스타일 변화는 엄격하게 단조 증가하고 콘텐츠 보존 (CLIP-I) 은 감소하여, 위반 사례는 전혀 관찰되지 않았습니다.
• LoRA 와의 비교: 매개변수 예산을 일치시킨 조건 (Steering: 0.88M 매개변수 vs LoRA: 0.80M 매개변수) 에서 SteeringDiffusion 은 유사한 콘텐츠 보존 수준에서 33–80% 더 높은 스타일 변화를 달성했습니다. 특히 LoRA 는 높은 멀티플라이어에서 "스타일 붕괴" (비단조적 행동과 콘텐츠 보존의 급격한 하락) 를 보인 반면, SteeringDiffusion 은 매끄러운 트레이드오프를 유지했습니다.
• ControlNet 및 랭크 1 어댑터와의 비교: ControlNet 은 720 배 더 많은 매개변수가 필요했으며 콘텐츠 교란이 훨씬 더 컸습니다. 랭크 1 어댑터는 일치된 콘텐츠 보존 수준에서 스타일 변화의 약 69% 만 달성했으며 심각한 궤적 교란을 유발했습니다.
• 일반화: 매끄러운 제어 표면은 아키텍처 수정 없이 SD 1.5 에서 더 큰 SDXL 백본으로 효과적으로 일반화되었습니다.
• 효율성: 이 방법은 추론 오버헤드를 거의 추가하지 않음 (~3 ms) 으로서 LoRA 베이스라인보다 약 2 배 빠르게 학습됩니다.

중요성 및 주장

이 논문은 SteeringDiffusion을 동결된 확산 모델을 위한 실용적이고 범용적인 제어 인터페이스로 위치시킵니다. 그 주요 중요성은 제어 가능성을 매개변수 수의 문제가 아닌 인터페이스 설계 문제로 재정의하는 데 있습니다.

저자들은 다음과 같이 주장합니다:

1. 저차원 기하학: 모든 조종 결정을 블록 간에 공유되는 단일 저차원 잠재 코드를 통해 중재함으로써, S-BEC 는 네트워크 깊이와 독립적인 명시적 제어 인터페이스를 생성합니다. 이는 수천 개의 독립적인 매개변수에 걸쳐 분산된 제어로 인해 고강도에서 비일관적이고 비단조적인 행동을 보이는 가중치 공간 방법 (LoRA 등) 과 대조됩니다.
2. 궤적 일관성: 활성화 수준 변조는 확산 역학의 기본 벡터장을 변경하지 않고 현재 상태를 교란시킵니다. 이는 불안정한 영역이나 끌개 (attractor) 를 도입할 수 있는 가중치 업데이트나 외부 브랜치 (ControlNet) 와 달리 탈노이즈 궤적의 일관성을 유지합니다.
3. 시간적 정렬: 시간 단계 인식 게이트는 스타일의 의미론적 등장 (후기 단계) 과 제어를 정렬시켜, 균일한 교란으로 인해 발생하는 콘텐츠와 스타일의 얽힘을 방지합니다.

이 논문은 작고 명시적이며 병목 구조를 가지며 시간적으로 정렬된 제어 인터페이스가 대규모 동결 백본에서 잘 작동하는 제어 표면을 노출시킬 수 있으며, 기존 PEFT 및 편집 방법의 안정적인 대안이 될 수 있다고 결론지었습니다. 저자들은 그들의 주장이 스타일 전이에 대해 검증되었으며, 다른 속성 (객체 정체성, 공간 배치) 이나 안전 제약으로의 확장은 추가적인 실험적 검증이 필요하다고 명시적으로 언급했습니다.