기술 요약: 개인화된 텍스트-이미지 생성을 위한 텍스트 인코더 부스팅

문제 제기

최근 텍스트-이미지 (T2I) 확산 모델의 발전으로 고충실도 이미지 합성이 가능해졌으나, 표준 프롬프트는 종종 고유한 개념이나 예술적 스타일을 포착할 만큼 구체적이지 못합니다. DreamBooth 및 Textual Inversion 과 같은 개인화 기술은 토큰 공간 내에서 특정 개념 ($V^\star$) 을 학습함으로써 이를 해결하기 위해 등장했습니다. 그러나 기존 방법들은 상당한 계산 및 저장 효율성 문제를 겪고 있습니다. DreamBooth 와 같은 접근법은 U-Net 의 광범위한 부분을 미세 조정 (fine-tuning) 하여 각 개념마다 상당한 저장 오버헤드를 초래합니다. 또한, 많은 방법들은 여러 개의 참조 이미지 (일반적으로 3~5 개) 에 의존하여 사용자가 단일 참조 이미지만 보유한 원샷 (one-shot) 시나리오에서의 실용성을 제한합니다. 더불어, 현재 인코더 중심의 적응 방법들은 대규모 데이터셋에 대한 광범위한 사전 학습에 의존하는 경우가 많습니다.

방법론

저자들은 이미지 생성 모듈 (U-Net) 을 미세 조정하는 데서 벗어나 텍스트 인코더를 선택적으로 미세 조정하는 효율적인 원샷 개인화 접근법인 TextBoost를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

1. 동기: 텍스트 인코더의 역할

실증 분석에 따르면 T2I 모델의 미세 조정 과정에서 U-Net 레이어에 비해 텍스트 인코더가 가장 큰 매개변수 변화를 겪습니다. 이는 개인화를 위해 텍스트 인코더를 적응시키는 것이 핵심임을 시사합니다. 그러나 텍스트 인코더를 단순하게 미세 조정하면, 특히 토크의 출력이 자기 자신과 선행 토큰에만 의존하는 **자기회귀적 인과성 (auto-regressive causality)**을 포함하여 원래 시퀀스의 의미적 무결성이 손상됩니다.

2. 인과성 보존 적응 (Causality-Preserved Adaptation, CPA)

원래 시퀀스의 의미적 무결성을 왜곡하지 않고 텍스트 인코더를 미세 조정하기 위해, 저자들은 **인과성 보존 적응 (CPA)**을 도입합니다.

• 메커니즘: CPA 는 텍스트 인코더의 Transformer 블록 내 특정 선형 레이어에 병렬로 경량 어댑터를 부착합니다.
• 인과성 마스킹: 이진 인과성 마스크 $m$을 어댑터 출력에 적용합니다. 위치 $i^\star$에 있는 새로운 개념 토큰 $V^\star$의 경우, 마스크는 어댑터가 $i \ge i^\star$인 위치의 토큰에만 영향을 미치도록 보장합니다.
• 효과: $V^\star$ 이전의 모든 토큰에 대한 출력 임베딩은 원래 사전 학습된 인코더와 동일하게 유지되어, 새로운 개념을 학습할 수 있으면서도 원래의 문맥적 이해를 보존합니다.
• 구현: 제거 분석 (ablation studies) 에 기반하여, 어댑터는 자기 주의 (self-attention) 투영이 아닌 텍스트 인코더 내 멀티 레이어 퍼셉트론 (MLP) 블록의 두 번째 피드포워드 레이어 ($fc2$) 에 구체적으로 추가됩니다.

3. 확장된 텍스트 임베딩

세밀한 제어를 강화하기 위해 저자들은 텍스트 임베딩 공간을 확장하는 것을 제안합니다.

• 레이어별 조건부 처리: U-Net 의 모든 교차 주의 (cross-attention) 레이어에 걸쳐 단일 텍스트 임베딩 행렬 $H$를 공유하는 대신, TextBoost 는 교차 주의별 임베딩 집합 $\{H^{(\ell)}\}$을 생성합니다.
• 과정: 각 임베딩은 동일한 인과성 마스크를 사용하여 해당 교차 주의 레이어 $\ell$에 특화된 경량 어댑터에 의해 정제됩니다.
• 효율성: 텍스트 인코더를 통한 여러 번의 순전파 (forward passes) 를 필요로 하는 토큰 공간 방법 (예: XTI, NeTI) 과 달리, 이 접근법은 단일 순전파 후 경량 어댑터 변환을 수행하여 계산 오버헤드를 크게 줄입니다.

이 방법은 두 가지 변형으로 제시됩니다: TextBoost(CPA 사용) 와 TextBoost++(CPA 와 확장된 텍스트 임베딩 모두 포함).

주요 기여

1. 텍스트 인코더 미세 조정: U-Net 적응에 비해 이전까지 미탐구되었던 방향인 T2I 개인화를 위한 텍스트 인코더 미세 조정을 위한 새로운 접근법을 제시합니다.
2. 인과성 보존 적응 (CPA): 새로운 개념 토큰의 적응 과정에서 텍스트 인코더의 원래 의미 속성과 인과 관계를 유지하는 전략입니다.
3. 확장된 텍스트 임베딩: 경량 어댑터를 사용하여 임베딩 공간을 확장하는 메커니즘으로, 향상된 교차 주의 통합을 통해 정밀한 개념 적응을 용이하게 합니다.
4. 효율성: 학습 가능한 매개변수 수와 저장 요구 사항을 크게 줄여, 리소스가 제한된 환경에서도 고품질 개인화를 가능하게 합니다.

실험 결과

저자들은 Stable Diffusion v2.1-base 와 SDXL 에서 TextBoost 를 평가하여 DreamBooth, Textual Inversion, LoRA, Custom Diffusion, DisenBooth 와 같은 방법들과 비교했습니다.

• 정량적 성능:
  • 충실도: TextBoost 는 865M 매개변수를 사용하는 완전 미세 조정 방법인 DreamBooth 와 비교할 수 있거나 더 높은 VQA 점수 (0.680) 와 DINOv2 유사도 점수 (0.560) 를 달성하면서 0.12M 매개변수만 사용합니다.
  • 다양성: 이 방법은 과적합이 적음을 나타내는 DreamBooth(0.164) 와 Custom Diffusion(0.136) 보다 우수한 생성 다양성 (0.307) 을 보여줍니다.
  • 인코더 기반 방법과의 비교: TextBoost++ 는 광범위한 사전 학습이 필요한 ELITE 및 BLIP-Diffusion 과 같은 인코더 기반 방법들을 능가하거나 일치시키며, 이러한 사전 학습이 필요하지 않습니다.
• 정성적 결과:
  • TextBoost 는 "거리에서 자전거를 타는 V* 개"와 같이 여러 속성, 배경, 스타일이 포함된 복잡한 프롬프트를 정확하게 따르는 반면, 베이스라인들은 종종 요소를 생략하거나 속성 누출을 겪습니다.
  • 스타일 개인화에서 TextBoost 는 콘텐츠 충실도를 유지하면서 참조 스타일을 효과적으로 포착하여 DisenBooth 보다 우수합니다.
• 사용자 연구: Amazon Mechanical Turk 에서 50 명의 참가자를 대상으로 한 연구 결과, 사용자가 주제 충실도와 텍스트 - 이미지 정렬을 기준으로 이미지를 선택할 때 TextBoost 가 기존 방법들보다 높은 승률을 보였습니다.
• 확장성: 이 방법은 두 개의 텍스트 인코더를 사용하는 SDXL 에 적용되어 OpenCLIP ViT-bigG 인코더만 미세 조정함으로써, 최소한의 매개변수 업데이트로 더 큰 모델로의 확장성을 입증했습니다.

중요성 및 주장

이 논문은 TextBoost 가 고품질 텍스트 - 이미지 개인화를 위한 효율적이고 확장 가능하며 실용적으로 적용 가능한 솔루션을 제공한다고 주장합니다. 텍스트 인코더가 개인화를 위한 매우 효과적인 핵심 요소임을 입증함으로써, 저자들은 고품질 원샷 개인화가 반드시 확산 백본의 광범위한 수정을 필요로 하지 않는다고 논증합니다. 대신, 텍스트 측면 표현 공간을 선택적이고 구조적으로 적응시킴으로써 상당한 개선을 달성할 수 있습니다.

저자들은 이 작업을 효율적인 T2I 개인화를 위한 텍스트 중심 접근법의 한 걸음으로 위치시키며, 특히 저장 및 학습 효율성이 중요한 리소스가 제한된 환경(예: 엣지 장치, 용량이 제한된 클라우드 저장소) 에서 유익하다고 강조합니다. 개인화가 조건부 경로를 통해 어떻게 인코딩되고 전파되는지 이해하는 것이 경량화되고 배포 가능한 개인화 방법 설계에 새로운 기회를 열어준다고 제안합니다.