기술 요약: 생성적 개인화를 위한 적응적 부분공간 투영

문제 정의

생성적 개인화는 소수의 참조 이미지를 사용하여 사전 훈련된 텍스트-이미지 (T2I) 확산 모델을 특정 사용자 정의 개념 (예: 특정 인물 또는 사물) 을 표현하도록 적응시키면서, 자연어 프롬프트를 통해 이러한 개념을 새로운 맥락에 배치할 수 있는 능력을 유지하는 것을 목표로 합니다. 그러나 이러한 방법들은 종종 **의미적 붕괴 (Semantic Collapsing, SCP)**로 고통받습니다. 이 실패 모드에서 학습된 개인화된 개념 토큰은 나머지 텍스트 프롬프트를 압도하여, 모델이 중요한 맥락적 세부 사항, 관계 및 기타 개체들을 무시하게 만듭니다.

저자들은 SCP 가 단순히 무작위 노이즈나 과적합이 아님을 규명했습니다. 대신 이는 개인화된 토큰이 프롬프트 표현을 지배하여 주변 맥락 토큰들의 영향을 효과적으로 억제하는 **의미적 드리프트 (semantic drift)**로 나타납니다. 이 문제는 기본 클래스 토큰의 임베딩이 변하지 않음에도 불구하고 지속되며, 대상 클래스뿐만 아니라 관련 클래스 (예: 개인화된 "남자" 토큰이 "아이" 생성에 영향을 미치는 경우) 에도 영향을 미칩니다. 기존 테스트 시간 조정 방법들은 전역적 보정 (예: 구형 선형 보간) 을 통해 이를 완화하려 시도하지만, 이러한 방법들은 종종 편향된 사후 개인화 클래스 임베딩에 의존하며 구조화되고 맥락 일관성이 있는 잔여 드리프트를 해결하지 못하는 거친 조정을 적용합니다.

방법론: AdaptSP

본 논문은 추론 시 주체의 정체성과 맥락을 분리하도록 설계된 훈련이 필요 없는 방법인 AdaptSP(적응적 부분공간 투영을 통한 테스트 시간 임베딩 조정) 를 제안합니다. 이 방법론은 두 가지 핵심 분석적 통찰에 기반합니다:

1. 맥락-안정적 정체성 잔여: 개인화된 프롬프트 임베딩과 해당 클래스 기반 프롬프트 임베딩 간의 차이 (잔여) 는 다양한 맥락에서 매우 일관됩니다. 이 잔여는 주로 맥락 불변의 주체 정체성을 인코딩하는 반면, 클래스 기반 프롬프트는 맥락을 인코딩합니다.
2. 저차원 부분공간 구조: 이러한 정체성 잔여는 고차원 임베딩 공간에 무작위로 분포하지 않습니다. 대신 특정 저차원 부분공간 내에 집중되어 있습니다. 주성분 분석 (PCA) 은 소수의 주성분이 이러한 잔여의 분산 대부분을 포착함을 보여줍니다.

AdaptSP 알고리즘:
전체 임베딩에 전역적 보정을 적용하는 대신, AdaptSP 는 표적화된 조정을 수행합니다:

• 안정적 앵커: 미세 조정된 인코더가 기본 클래스 의미론을 왜곡할 수 있는 편향을 피하기 위해, 원래 사전 훈련된 텍스트 인코더($\tau_{\phi_0}$) 를 사용하여 클래스 기반 프롬프트 임베딩을 계산합니다.
• 잔여 추출: 개인화된 프롬프트와 클래스 프롬프트 간의 잔여 임베딩을 계산합니다.
• 적응적 부분공간 투영: 다양한 맥락 프롬프트 집합으로부터 PCA 를 통해 구축된 저차원 부분공간에 이 잔여를 투영합니다. 이를 통해 "구조화된 드리프트"(정체성) 를 노이즈로부터 분리합니다.
• 재구성: 생성에 사용되는 최종 임베딩은 안정적인 클래스 기반 앵커와 투영된 잔여의 합입니다.

이 접근법은 모델이 주체의 정체성을 주입하면서도 프롬프트 맥락의 의미 구조를 엄격히 보존하여, 정체성 토큰이 무관한 개체나 속성을 지배하는 것을 방지합니다.

주요 기여

1. 잔여 임베딩 분석: 저자들은 개인화된 프롬프트와 클래스 프롬프트 간의 차이인 잔여 임베딩이 다양한 프롬프트에 걸쳐 매우 일관적임을 입증하여, 이들이 맥락 불변의 주체 정체성을 인코딩함을 시사합니다.
2. 부분공간 특성화: 개인화로 인한 드리프트가 저차원 부분공간에 집중됨을 보여줌으로써, 전역적 조정 대신 투영 기반 보정을 동기부여합니다.
3. AdaptSP 프레임워크: 안정적인 클래스 프롬프트에 조건을 부여하고 투영된 잔여만 주입함으로써 정체성과 맥락을 분리하는 훈련이 필요 없는 테스트 시간 방법을 소개합니다. 이는 SCP 에서의 프롬프트 지배를 완화하면서도 주체 충실도를 유지합니다.
4. 실증적 검증: 광범위한 실험을 통해 AdaptSP 가 주체 정체성을 훼손하지 않으면서도 표준 개인화 방법 (DreamBooth, Custom Diffusion, Class Diffusion) 전반에 걸쳐 프롬프트 충실도 (텍스트 - 이미지 정렬) 를 일관되게 향상시킴을 보여줍니다.

실험 결과

이 방법은 Stable Diffusion v1.5 및 FLUX.1-dev 백본을 사용하여 CelebA(인간 얼굴) 및 CustomConcept101(CC101)(사물) 데이터셋에서 평가되었습니다.

• 프롬프트 충실도: AdaptSP 는 특히 전체 프롬프트를 따르지 못하는 경우가 많은 복잡한 다중 개체 프롬프트에서 CLIP-T 점수 (텍스트 - 이미지 정렬) 를 크게 향상시켰습니다. 예를 들어, DreamBooth 를 사용한 CelebA 데이터셋에서 AdaptSP(PR) 는 CLIP-Tf 점수를 24.56 에서 25.44 로 높였으며, CC101 에서는 14.49 에서 17.31 로 향상시켰습니다.
• 주체 충실도: 일부 이미지 - 이미지 지표 (CLIP-I, DINO) 는 특정 설정에서 약간 감소했으나 (훈련 특정 배경 및 질감에 대한 과적합을 줄이는 방법으로 인한 것으로 추정됨), 인간 평가는 주체 정체성이 잘 보존되었음을 확인했습니다.
• 애블레이션 연구:
  • 부분공간 차원: 소수의 주성분 (2~5 개) 을 사용하는 것이 정체성 보존과 과도한 드리프트 필터링 간의 최적 균형을 제공했습니다.
  • 인코더 선택: 앵커로 원래 사전 훈련된 인코더 ($\tau_{\phi_0}$) 를 사용하는 것이 결정적이었습니다. 미세 조정된 인코더를 사용하면 편향이 도입되어 프롬프트 충실도가 낮아졌습니다.

중요성 및 주장

본 논문은 생성적 개인화에서의 의미적 붕괴가 무작위 노이즈가 아닌 구조화된 저차원 드리프트에 의해 주도된다고 주장합니다. 이러한 드리프트를 식별하여 특정 부분공간에 투영함으로써 AdaptSP 는 복잡한 장면에서 구성적 충실도를 향상시키는 경량화된 훈련 불필요 솔루션을 제공합니다.

저자들은 AdaptSP 를 기존 개인화 파이프라인에 플러그인 할 수 있는 일반화 가능한 메커니즘으로 위치시킵니다. 그들은 이 방법이 프롬프트 임베딩 조정에 초점을 맞추고 있지만, 구조화된 잔여 드리프트를 모델링하는 개념은 개념 편집 및 제어 가능한 생성과 같은 다른 임베딩 기반 적응 설정으로 확장될 수 있음을 강조합니다. 이 연구는 개인화 과정에서 맥락의 왜곡을 방지하기 위해 안정적인 사전 훈련된 의미론적 앵커를 사용하는 것의 중요성을 부각시킵니다.