기술 요약: 텍스트-이미지 개인화 모델에서의 잠재-정체성 튜닝 (Latent-Identity Tuning)

문제 정의

현재의 텍스트-이미지(T2I) 개인화 방식은 참조 이미지를 통해 다양한 프롬프트에 걸쳐 피사체의 정체성을 재현하는 데 탁월한 성능을 보입니다. 그러나 이들은 **미세한 정체성 편집(fine-grained identity editing)**에 필요한 정밀도가 부족합니다. 예를 들어, 사용자가 핵심 정체성은 유지하면서 특정 얼굴 속성(예: 수염 추가, 코 모양 변경, 눈의 개폐 정도 조절)을 수정하고자 할 때, 기존 방식은 국소적인 제어 능력이 떨어지는 경우가 많습니다. 표준적인 이미지 편집은 단일 생성 이미지에 대해서만 작동하므로, 수정 사항이 새로운 생성물에서도 일관되게 유지되도록 보장하지 못합니다. 또한, 텍스트 가이드 기반 편집은 피사체의 인지된 정체성을 변화시키거나 전역적인 아티팩트(artifact)를 유발하지 않으면서 미묘하고 국소적인 얼굴 변화를 표현하는 데 어려움을 겪습니다.

방법론

저자들은 사전 훈련된 고정된 개인화 인코더(특히 Q-Former 활용) 내의 잠재 정체성 표현(latent identity representation)에서 직접 작동하는 잠재-정체성 튜닝(Latent-Identity Tuning) 프레임워크를 제안합니다. 이 방법은 모델을 재학습하거나 이미지별로 최적화하는 대신, 인코더의 잠재 공간을 탐색하여 편집을 위한 의미적 방향(semantic directions)을 찾아냅니다.

1. 정체성 토큰 공간 분석

본 프레임마크는 Q-Former 어댑터가 정체성 토큰($Z \in \mathbb{R}^{N \times C}$) 세트를 생성한다는 관찰에 기반합니다. 이러한 토큰들은 단일한 덩어리가 아니라, 특정 토큰이나 토큰의 부분 집합이 특정 공간적 또는 의미적 얼굴 영역(예: 눈, 입술, 코)에 대응하는 구조적이고 부분적으로 분리된(disentangled) 조직을 보여줍니다.

2. 토큰 선택

국소적 편집을 가능하게 하기 위해, 본 방법은 특정 속성과 관련된 정체성 토큰의 특정 부분 집합($S$)을 식별합니다:

• 국소적 속성(Localized Attributes): 특정 얼굴 부위(예: 입술)의 경우, 타겟 영역에 패치를 붙인 쌍을 구성합니다($I, I_{patch}$). 패치에 의한 정체성 표현의 차이($\Delta Z$)를 계산함으로써, 변화의 크기가 가장 큰 상위-$k$개의 토큰을 선택합니다. 이 부분 집합은 모든 피사체에 재사용됩니다.
• 전역적 속성(Global Attributes): 얼굴 전체에 걸친 속성(예: 주근깨, 피부톤)의 경우, 개별 토큰 특징에 대해 선형 SVM을 학습시켜 속성 레이블을 예측합니다. 분류 정확도가 높은 토큰들을 관련 부분 집합으로 선택합니다.

3. 튜닝 기법

관련 토큰이 식별되면, 프레임워크는 다음과 같은 조작 전략을 적용합니다:

• 전역 및 국소 보간(Global and Local Interpolation): 정체성 표현($Z_A$와 $Z_B$) 사이를 보간합니다. 선택된 토인 부분 집합($Z_S$)만을 보간함으로써, 나머지 정체성은 보존하면서 국소적 정체성 전이(예: 한 사람의 눈썹을 다른 사람에게 이식)를 가능하게 합니다.
• 지도 학습 기반 선형 방향(Supervised Linear Directions): 이진 속성 레이블이 있는 데이터셋(예: CelebA)을 사용하여 다음을 통해 편집 방향을 학습합니다:
  • 평균 차이 추정기(Mean-Difference Estimator): 양성 샘플과 음성 샘플의 평균 표현 간의 차이를 계산합니다.
  • SVM 기반 추정기(SVM-Based Estimator): 선형 SVM 초평면의 법선 벡터를 편집 방향으로 사용합니다. 저자들은 SVM이 미세한 편집(예: 홍조)에 더 효과적인 반면, 평균 차이 방식은 뚜렷한 변화(예: 수염)에 더 적합하다고 언급합니다.
• 비지도 학습 기반 선형 방향(Unsupervised Linear Directions): 정체성 표현에 대한 주성분 분석(PCA)을 사용합니다.
  • 전역 PCA(Global PCA): 전역적 편집(예: 연령)을 위해 모든 토큰에 걸친 상관관계를 포착합니다.
  • 토큰별/그룹별 PCA(Per-Token/Group PCA): 특정 토큰이나 선택된 부분 집합에 PCA를 적용하여 국소적 제어(예: 눈 색상, 눈의 개폐 정도)를 밝혀냅니다.

4. 노름 보존 업데이트(Norm-Preserving Updates)

편집이 잠재 공간의 분포 내에 머물도록 하기 위해, 본 방법은 노름 보존 업데이트(식 2)를 적용합니다. 이는 벡터를 중심화하고, 스케일링된 방향을 더한 뒤, 데이터셋 평균으로부터의 원래 거리를 유지하도록 결과를 재스케일링합니다.

주요 기여

1. 정체성 튜닝의 정의: 본 논문은 단일 이미지 편집과는 구별되는, 다양한 생성물 전반에서 지속적이고 일관된 편집을 보장하기 위해 잠재 정체성 표현 자체를 수정하는 과업을 공식화합니다.
2. 구조화된 잠재 공간 발견: Q-Former 기반 개인화 인코더의 정체성 토큰 공간이 구조화되어 있으며 해석 가능하다는 점, 즉 토큰이 특정 얼굴 영역에 매핑된다는 점을 입증합니다.
3. 토큰 선택 메커니즘: 패치 기반 차이 분석 또는 지도 학습 기반 분류를 사용하여 특정 얼굴 속성과 관련된 토큰을 격리하는 새로운 방법을 제시합니다.
4. 미세 제어 프레임워크: 보간, 지도/비지도 선형 방향을 포함한 일련의 기법을 통해, 추가적인 모델 학습 없이도 연속적이고 국소적이며 의미론적으로 일관된 편집을 가능하게 합니다.

결과

본 프레임워크는 Flux.dev T2I 모델과 함께 Omni-ID 및 PuLID 인코더를 사용하여 FFHQ 및 CelebA 데이터셋에서 검증되었습니다.

• 질적 성능: 본 방법은 텍스트로 표현하기 어려운 편집(예: 코 모양 수정, 특정 수염 스타일 추가, 안구 주변 영역(눈썹/눈꺼풀)의 정체성 간 전이)을 성공적으로 수행합니다. 편집된 정체성은 다양한 프롬프트(배경, 포즈, 스타일)에 대해서도 일관되게 유지됩니다.
• 양적 비교: PreciseControl, Weights2Weights, Flux Kontext(Direct 및 Sequential 변형)와 같은 베이스라인과 비교했을 때, 제안된 방법은 다음 항목에서 우수한 성과를 보였습니다:
  • 높은 정체성 일관성: 생성된 이미지들 사이의 ArcFace 코사인 유사도로 측정되었습니다.
  • 높은 편집 준수도: 요청된 수정 사항과의 더 나은 정렬을 보여줍니다.
  • 높은 프롬프트 준수도: 타겟 장면 묘사와의 더 나은 정렬을 보여줍니다.
  • 사용자 조사: 250건의 판단이 포함된 쌍체 비교에서, 제안된 방법은 정체성 보존, 정체성 일관성, 편집 준수도, 프롬프트 준수도 및 종합 선호도 모든 항목에서 베이스라인보다 선호되었습니다(승률 70%~96%).

의의

본 논문은 개인화 인코더의 정체성 토큰 공간이 해석 가능하며 미세한 얼굴 단위까지 제어 가능하다고 주장합니다. 이미지 수준의 편집에서 잠재 정체성 튜닝으로 초점을 전환함으로써, 저자들은 사용자가 시각적 정체성의 섬세한 측면(예: 눈의 개폐 정도, 주근깨 질감)을 높은 정밀도로 정교하게 다듬을 수 있게 합니다. 본 연구의 의의는 별도의 이미지별 최적화나 재학습 없이도 지속적이고, 일관되며, 국소적인 정체성 수정을 위한 메커니즘을 제공함으로써, 인간의 얼굴 맥락에서 기존의 텍스트 가이드 및 이미지 편집 방식의 한계를 극복했다는 점에 있습니다.