기술 요약: AsemConsist

문제 정의

최근의 텍스트-이미지(T2I) 확산 모델은 높은 시각적 품질과 텍스트 정렬 성능을 달enc성했습니다. 그러나 다양한 장면 속에서 일관된 캐릭터 정체성을 유지하며 일련의 이미지를 생성하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 방법들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다: 즉, 정체성 일관성을 유지하면 개별 이미지 프롬프트(예: 특정 포즈나 배경)와의 정렬도가 떨어지고, 그 반대의 경우도 마찬가지라는 점입니다.

현재의 접근 방식은 크게 두 가지 범주로 나뉘며 각각 뚜렷한 한계를 가집니다:

1. 어텐션 기반 특징 공유(Attention-based feature sharing): 생성 단계 전반에 걸쳐 이미지 특징을 공유하는 방법들은 종면 고정된 포즈, 비현실적인 형태, 또는 구조적 왜곡을 초래하는 경우가 많습니다. 이들은 일반적인 프롬프트(예: "한 남자")를 사용하거나 베이스 모델 자체에 내재된 일관성이 부족할 때 정체성을 유지하는 데 어려움을 겪습니다.
2. 단일 프롬프트 임베딩 조작(Single-prompt embedding manipulation): 정체성 프롬프트와 장면 프롬프트를 하나의 시퀀스로 인코딩하고 전체 임베딩을 균일하게 리스케일링하는 방법은, 임베딩을 하나의 단일 단위로 취급합니다. 이 방식은 공유된 정체성을 뒷받침하는 스펙트럼 성분과 정체성과 충돌하는 성분을 구분하지 못하며, 결과적으로 정체성을 증폭하면 장면 특유의 세부 사항이 억제되거나, 그 반대의 상황이 발생하는 트레이드오프를 유발합니다.

또한, 기존 평가 지표들은 정체성 일관성과 개별 이미지 정렬도를 별도로 측정하며, 이 둘 사이의 균형을 간과합니다. 긴 정체성 프롬프트는 정렬 점수를 인위적으로 높여, 장면 특유의 설명에 대한 준수도가 낮은 상태를 가릴 수 있습니다.

방법론

저자들은 텍스트 임베딩의 컴포넌트 수준에서 작동하고 적응형 제약을 적용함으로써 정체성-정렬 트레이드오프를 해결하도록 설계된 트레이닝 프리(training-free) 프레임워크인 AsemConsist를 제안합니다. 이 방법은 세 가지 핵심 전략으로 구성됩니다:

1. 선택적 텍스트 임베딩 수정 (Selective Text Embedding Modification, STM)

개별 이미지 임베딩을 단일 단위로 취급하는 대신, AsemConsist는 특이값 분해(SVD)를 사용하여 이를 스펙트럼 성분으로 분해합니다. 이 방법은 "어떤 성분을 제어할 것인가"라는 질문에 다음과 같이 답합니다:

• 참조 벡터 구축: 정체성 프롬프트와 현재의 표현(per-image) 프롬프트로부터 참조 벡터를 생성합니다.
• 선택적 증폭: 표현 프롬프트에 대해, 공유된 정체성과 특정 장면 묘사 모두와 일치하는 스펙트럼 성분을 식별합니다. 이러한 성분들을 증폭하여 두 의미를 동시에 강화합니다.
• 선택적 억제: 억제 프롬프트(다른 장면들)에 대해, 공유된 정체성과 무관한 성분을 식별하고 이를 억제함으로써, 장면을 억제하는 것이 핵심 정체성을 약화시키지 않도록 합니다.
• 메커니즘: 이는 이전의 단일 프롬프트 방식에서 사용된 균일한 리스케일링을 피하고, 참조 벡터와의 코사인 유사성을 기반으로 선택된 특이값만을 리스케일링함으로써 달성됩니다.

2. 패딩 임베딩으로의 의미론적 투영 (Semantic Projection onto Padding Embeddings, PAD)

"추가적인 의미론을 어디에 쓸 것인가"를 해결하기 위해, 본 프레임워크는 패딩 임베딩(<pad>)을 의미론적 컨테이너로 재용도화합니다.

• 분석: 저자들은 멀티 인코더 백본(SD3.5)과 싱글 인코더 백본(FLUX) 전반에 걸친 패딩 임베딩을 분석했습니다. 그 결과, SD3.5에서는 OpenCLIP 패딩 임베딩만이 상당한 프롬프트 관련 의미를 유지하는 반면, CLIP 및 T5 임베딩은 "더미(dummy)" 의미(프롬프트와 무관한 의미)가 지배적임을 발견했습니다. FLUX의 경우, 싱글 인코더 구조 덕분에 더미 패딩조차 생성에 영향을 미칩니다.
• 구현: 이 방법은 표현 의미론을 사용 가능한 패딩 임베딩(SD3.5의 경우 OpenCLIP, FLUX의 경우 전체)으로 선택적으로 투영하고, 억제 임베딩으로부터 중복성을 제거합니다. 이를 통해 주요 텍스트 임베딩을 방해하지 않으면서 프롬프트 정렬도를 높입니다.

3. 적응형 특징 공유 (Adaptive Feature Sharing, AFS)

"언제 제약할 것인가"라는 질문에 답하기 위해, 프레임워크는 모호성 적응형 메커즘을 도입합니다.

• 모호성 탐지: 시스템은 트랜스포머 블록 내에서 장면별 특징의 확산(유클리드 반경)을 측정하여 정체성 프롬프트의 모호성을 자동으로 평가합니다. 매우 구체적인 프롬프트(예: "물결 모양의 금발을 가진 16세 소녀")는 자연스럽게 외형을 고정하지만, 모호한 프롬프트(예: "한 남자")는 그렇지 않습니다.
• 선택적 적용: 특징 공유(공통된 외형을 강제하기 위해 이미지 특징을 재사용하는 것)는 정체성 프롬프트가 매우 모호한 것으로 분류될 때만 적용됩니다. 구체적인 프롬프트의 경우, 포즈와 레이아웃의 다양성을 보존하기 위해 특징 공유를 건너뜁니다.

평가 지표: SeeSaw

저자들은 정체성 일관성과 개별 이미지 정로를 공동으로 측정하면서 이들의 균형을 고려하는 통합 평가 지표인 SeeSaw를 제안합니다.

• 불균형 교정: 긴 정체성 프롬프트가 정렬 점수를 지배하여 개별 이미지의 속성이 무시되는 경우를 명시적으로 처벌합니다.
• 공식: Identity Similarity(DreamSim)와 Text Alignment(VQAScore)를 결합하며, 전체 프로ンプ트 정렬도와 개별 이미지 프롬프트 정렬도 사이의 격차에 따라 페널티/보상 항을 적용합니다.

주요 기여

1. 컴포넌트 수준의 제어: 본 논문은 정체성-정렬 트레이드오프를 텍스트 임베딩의 컴포넌트 수준 의미론적 얽힘으로 규명하고, 전체 임베딩이 아닌 개별 스펙트럼 성분을 제어하는 선택적 수정 전략을 제안합니다.
2. 패딩 임베딩 특성화: FLUX와 SD3.5 텍스트 인코더 전반의 패딩 임베딩을 특성화하여, 선택적 투영을 통해 사용 가능한 쓰기 가능한 의미론적 컨테이너로서의 특정 임베딩을 식별했습니다.
3. 모호성 적응형 공유: 정체성 프롬프트의 모호성을 자동으로 추정하고, 필요할 때만 특징 공유를 활성화하여 불필요한 제약을 피하는 메커즘을 도입했습니다.
4. 통합 지표 (SeeSaw): 정체성 일관성과 개별 이미지 정렬 사이의 균형을 정량화하여, 긴 정체성 프롬프트로 인해 발생할 수 있는 부풀려진 점수 문제를 해결하는 지표를 제안했습니다.

결과

방법론은 FLUX 및 SD3.5 백본에서 평가되었으며, 바닐라 모델 및 최신 트레이닝 프리 경쟁 모델들(예: 1Prompt1Story, CharaConsist, Zigzag, CoDi)과 비교되었습니다.

• 성능: AsemConsist는 두 백본 모두에서 가장 높은 SeeSaw 점수를 기록하여, 정체성 일관성과 텍스트 정렬 사이의 우수한 균형을 입증했습니다.
  • SD3.5에서, 정렬도를 유지하면서도 현저히 개선된 정체성 일관성(0.272 vs 0.367)을 보이며 SeeSaw 점수를 0.636(Vanilla)에서 0.681로 높였습니다.
  • FLUX에서, 가장 뛰어난 경쟁 모델(Zigzag 0.661)을 능가하는 0.664의 SeeSaw 점수를 달성했으며, 훨씬 더 나은 정체성 일관성(0.281 vs 0.309)을 보여주었습니다.
• 효율성: 이 방법은 계산 효율적입니다. FLUX 기준으로 5개의 이미지 세트를 생성하는 데 약 3.0~3.6분이 소요되어, Zigzag(26.1분) 및 CharaConsist(6.15분)보다 훨씬 빠릅니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소(STM, PAD, AFS)가 최종 성능에 기여함을 확인했습니다. STM은 정체성 응집력을 향상시키고, PAD는 정렬도를 복원하며, AFS는 모호한 프롬프트에 대한 앵커 역할을 제공합니다.
• 강건성: 방법론은 장면 편향(예: 특정 문화적 환경)에 대한 강건성을 입증했으며, 다양한 하이퍼파라미터 설정에서도 성능을 유지했습니다.

의의 및 주장

본 논문은 정체성 일관성이 있는 생성을 위한 접근 방식을 프롬프트 수준의 균일한 조정에서 컴포넌트 수준의 의미론적 제어로 전환함으로써, 오랫동안 지속된 트레이드오프를 해결한다고 주장합니다. 어떤 컴포넌트를 제어할지, 어디에 의미를 쓸지, 그리고 언제 제약할지에 대한 답을 제시함으로써, AsemConsist 프레임워크는 장면 특유의 충실도를 저하시키지 않으면서도 일관된 캐릭터 표현을 가능하게 합니다.

저자들은 이 접근 방식이 **트레이닝 프리(training-free)**이며 테스트된 특정 DiT 백본에 대해 아키텍처 독립적임을 강조하며, 두 가지 DiT 기반 모델인 FLUX와 SD3.5 모두에서 효과적으로 작동함을 보여줍니다. 이 방법은 이러한 백본을 기반으로 할 때 기존 경쟁 모델들보다 우수한 성능을 보입니다. 다만, 저자들은 대규모 시각-언어 모델(VLM) 인코더를 사용하는 백본(예: Qwen-Image)에 이 프레임워크를 적용하는 데 한계가 있음을 언급했습니다. 이러한 모델에서는 정체성 신호의 깊은 통합과 엄격한 어텐션 마스킹 전략이 국소적 임베딩 수정 및 패딩 기반 의미론적 컨테이너의 효과를 저해하기 때문입니다. SeeSaw 지표의 도입은 정체성 일관성과 정렬도 사이의 균형을 제대로 평가하기 위한 필수적인 단계로 제시되며, 이는 기존의 개별적인 지표들이 남긴 공백을 메웁니다. 본 연구는 스펙트럼 성분의 선택적 조작과 패딩 임베딩의 전략적 활용이 서사 및 스토리텔링 맥락에서 생성 모델의 제어 가능성을 높이는 효과적인 메커니즘임을 시사합니다.