1. 연구 배경 및 문제 정의 (Problem)

최근 텍스트-이미지 (T2I) 생성 모델 (예: Stable Diffusion, SDXL, SD3.5) 은 텍스트 프롬프트에 따라 고품질의 이미지를 생성하는 능력이 크게 향상되었습니다. 그러나 **여러 개의 객체 (Multi-Object)**가 포함된 프롬프트를 처리할 때는 여전히 심각한 한계를 보입니다. 주요 실패 사례는 다음과 같습니다.

• 객체 누락 (Object Neglect): 프롬프트에 명시된 객체 중 일부가 이미지에 생성되지 않음.
• 객체 혼합 (Object Mixing): 서로 다른 객체의 특징이 섞여 하나의 비현실적인 객체로 생성됨.

저자들은 이러한 실패가 특히 다음과 같은 4 가지 시나리오에서 빈번하게 발생함을 규명했습니다.

1. 유사한 형태 (Similar Shapes): 형태가 비슷한 객체들 (예: 동전과 시계)
2. 유사한 질감 (Similar Textures): 질감이 비슷한 객체들 (예: 모피 코트와 이끼)
3. 서로 다른 배경 편향 (Dissimilar Background Biases): 각 객체가 자연스럽게 연관된 배경이 상충되는 경우 (예: 사막의 낙타 vs 바다의 물고기)
4. 다수 객체 (Many Objects): 3 개 이상의 객체가 동시에 존재하여 상호작용이 복잡해지는 경우

기존 연구들은 주로 명사와 속성 (Attribute) 간의 관계에 초점을 맞췄으나, 본 연구는 객체 간의 상호작용 (Inter-object relationships) 그 자체가 실패의 주요 원인임을 강조합니다.

2. 제안 방법: DOS (Directional Object Separation)

본 논문은 T2I 모델 내부의 이미지 생성 과정 (Latent space) 을 수정하는 대신, CLIP 텍스트 임베딩 (Text Embeddings) 을 수정하여 문제를 해결하는 DOS 방법을 제안합니다.

핵심 아이디어

CLIP 임베딩에 대한 두 가지 관찰에서 영감을 받았습니다.

1. 정보 혼란 (Information Mix-up): CLIP 의 Causal Masking 메커니즘으로 인해 이전 토큰의 정보가 후속 토큰 임베딩에 섞여 객체 정보가 혼동될 수 있음.
2. 방향성 정보 (Directional Information): 두 CLIP 텍스트 임베딩 간의 차이는 객체를 구분하는 방향성 정보를 인코딩하고 있음.

알고리즘 프로세스

1. 분리 벡터 (Separation Vectors) 생성:

   • 각 객체 쌍 $(obj_n, obj_m)$에 대해, 두 객체를 명확히 구분하는 방향 벡터를 계산합니다.
   • Semantic Token Embeddings: 순수 프롬프트 ("a {obj}") 를 사용하여 객체 고유의 표현을 얻고, 두 표현의 차이로 벡터를 생성합니다. (정보 혼란 방지)
   • EOT 및 Pooled Embeddings: 대조적 프롬프트 ("{obj_n} separated from {obj_m}" vs "{obj_n} mixed with {obj_m}") 를 사용하여, 의도적으로 정보 혼란을 활용하여 분리 방향을 추출합니다.

2. 적응형 강도 (Adaptive Strengths) 조정:

   • 모든 객체 쌍이 동일한 정도로 분리되어야 하는 것은 아닙니다. 객체 간의 시각적 유사성 (형태, 질감) 과 배경 편향의 차이를 분석하여, 혼합되거나 누락될 가능성이 높은 객체 쌍에 대해 분리 강도를 높입니다.
   • 이를 위해 사전 정의된 42 개의 형태/질감 단어와 36 개의 배경 문구를 사용하여 코사인 유사도를 계산하고, 시그모이드 함수를 통해 가중치 ($\alpha$) 를 동적으로 조절합니다.

3. 임베딩 업데이트:

   • 계산된 분리 벡터들을 가중 평균하여 DOS 벡터를 생성합니다.
   • 이 벡터를 원본 텍스트 임베딩 (Semantic Token, EOT, Pooled) 에 더하여 T2I 모델에 입력합니다.
   • 특징: 모델의 학습이나 추론 과정 (Latent 수정) 을 변경하지 않으므로, 기존 모델과 호환되며 추론 속도가 빠릅니다.

3. 주요 기여 (Key Contributions)

• 문제 정의: 객체 간 상호작용으로 인한 4 가지 구체적인 실패 시나리오 (유사 형태, 유사 질감, 배경 편향, 다수 객체) 를 체계적으로 분석하고 벤치마크를 구축했습니다.
• 새로운 방법론 (DOS): 텍스트 임베딩의 방향성 정보를 활용하여 객체 분리를 유도하는 효율적인 방법을 제안했습니다. 이는 기존에 주로 사용되던 Latent 공간 수정 방식과 차별화됩니다.
• 효율성: 기존 방법 (Attend-and-Excite 등) 이 추론 시 반복적인 그래디언트 업데이트로 인해 느린 반면, DOS 는 임베딩만 수정하므로 약 4 배 빠른 추론 속도를 제공합니다.

4. 실험 결과 (Results)

SDXL 및 SD3.5 모델을 기반으로 한 실험 결과, DOS 는 기존 최첨단 방법들 (TEBOpt, Attend-and-Excite, CONFORM) 을 압도적으로 능가했습니다.

• 정량적 평가 (Quantitative):
  • 성공률 (Success Rate, SR): 4 가지 벤치마크 모두에서 가장 높은 성공률을 기록했습니다. (예: SDXL 기준 Similar Shapes 에서 64.00% vs TEBOpt 52.00%)
  • 혼합률 (Mixture Rate, MR): 객체 혼합 발생률을 가장 크게 감소시켰습니다.
• 정성적 평가 (Qualitative & Human Preference):
  • 인간 평가 (MTurk) 에서 다른 모든 방법보다 26.24% ~ 43.04% 더 많은 선호도를 받았습니다.
  • 복잡한 프롬프트에서도 객체 누락 없이 명확하게 분리된 이미지를 생성했습니다.
• 추론 시간:
  • Baseline 과 유사한 시간 (약 13 초) 을 소요하여, Latent 수정 기반 방법 (약 58 초) 대비 매우 효율적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 T2I 모델의 다중 객체 생성 실패가 단순히 모델의 능력 부족이 아니라, 텍스트 임베딩 내의 정보 혼란과 방향성 부재에서 기인할 수 있음을 보여주었습니다.

• 실용성: 별도의 모델 재학습 없이, 기존 T2I 모델에 쉽게 적용 가능한 플러그인 방식입니다.
• 효율성: 고품질 생성을 유지하면서도 추론 속도를 희생하지 않는 균형 잡힌 솔루션을 제공합니다.
• 확장성: CLIP 임베딩의 방향성 특성을 활용한다는 아이디어는 향후 텍스트-이미지 모델의 한계를 극복하는 새로운 패러다임을 제시합니다.

결론적으로, DOS 는 다중 객체 생성에서 발생하는 객체 누락 및 혼합 문제를 해결하기 위한 실용적이고 효율적인 표준 방법으로 자리 잡을 것으로 기대됩니다.