[기술 요약] All-in-One Conditioning for Text-to-Image Synthesis

1. 문제 정의 (Problem Statement)

최근 텍스트-이미지 생성(Text-to-Image Synthesis) 모델들은 높은 화질을 보여주고 있으나, **복잡한 프롬프트(Multiple objects, attributes, spatial relationships)**를 처리할 때 심각한 한계를 보입니다. 구체적인 문제는 다음과 같습니다.

• 의미론적 불일치(Semantic Inconsistency): 프롬프트에 명시된 객체, 속성, 공간적 배치가 이미지에 누락되거나 서로 뒤섞이는 현상(Attribute leakage).
• 구조적 결여(Structural Coherence): 여러 객체 간의 상대적 크기나 정확한 위치 관계를 시각적으로 구현하지 못함.
• 기존 방식의 한계: 기존의 레이아웃 기반 방식은 사전에 정의된 고정된 레이아웃(Rigid layout)을 사용하여 생성 결과의 다양성(Diversity)과 자연스러움을 저해함.

2. 제안 방법론 (Methodology)

본 논문은 텍스트 프롬프트를 장면 그래프(Scene Graph) 구조로 변환하여 이를 기반으로 ASQL(Attribute-Size-Quantity-Location) Conditioner를 제안합니다. 이 방식은 학습이 필요 없는 Zero-shot, Inference-time optimization 방식입니다.

핵심 구성 요소: ASQL Conditioner

1. Scene Graph 기반 가이드 생성:
   • 경량 LLM(Phi-3-mini 등)을 사용하여 텍스트로부터 객체, 속성, 수량, 관계를 추출하여 장면 그래프를 생성합니다.
   • Augmented Guidance: LLM은 객체의 상대적 크기 순서(Object Size), 절대적 위치(Absolute Location), 그리고 객체 간의 상대적 제약 조건(Relative Constraints)을 생성합니다.
2. Grid Guidance Enhancement (Fuzzy Logic 활용):
   • Fuzzy Clustering: 생성된 상대적 관계를 바탕으로 각 그리드 셀이 어떤 객체에 속할지 확률적으로 할당합니다.
   • Quantity Injection: 객체의 수량(Quantity) 정보에 따라 할당된 영역을 균등하게 분할하여 여러 개의 객체가 정확히 배치되도록 유도합니다.
3. Inference-time Diffusion Optimization (ASQL Loss):
   • 확산 모델(Diffusion Model)의 역과정(Denoising) 중에 다음의 손실 함수를 사용하여 노이즈 잠재 변수(Latent)를 최적화합니다.
   • $\mathcal{L}_{att}$: 객체와 해당 속성 간의 어텐션 맵을 일치시켜 속성 누출 방지.
   • $\mathcal{L}_{size}$: 객체 간의 상대적 크기 관계 유지.
   • $\mathcal{L}_{loc}^{cross} / \mathcal{L}_{loc}^{self}$: 그리드 가이드를 기반으로 객체의 정확한 위치(Spatial alignment)를 강제.

3. 주요 기여 (Key Contributions)

• Zero-shot Robust Pipeline: 추가적인 모델 학습 없이 기존의 사전 학습된 확산 모델에 플러그인 형태로 연결하여 성능을 높이는 견고한 파이프라인을 제안했습니다.
• ASQL 프레임워크: 속성(A), 크기(S), 수량(Q), 위치(L)를 모두 통합적으로 제어할 수 있는 새로운 조건화 메커니즘을 도입했습니다.
• Fuzzy Logic 기반의 부드러운 제약: 딱딱한 레이아웃 대신 퍼지 로직을 활용한 소프트 가이드를 통해 생성 이미지의 자연스러움과 다양성을 동시에 확보했습니다.
• 경량 LLM 활용: 고비용의 대형 모델 대신 경량 LLM을 사용하여 효율적인 가이드 생성을 가능하게 했습니다.

4. 실험 결과 (Results)

세 가지 표준 벤치마크(HRS, T2I-CompBench, GenEval)에서 실험을 진행한 결과, 제안 방법은 기존 SOTA(State-of-the-art) 모델들을 상회하는 성능을 보였습니다.

• HRS: F1 점수 3% 향상, 색상 정확도 5% 향상.
• T2I-CompBench: 색상 및 형태(Shape)에 대한 BLIP 점수가 기존 대비 각각 5%, 7% 상승하였으며, 특히 공간(Spatial) 카테고리에서 12%의 대폭적인 성능 향상을 기록했습니다.
• GenEval: 위치(Position) 정확도가 기존 대비 29% 향상되는 압도적인 결과를 보였습니다.
• 정성적 결과: 객체 간의 크기 비교(예: "자동차보다 큰 고양이"), 위치 관계(예: "바나나 아래의 고양이"), 속성 결합(예: "빨간색 비행기") 등이 매우 정확하게 구현됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 텍스트-이미지 생성 모델이 가진 고질적인 문제인 **'복잡한 명령 수행 능력 부족'**을 해결하기 위해, 구조화된 지식(Scene Graph)과 추론 단계의 최적화(Inference-time optimization)를 결합한 매우 효과적인 접근법을 제시했습니다.

특히, 모델을 새로 학습시키지 않고도 경량 LLM과 수학적 손실 함수 설계만으로 공간적 이해도와 속성 결합 능력을 극적으로 끌어올렸다는 점에서 실용적 가치가 매우 높습니다. 향후 연구는 더 복잡한 수량적 명령이나 고차원적인 시각적 구성을 처리하는 방향으로 확장될 수 있음을 시사합니다.