기술 요약: ELDiff

문제 정의

다중 객체 텍스트-이미지(T2I) 확산 모델에서, 텍스트 프롬프트와 생성된 시각적 콘텐츠 사이의 의미론적 일관성을 보장하는 것은 매우 중요합니다. 토큰 감독 확산 모델(예: TokenCompose)은 이미지 콘텐츠와 세그멘테이션 맵 사이의 객체별 일관성을 학습함으로써 이를 개선해 왔으나, 다음과 같은 두 가지 주요 한계에 직면해 있습니다:

1. 세그멘테이션 맵 편향(Segmentation Map Bias): SAM과 같은 도구로 생성된 그라운딩 세그멘테이션 맵은 항상 신뢰할 수 있는 것은 아닙니다. 이러한 맵에 직접적으로 일관성을 강제하면 모델이 잘못되거나 부정확한 영역에 과적합(overfit)될 수 있습니다.
2. 의미론적 중첩 충돌(Semantic Overlap Conflict): 프롬프트 내의 여러 객체가 중첩된 공간 영역(예: "의자 위의 고양이")에 대응할 때, 각 명사 토큰에 대해 독립적으로 일관성을 최적화하면 모순된 그래디언트가 발생합니다. 이는 의미론적 경쟁을 유발하고 이미지 품질을 저하시킵니다.

기존 방법들은 세그멘테이션 레이블의 불확실성을 처리하거나, 중첩된 의미 개념 간의 충돌을 명시적으로 정량화하고 해결하는 메커니즘이 부족합니다.

방법론

저자들은 ELDiff를 제안하며, 이는 **증거 기반 딥러닝(Evidential Deep Learning, EDL)**과 **뎀프스터-샤퍼 이론(Dempster-Shafer Theory, DST)**을 T2I 확산 파이프라인에 통합하는 엔드투엔드 미세 조정(fine-tuning) 전략입니다. 이 접근 방식은 추가적인 추론 시 조작 없이도 문제를 해결하기 위해 두 가지 새로운 손실 함수를 도입합니다.

1. 픽셀 증거 손실 ($L_{PixEvi}$)

세그멘테이션 맵의 편향을 완화하기 위해, ELDiff는 명사 토큰의 교차 주의(cross-attention) 맵을 결정론적 예측이 아닌 증거 분포로 취급합니다.

• 메커니즘: 교차 주의 맵은 증거 값을 출력하는 증거 네트워크(evidential network)로 입력되며, 이 값은 디리클레 분포(Dirichlet distribution)를 매개변수화합니다.
• 불확실성 지표: 주관적 논리(Subjective Logic)를 사용하여, 모델은 각 픽셀에 대한 믿음 질량(belief mass, $b$)과 불확실성 값($u$)을 도출합니다. 높은 불확실성은 신뢰할 수 없는 레이블(예: 편향된 세그멘테이션)을 나타냅니다.
• 손실 함수: 손실은 교차 엔트로피 항($L_{ce}$), 증거 교차 엔트로피($L_{ice}$), 그리고 쿨백-라이블러 발산($L_{KL}$)을 결합합니다. 디리클레 분포 하에서 기대 예측을 최적화함으로써, 모델은 불확실성이 높을 때 주의를 기울여 잘못된 세그멘테이션 마스크에 과적합되는 것을 방지하도록 학습됩니다.

2. 토큰 충돌 손실 ($L_{TokCon}$)

의미론적 중첩 충돌을 해결하기 위해, ELDiff는 뎀프스터-샤퍼 증거 이론을 사용하여 서로 다른 명사 토큰으로부터의 증거를 집계합니다.

• 메커니즘: 서로 다른 명사들의 교차 주의 맵은 별개의 증거로 취급됩니다. 모델은 DST 결합 규칙을 사용하여 중첩 영역에서의 충돌 계수($K$)를 계산합니다.
• 손실 함수: 전체 손실은 다음으로 구성됩니다:
  • 객체 내부 일관성 ($L_{intra}$): 주의 맵이 대상 영역에 집중하도록 유도합니다.
  • 객체 간 충돌 ($L_{inter}$): 계산된 충돌 계수에 따라 중첩 영역에서의 상충하는 활성화(activation)에 패널티를 부여합니다.
• 목표: 이를 통해 모델은 주의 맵의 공간적 분포를 적응적으로 조정하여, 의미론적으로 중첩된 개념들을 효과적으로 분리할 수 있습니다.

최종 학습 목적 함수는 표준 확산 손실($L_{LDM}$)과 제안된 손실들을 결합합니다:
$$L_{ELDiff} = L_{LDM} + L_{PixEvi} + L_{TokCon}$$

주요 기여

• 문제 공식화: 본 논문은 T2I 확산의 객체별 일관성 제약에서 발생하는 세그멘테이션 맵 편향 및 의미론적 중첩 충돌 문제를 명시적으로 식별하고 공식화했습니다.
• ELDiff 프레임워크: 기존 T2I 확산 모델(예: Stable Diffusion v1.4, v2.1, v3.5, SDXL, Qwen-Image)에 원활하게 통합되는 새로운 미세 조정 파이프라인을 제공합니다.
• 픽셀 증거 손실: 교차 주의 맵을 디리클레 분포로 모델링하고 픽셀 수준의 불확실성 추정을 활용하여, 신뢰할 수 없는 레이블에 대한 과도한 확신을 억제하는 새로운 손실 함수입니다.
• 토큰 충돌 손실: 명사 토큰을 증거로 취급하고 DST를 사용하여 충돌 요인을 측정하고 최적화함으로써 의미론적 중첩 충돌을 약화시키는 메커니즘입니다.
• 효율성: 추가적인 추론 시 비용을 발생시키거나 생성 중 별도의 조작을 요구하지 않고도 다중 객체 구성을 개선합니다.

실험 결과

광범위한 실험을 통해 ELDiff가 다양한 백본과 벤치마크에서 기존의 학습 기반 및 학습 불필요(training-free) T2I 확산 모델보다 우수한 성능을 보임을 입증했습니다:

• 다중 카테로리 인스턴스 구성: Stable Diffusion v1.4에서 ELDiff는 0.5563의 최첨단(SOTA) 객체 정확도(OA)를 달려 달성하여 TokenCompose(0.5215)를 능가했습니다. 또한 MG2-MG5 지표에서도 상당한 개선을 보였습니다.
• 사실주의 및 일관성: ELDiff는 베이스라인 대비 낮은 FID 점수(COCO에서 19.25, Flickr에서 55.13)와 높은 CLIP 점수를 달성하여, 더 나은 이미지 품질과 텍스트-이미지 정렬을 보여주었습니다.
• 일반화 능력: 이 방법은 SD v2.1, SD v3.5, 그리고 더 강력한 Qwen-Image 백본에 적용되었을 때도 강력한 일반화 능력을 입증하였으며, T2I-CompBench 및 GenEval 벤치마크에서 다른 미세 조정 전략들(예: CoMat, IterComp, TokenCompose)을 지속적으로 앞질렀습니다.
• 효율성: 이 방법은 다른 방법들이 더 긴 추론 시간을 요구하는 것과 달리, 기본 모델과 유사한 추론 지연 시간(예: 50 DDIM 스텝에 약 7.5초)을 유지합니다.
• 사용자 연구: SD v2.1 및 v3.5에 대한 평가에서, ELDiff는 인간 평가자들로부터 이미지 사실주의, 구성력, 전반적인 품질 측면에서 가장 높은 선호도를 받았습니다.

의의 및 주장

본 논문은 ELDiff가 불확실성 지표와 충돌 탐지를 활용함으로써 다중 객체 구성을 위한 견고한 솔루션을 제공한다고 주장합니다. 세그멘테이션 맵의 내재적 불신뢰성과 중첩된 의미론에서 비롯되는 모순을 해결함으로써, ELDiff는 확산 과정의 결함 허용 능력을 향상시킵니다. 저자들은 이 접근 방식이 기존의 학습 파이프라인에 원활하게 통합되어, 추가적인 추론 단계의 계산 오버헤드 없이 복잡한 장면의 생성 품질을 개선한다고 강조합니다. 이 방법이 객체 구성에서 탁월한 성능을 보여주는 한편, 저자들은 속성 바인딩(예: 특정 색상이나 질감)이 향후 개선이 필요한 영역임을 겸허히 인정하고 있습니다.