기술 요약: 일대일 정렬(One-and-Only Alignment) 강화를 위한 중간 텍스트 표현 유도형 텍스트-이미지 생성

1. 문제 정의

텍스트-이미지(T2I) 확산 모델은 명시적인 텍스트 설명이 모델의 강력하게 학습된 시각적 사전 지식(visual priors)과 충돌할 때, 해당 설명을 충실히 렌더링하는 데 자주 실패한다. 이러한 현상을 **개념 연상 편향(concept association bias)**이라 한다. 이 편향은 일대일(One-and-Only, OAO) 엔티티—즉, 단 하나의 전형적인 형태를 가진 객체(예: 지구, 모나리자, 에펠탑)—에 대해 가장 심각하게 나타난다. 이러한 엔티티의 경우, 모델에 각인된 시각적 정체성이 명시적인 텍스트 지시를 압도하는 경우가 많다(예: "회색 지구"나 "뜨개질로 만든 모나리자"를 생성하는 데 실패함).

저자들은 이러한 실패가 텍스트 인코더의 정보 이론적 특성에서 기인한다고 가설을 세웠다. 단순한 개념들은 인코더의 초기 레이어에서 나타나지만, 컨디셔닝에 사용되는 최종 텍스트 임베딩은 과도한 추상화를 통해 특정 개념 수준의 정보를 버리게 된다. 결과적으로, 입력 텍스트와 최종 임베딩 사이의 상호 정보량(mutual information)은 중간 은닉 상태(intermediate hidden states)보다 낮아지며, 이는 디노이징 과정에서 특정 속성의 억제로 이어진다.

2. 방법론: IR 유도형 확산 (IR-Guided Diffusion)

본 논문은 텍스트 인코더의 중간 은닉 상태를 컨디셔닝 신호에 주입함으로써 억제된 개념을 복구하는, 훈련이 필요 없는(training-free) 최적화 불필요(optimization-free) 방식인 중간 텍스트 표현(Intermediate Text Representation, IR)-유도형 확산을 제안한다.

2.1 이론적 토대

정보 이론적 관점을 사용하여 저자들은 개념 누락 문제를 공식화하였다. 그들은 객체 $A$를 설명하는 속성 $b$를 포함한 텍텍스트 프롬프트 $Y$에 대해, 생성된 잠재 변수 $x_t$가 $A$가 고려된 후에는 $b$에 대한 정보를 거의 포함하지 않음을($I(b; x_t | A) \approx 0$) 입증했다.
텍스트 인코더를 마르코프 체인 $Y \rightarrow c_h \rightarrow c_f$ (여기서 $c_h$는 중간 표현, $c_f$는 최종 임베딩)로 분석함으로써, 저자들은 **데이터 처리 부등식(Data Processing Inequality, DPI)**을 적용한다. 이는 입력 텍스트와 중간 표현 사이의 상호 정보량이 최종 임베딩의 상호 정보량보다 크거나 같음을 증명한다:
$$I(Y; c_h) \ge I(Y; c_f)$$
저자들은 $c_h$(또는 $c_h$와 $c_f$의 조합)로 디노이징 과정을 컨디셔닝하는 것이 $c_f$에서 손실된 속성 특이적 정보를 보존한다고 상정한다.

2.2 주입 메커니는 (Injection Mechanism)

이 방법은 중간 표현을 최종 임베딩에 더함으로써 IR 유도형 임베딩 $\tilde{c}$를 구성한다:
$$\tilde{c} = c_f + \lambda c_h$$
여기서 $\lambda \in [0, 1]$은 주입 강도를 조절한다. 호환성을 보장하기 위해, 중간 표현 $c_h$는 $c_f$와 분포를 맞추기 위해 텍스트 인코더의 최종 레이어 정규화(layer normalization)를 거친다. 이렇게 수정된 임베딩 $\tilde{c}$는 스코어 함수 $\nabla_{x_t} \log p_\theta(x_t | \tilde{c})$를 계산하는 데 사용된다.

이 접근 방식은 모든 인코더에서 중간 상태를 추출하고 이를 결합하여 결합된 최종 임베딩에 더함으로써, 단일 인코더 아키텍처(예: Stable Diffusion 2.1)와 다중 인코더 아키텍처(예: Stable Diffusion 3.0)를 모두 지원한다.

2.3 적응형 스케줄링 (Adaptive Scheduling)

전체 디노이징 과정 동안 중간 표현을 주입하면 아티팩트(artifacts)가 발생할 수 있다. 저자들은 확산 모델이 초기 단계에서는 전역적 구조를 구축하고 후기 단계에서는 세부 사항을 정교화한다는 점에 주목했다. 따라서 이들은 최적의 전환점 $t^*$를 결정하기 위해 **적응형 스케줄러(Adaptive Scheduler)**를 사용한다:

1. 초기 단계 ($t > t^*$): 모델은 전역 구조를 구축하고 억제된 속성을 통합하기 위해 $\tilde{c}$(중간 유도형)에 의해 컨디셔닝된다.
2. 후기 단계 ($t \le t^*$): 모델은 세부 사항 정교화를 위해 표준 최종 임베딩 $c_f$로 복귀한다.

전환점 $t^*$는 추정된 깨끗한 이미지 $\hat{x}_{0|t}$의 구조적 가속도 $\Delta D_t$를 모니터링하여 동적으로 결정된다. 스케줄러는 구조적 변화가 안정화될 때($\Delta D_t \le 0$) 주입을 중단한다.

3. 주요 기여

1. 정보 이론적 분석: 본 논문은 최종 텍스트 임베딩이 중간 레이어에 존재하는 개념 수준의 정보를 버림으로써 디노이징 과정에서 사용할 수 있는 상호 정보량을 감소시킨다는 점을 식별하였다.
2. IR 유도형 확산: 디노이징 초기 단계 동안 컨디셔닝 신호에 중간 텍스트 표현을 주입하는 새로운 훈련 불필요 방식을 제안한다. 이는 외부 모델, 사전 정의된 개념 집합, 또는 추가적인 최적화 없이도 억제된 개념을 복구한다.
3. OAO-AttackBench: 천체, 랜드마크, 예술작품의 세 가지 카테로리에 걸쳐 OAO 엔티티의 핵심 시각적 정체성을 공격하도록 설계된 504개의 역설적(counterfactual) 프롬프트로 구성된 새로운 벤치마크를 제시한다. 이 벤치마크는 개념 연상 편향을 체계적으로 평가한다.

4. 실험 결과

이 방법은 Stable Diffusion 2.1 및 3.0을 사용하여 네 가지 벤치마크(OAO-AttackBench, Whoops, Gecko(R), Gecko(S))에서 평가되었다.

• 텍스트-이미지 정렬: IR 유도형 확산은 OAO-AttackBench에서 베이스라인 대비 VQAScore를 최대 19.1 퍼센트 포인트 개선했다. 이는 미세한 속성을 포착하는 데 있어 베이스라인 및 대안적인 후처리 전략(예: Mean-Std 정규화, 직교 투영)보다 일관되게 우수한 성능을 보였다.
• 충실도 및 인간 선호도: 이 방법은 생성 충실도를 유지하였으며, 커널 인셉션 거리(KID) 점수는 베이스라인과 비슷하거나 더 나은 결과를 보였다. 인간 선호도 점수(HPSv2 및 HPSv2.1) 또한 향상되었으며, 이는 생성된 이미지가 프롬프트에 더 충실할 뿐만 아니라 시각적으로도 타당함을 나타낸다.
• 일반화: Gecko와 같은 일반 데이터셋에서 이 방법은 베스라인과 대등한 성능을 유지하여, 표준 프롬프트에 대해 품질을 저하시키지 않음을 입증했다.
• 정성적 개선: 이 방법은 객체의 정체성을 유지하면서도 강력한 사전 지식을 성공적으로 덮어썼다(예: "유리로 된 토성" 또는 "팔각형 모양의 지구" 생성). 반면 베이스라인은 종종 속성을 무시하거나 해당 객체와 연관시키는 데 실패했다.

5. 의의 및 주장

본 논문은 현재 T2I 모델의 근본적인 한계, 즉 재학습 없이 OAO 엔티티에 대한 깊게 각인된 시각적 사전 지식을 덮어쓸 수 없는 문제를 해결한다고 주장한다. 텍스트 인코더의 중간 상태라는 "미개척 내부 자원"을 활용함으로써, 이 방법은 추가 훈련이나 외부 모델이 필요 없는 실용적인 추론 시점(inference-time) 솔루션을 제공한다.

저자들은 자신들의 접근 방식이 특징을 제거하거나 다양성을 도입하려는 기존 연구와는 구별된다고 강조한다. 대신, 모델이 일반적으로 억제하는 명시적으로 지정된 개념을 생성하는 보완적인 문제를 해결한다. OAO-AttackBench의 도입은 향후 연구에서 개념 연상 편향을 평가하고 해결하기 위한 엄격한 프로토콜을 제공한다. 이 방법은 최첨단 확산 모델의 높은 생성 표준을 유지하면서 정렬을 개선하는 견고하고 적응적인 전략으로 제시된다.