기술 요약: 텍스트-이미지 생성을 위한 주의 특징 공간의 직교 부정 안내

문제 제기

텍스트-이미지 (T2I) 모델이 고품질 이미지 생성에서 크게 진전했음에도 불구하고, 특정 객체나 속성의 부재를 명시적으로 강제하는 것은 여전히 근본적인 과제로 남아 있습니다. 기존 전략들은 다음과 같은 뚜렷한 한계를 겪고 있습니다:

• 프롬프트 부정: "no"나 "without"와 같은 단어를 단순히 삽입하는 것은 종종 실패하며, 때로는 부정 없이 생성할 때보다 부정된 개념을 더 자주 생성하게 만듭니다.
• 생성 및 편집 파이프라인: 이러한 방법은 먼저 이미지를 생성한 후 편집 모델을 사용하여 원하지 않는 개념을 제거합니다. 그러나 편집 모델은 공간적 및 구조적 무결성을 유지하도록 훈련되었기 때문에, 장면의 상당한 구조적 재구성이 필요한 개념을 제거하는 데 어려움을 겪습니다.
• 표준 부정 안내: Classifier-Free Guidance(CFG) 및 그 변형 (예: NAG, NASA) 과 같은 기술은 선형 뺄셈을 통해 부정 프롬프트에서 생성을 유도합니다. 그러나 이러한 기술들은 종종 원치 않는 개념이 충분히 억제되기 전에 전체 부정 신호를 빼버려, 긍정 프롬프트와의 정렬 및 전반적인 이미지 품질을 저하시킵니다.

방법론

저자들은 Multimodal Diffusion Transformer(MM-DiT) 아키텍처 (예: FLUX-dev, FLUX-schnell) 기반의 정류 흐름 (rectified flow) T2I 모델을 위해 설계된 **직교 부정 안내 (Orthogonal Negative Guidance)**를 제안합니다. 이 방법은 훈련이 필요 없으며, 원하지 않는 개념을 억제하면서도 원하는 의미론을 보존하기 위해 주의 특징 공간 내에서 작동합니다.

핵심 메커니즘

이 방법은 MM-DiT 블록 내에서 교차 모달 상호작용을 매개하는 이미지-텍스트 주의 출력($Z_{I2T}$)에 개입합니다. 이 과정은 두 개의 병렬 분기를 포함합니다:

1. 긍정 분기: 원래 생성 프롬프트 ($P^+$) 를 기반으로 주의 출력을 계산합니다.
2. 부정 분기: 억제할 개념을 지정하는 보조 부정 프롬프트 ($P^-$) 를 기반으로 주의 출력을 계산합니다. 핵심적으로, 이 분기는 공간적 정렬을 보장하기 위해 긍정 분기에서 이미지 측 특징 ($Q_I, K_I, V_I$) 을 재사용하면서 자체 텍스트 측 특징을 사용합니다.

직교 뺄셈

부정 주의 출력 ($Z_{I2T}^-$) 을 긍정 출력 ($Z_{I2T}^+$) 에서 직접 빼는 대신, 이 방법은 부정 신호 중 긍정 신호에 직교하는 성분만 분리하여 제거합니다. 수정된 주의 출력 $\widehat{Z}_{I2T}^+$는 다음과 같이 계산됩니다:

$$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$$

여기서:

• $\alpha$는 안내 스케일입니다.
• $\mathrm{proj}_{Z_{I2T}^+}(\cdot)$는 숨겨진 차원을 따라 부정 벡터를 긍정 벡터에 투영하는 것을 나타냅니다.

직교 성분만 빼므로, 이 방법은 긍정 프롬프트와 정렬된 의미 방향을 방해하지 않으면서 원치 않는 개념에 특화된 정보를 억제합니다. 이 절차는 특정 시간 단계 $\tau$부터 모든 MM-DiT 블록에 적용됩니다.

주요 기여

1. 직교 부정 안내: 부정 안내 신호의 직교 성분만 제거함으로써 원치 않는 개념을 효과적으로 억제하고, 프롬프트 정렬 및 이미지 품질을 보존하는 주의 특징 공간 내의 새로운 훈련 불필요 개입 방법입니다.
2. 다양한 개념 억제 벤치마크 (DCS-Bench): 저자들은 6 가지 의미 범주 (예: 장소/장면, 사건/행동, 공존 객체) 에 걸친 200 가지 억제 시나리오로 구성된 새로운 벤치마크를 도입했습니다. 지각적 품질 (예: "흐릿한") 에 초점을 맞춘 이전 벤치마크와 달리, DCS-Bench 는 모델이 환각을 일으키는 경향이 있는 구체적이고 자연스럽게 발생하는 개념을 억제하는 능력을 평가합니다.
3. 종합 평가: FLUX-dev, FLUX-schnell, Stable Diffusion 3.5 Large 에 대한 광범위한 실험을 통해 이 방법이 기존 부정 안내 베이스라인 (CFG, NASA, NAG, VSF) 과 생성 및 편집 파이프라인 (Kontext, Qwen-Image-Edit, OmniGen2) 보다 우수함을 입증했습니다.

실험 결과

정량적 성능

VLM 기반 지표 (부정 개념 억제, 프롬프트 정렬, 이미지 품질) 를 사용하여 제안된 방법은 우수한 균형을 달성합니다:

• 억제: FLUX-dev 에서 이 방법은 모든 이전 부정 안내 방법보다 부정 개념 억제를 최소 15% 향상시킵니다.
• 정렬 및 품질: 이미지 품질이나 프롬프트 정렬을 저하시키는 선형 뺄셈 방법과 달리, 직교 부정 안내는 원래 모델과 비교 가능한 두 지표 모두에서 높은 점수를 유지합니다.
• 인간 평가: 111 명의 참가자를 대상으로 한 연구에서 이 방법은 **70.81%**의 선호도 점수를 기록하여 두 번째로 좋은 베이스라인 (NAG, 46.22%) 보다 18.78% 더 높은 성과를 거두었습니다.

정성적 관찰

• 다중 개념 억제: 이 방법은 단일 부정 프롬프트에 여러 개념을 나열함으로써 여러 개념을 동시에 억제할 수 있습니다.
• 조정 가능한 억제: 안내 스케일 $\alpha$를 변경함으로써 사용자는 장면을 파괴하지 않고 개념을 점진적으로 제거하면서 억제 강도를 지속적으로 제어할 수 있습니다.
• 실패 사례: 이 방법은 개념이 장면 구조에 깊이 통합된 장소/장면 및 사건/행동 범주에서 때때로 어려움을 겪습니다 (예: "전문 사진 스튜디오"에서 "소프트박스 조명"을 완전히 제거하지 못함).

중요성 및 주장

이 논문은 직교 부정 안내가 개념 억제와 의미론적 충실도 사이의 균형을 해결함으로써 제어 가능한 T2I 생성에서 중요한 진전을 이루었다고 주장합니다. 저자들은 그들의 방법이 다음과 같음을 강조합니다:

• 재훈련이나 추가 파라미터가 필요하지 않습니다.
• 현대의 정류 흐름 트랜스포머 아키텍처에 원활하게 통합됩니다.
• 프롬프트 부정이나 사후 편집에 비해 개념 제거를 위한 더 명시적인 메커니즘을 제공합니다.
• DCS-Bench 를 통해 평가의 새로운 기준을 수립하여, 현재 방법론이 다양한 현실 세계 억제 시나리오에 충분하지 않음을 강조합니다.

저자들은 이 방법이 모든 구조적 편집 작업 (순차적 편집의 경우 생성 및 편집 파이프라인이 여전히 선호될 수 있음) 에 만능 해결책은 아니지만, 특정 개념의 부재에 대한 사용자 제약을 엄격히 준수하는 이미지를 생성하는 능력을 실질적으로 향상시킨다고 결론지었습니다.