Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

기술 요약: 부정 프롬프트 최적화 및 잠재 분류기 가이던스를 통한 고급 이미지 생성

문제 정의
Stable Diffusion과 같은 확산 모델(Diffusion Models)은 텍스트-이미지 생성 분야에 혁신을 가져왔으나, 시각적 아티팩트(artifacts), 의미론적 표류(semantic drift), 그리고 사용자의 의도를 엄격하게 준수하지 못하는 문제점이 빈번히 발생한다. 기존의 솔루션들은 부정 프롬프트 엔데니어링과 분류기 가이던스(classifier guidance)를 별개의 과제로 다루는 경우가 많다. 본 논문은 부정 프롬프트를 최적화하고 잠재 공간 평가를 통해 확산 과정을 가이드함으로써 이러한 문제들을 동시에 완화하기 위한 통합 프레임워크를 제안한다.

방법론
제안된 시스템은 Streamlit 애플리케이션을 통해 구현된 모듈형 파이프라인으로, 세 가지 핵심 모듈을 통합한다:

1. 부정 프롬프트 최적화: 저자들은 부정 프롬프트 생성을 조건부 언어 작업으로 모델링한다. 이들은 사전 학습된 Seq2Seq 모델(T5-base)을 프롬프트-부정 프롬프트 쌍에 대해 교차 엔트로피 목적 함수를 사용하는 지도 미세 조정(SFT) 방식으로 미세 조정하였다. 추론 단계에서는 빔 서치(beam search) 알고리즘을 사용하여 원치 않는 특징을 억제하는 최적화된 부정 프롬프트($p^-$)를 동적으로 생성한다.

2. 확산 엔진(Diffusion Engine): 시스템은 결정론적 샘플링을 위해 DDIM 스케줄러를 갖춘 Stable Diffusion 파이프라인을 활용한다. UNet은 입력 텍스트 임베딩(긍정 프롬프트 $p^+$와 생성된 부정 프롬프트 $p^-$로부터 유도됨)을 기반으로 노이즈를 예측하여 잠재 표현 $z_t$를 업데이트한다.

3. 잠재 분류기 가이던스(Latent Classifier Guidance): "개선된 LatentCNN RNN 분류기"가 확산 단계 동안 중간 잠재 상태를 평가한다. 이 하이브리드 구조는 다음으로 구성된다:

   • CNN 인코더가 4채널 잠재 벡터로부터 공간적 특징을 추출한다.
   • 양방향 GRU가 이러한 특징들을 일련의 단계에 걸쳐 집계한다.
   • MLP가 로짓(logit)을 출력하여 수락 확률($s_t$)을 결정한다.

   시스템은 "롤백(rollback)" 메커니즘을 채택한다: 만약 분류기의 신뢰도 점수가 임계값($\tau = 0.5$) 미만으로 떨어지고 롤백 제한($R=5$)에 도달하지 않았다면, 시스템은 마지막으로 수락된 잠재 상태로 되돌아가 저품질 업데이트를 효과적으로 폐기한다.

주요 기여

• 자동 부정 프롬프트 생성: 노동 집약적인 수작업을 대체하기 위해, 효과적인 부정 프롬프트를 자동으로 생성하는 미세 조정된 Seq2Seq LLM을 도입하였다.
• 이중 가이던스 프레임워크: 부정 프롬프트 최적화와 CNN-RNN 하이브리드 분류기를 결មាន하여, 바람직하지 않은 잠재 업데이트를 롤백함으로써 확산 단계를 동적으로 가이드하는 새로운 통합 방식을 제시하였다.
• 오픈 소스 구현: 시연 및 실험을 위해 사용자 친화적인 Streamlit 인터페이스를 갖춘 오픈 소스 프로젝트로 시스템을 공개하였다.

실험 결과
본 논문은 합성 잠재 시퀀스 데이터셋(10단계 시퀀스를 나타내는 200개의 레이블된 샘플)에 대한 경험적 평가를 제시한다:

• 분류기 성능: "개선된 LatentCNN RNN 분류기"는 홀드아웃 테스트 세트에서 낮은 성능을 보였다. 이 모델은 정확도 0.400과 ROC AUC 0.4261을 기록하였으며, 이는 무작위 추측의 기준인 0.5보다 낮은 수치이다. 통계적 검정(대응 t-검정) 결과, 이 모델은 Vanilla CNN 베이스라인(AUC 0.4511) 및 로지스틱 회귀, SVM과 같은 다른 벤치마크보다 유의미하게 낮은 성능을 보였다.
• 질적 주장: 분류기의 정량적 한계에도 불구하고, 저자들은 이 이중 가이던스 프레임워크를 적용했을 때 베이스라인 확산 기술에 비해 시각적 아티팩트가 감소하고 의미론적 충실도가 향상된다고 주장한다. 시각적 예시(그림 1~3)는 안개 낀 숲속의 사슴을 묘사하는 프롬프트에 대해 시스템이 최적화된 부정 프롬프트(예: "deformed, blurry, bad anatomy")를 생성하는 능력을 보여준다.

의의 및 한계
본 논문은 이 연구를 더 제어 가능하고 의미론적으로 정렬된 텍스트-이미지 생성을 위한 유망한 방향으로 위치시킨다. 저자들은 모듈형 아키텍처 덕분에 독립적인 훈련과 용이한 절제 연구(ablation studies)가 가능함을 강조한다.

그러나 저자들은 분류기의 효용성에 대해 매우 겸허한 태도를 보인다. 그들은 분류기의 지표(AUC < 0.5)가 현재의 데이터셋에서 무작위 추측보다 성능이 낮음을 나타낸다는 점을 명시적으로 인정하며, 이는 상당한 개선의 여지가 있음을 시사한다. 결론에서는 향에는 아키텍처 재설계, 고급 정규화 또는 고품질 레이블 데이터를 통해 분류기 모듈을 개선하는 데 집중해야 한다고 밝히고 있다. 이 논문은 현재의 시스템이 모든 지표에서 최첨단(state-of-the-art)이라고 주장하는 것이 아니라, 두 가지 가이던스 메커니즘을 통합하기 위한 프레임워크를 구축하는 것이 목적이며, 잠재 가이던스 구성 요소는 추가적인 개발이 필요하다는 점을 전제로 하고 있다.