기술 요약: 인간 참여형 베이지안 최적화를 통한 개인화된 이미지 생성

1. 문제 정의

확산 모델(예: FLUX, Stable Diffusion 3)의 급격한 발전에도 불구하고, 사용자의 정신적 이미지($x^*$)와 언어 프롬프트만으로 도달할 수 있는 최적의 이미지($x_p^*$) 사이에는 근본적인 간극이 존재합니다. 이러한 간극은 이미지 공간이 언어보다 고차원적이고, 사용자의 어휘력이 제한적이며, 결합 언어-이미지 모델(예: CLIP)에 내재된 불완전함 때문에 발생합니다.

사용자는 생성된 이미지가 이전 이미지보다 자신의 정신적 목표에 "더 가깝다"는 것을 식별할 수는 있지만, 이 간극을 메우기 위해 필요한 구체적인 언어적 변화를 명확히 설명하는 데 어려움을 겪습니다. 언어 프롬프트에 의존하거나 대규모 데이터셋을 통한 광범위한 오프라인 학습(예: RLHF, DiffusionDPO)을 요구하는 기존 방식들은 초개인화(hyper-personalization)에는 불충분하거나 계산 비용이 너무 많이 듭니다. 본 논문은 이를 인간 참여형 블랙박스 최적화 문제로 규정합니다. 즉, 사용자의 내부 만족 함수나 정답 타겟 $x^*$에 접근할 수 없는 상태에서, 오직 사용자의 선호 피드백만을 사용하여 이미지를 반복적으로 정교화하는 방법론에 관한 문제입니다.

2. 방법론: MultiBO

저자들은 **MultiBO (Multi-Choice Preferential Bayesian Optimization)**를 제안합니다. 이는 사용자의 선호도를 바탕으로 확산 모델의 내부 표현(internal representations)을 수정하여 이미지 생성을 최적화하는, 학습이 필요 없는(training-free) 대화형 프레임워크입니다.

핵심 구성 요소

이 방법론은 이미지 공간의 고차원성과 사용자로부터 정밀한 수치적 점수를 얻기 어렵다는 두 가지 주요 과제를 해결합니다.

A. 다중 선택 선호 베이지안 최적화 (Multi-choicePBO)

표준적인 쌍체 비교(A vs. B) 대신, MultiBO는 사용자에게 $K$개의 이미지를 제시하고 그중 가장 좋은 $N$개의 옵션을 선택하도록 요청합니다 ($N$-out-of-$K$).

• MultiwiseGPR: 이 복잡한 피드백으로부터 사용자의 잠재적 만족 함수 $f$를 모델링하기 위해, 저자들은 MultiwiseGaussian Process Regression (MultiwiseGPR) 우도 모델을 도입했습니다. 이는 쌍체 선호 최적화에 사용되는 표준 Binomial-Probit/Logit 모델을 Multinomial-Logit 프레임워크로 확장한 것입니다. 이를 통해 특정 이미지 부분 집합을 사용자가 선택할 확률을 잠재 함수 값과 매핑함으로써, 더 적은 쿼리로 $f$를 더 효율적으로 추론할 수 있습니다.
• DBS (Dynamic Balanced Subspace) 획득 함수: 표준적인 기대 개선(Expected Improvement, EI) 방식은 $K$개의 선택지를 동시에 최적화할 때 계산적으로 다루기 어렵습니다. 저자들은 다음과 같은 기능을 가진 경량화된 획득 함수인 DBS를 제안합니다:
  1. 단일 기대 개선 샘플($x_{EI}$)을 계산합니다.
  2. 현재 최적 추정치($\hat{x}^*$)와 $x_{EI}$ 사이의 "앵커" 포인트(브릿지 벡터) $K$개를 구축합니다.
  3. 동적 부분 공간(dynamic subspace) $\Omega \subseteq Y$로부터 섭동(perturbations)을 샘살합니다. 이 부분 공간은 GPR 사후 확률의 그래디언트 공분산 행렬의 스펙트럼 갭(spectral gap)에 의해 결정되며, 이를 통해 $K$개의 선택지가 시각적으로 가장 유의미한 차이를 보이는 잠재 공간의 차원을 포괄하면서도 다양성을 유지하도록 보장합니다.

B. 셀프 어텐션 워핑 (Self-Attention Warping)

고차원 잠재 공간($D \approx 16k$)에서의 직접적인 최적화는 불가능합니다. 대신 MultiBO는 확산 모델의 셀프 어텐션 메커니즘(구체적으로 Query, Key, Value 행렬인 $Q, K, V$) 내에서 최적화를 수행합니다.

• 변환 공간 (Transformation Space): 최적화는 어텐션 특징에 적용되는 유효한 워핑 변환(Affine 및 Thin-Plate Spline 변환의 합성) 공간 내로 제한됩니다.
• 근거: 셀프 어텐션은 공간적 속성, 질감, 형태를 제어합니다. 이러한 특징을 워핑함으로써, MultiBO는 픽셀 공간 최적화의 차원 비용 없이 전역적 및 지역적 의미 변화를 유도할 수 있습니다. 이는 텍스트 프롬프트에 묶여 있는 크로스 어텐션(cross-attention)을 피하고 시각적 출력을 정교화하는 데 집중합니다.

워크플로우

1. 초기화: 프롬프트로부터 초기 이미지 $x_p^*$를 생성합니다.
2. 반복 (최대 $B$ 라운드):
   • DBS 모듈이 $K$개의 워핑 파라미터 세트를 제안합니다.
   • 이 파라미터들을 확산 모델의 셀프 어텐션 특징에 적용하여 $K$개의 후보 이미지를 생성합니다.
   • 사용자는 가장 좋은 $N$개의 이미지를 선택합니다.
   • MultiwiseGPR 모델이 만족 함수 $f$에 대한 사후 믿음(posterior belief)을 업데이트합니다.
   • 예산 $B$가 소진될 때까지 이 과정을 반복하여 최종 최적화된 이미지 $\hat{x}^*$를 출력합니다.

3. 주요 기여

1. 다중 선택 선호 프레임워크: 본 논문은 $N$-out-of-$K$ 선호 피드백이 쌍체 비교($K=2$)보다 훨씬 풍부한 정보를 제공하여 사용자 쿼리 부담을 줄여준다는 것을 입증했습니다. 이는 MultiwiseGPR 우도와 그에 따른 획득 함수를 통해 수학적으로 정식화되었습니다.
2. 어텐션 공간 최적화: 노이즈 벡터나 픽셀 공간을 최적화하는 다른 방식과 달리, MultiBO는 제약된 워핑 변환 공간을 사용하여 셀프 어텐션 특징($Q, K, V$)을 최적화합니다. 이는 표현력 있는 편집과 계산적 실행 가능성 사이의 균형을 맞춥니다.
3. 학습이 필요 없는 개인화: 이 방식은 대규모 데이터셋을 통한 오프라인 학습이나 확산 모델의 미세 조정(fine-tuning)을 요구하지 않습니다. 이는 추론 단계에서 완전히 작동하므로 모델에 구애받지 않으며(model-agnostic), 개별 사용자의 선호도에 적응할 수 있습니다.
4. 동적 부분 공간 선택: DBS 획득 함수는 최적화를 위한 가장 영향력 있는 차원을 적응적으로 식별하여, 탐색이 중복된 변형으로 함몰되는 것을 방지합니다.

4. 실험 결과

저자들은 MultiBO를 다섯 가지 범주의 베이스라인(학습 기반 선호 정렬인 DiffusionDPO, IterComp 및 학습이 필요 없는 추론 방식인 DEMON, DNO, DAS, 그리고 메트릭 가이드형 MultiBO 변형 모델)과 비교 평가했습니다.

• 타겟 정렬 (Target Alignment): MultiBO는 CLIP-I2I 및 LPIPS 지표(타겟 $x^*$와의 유사도 측정)에서 모든 베이스라인을 크게 앞질렀으며, "오라클(Oracle)" L2 가이드 상한선에 필적하는 결과를 달성했습니다. 특히, 사람이 아닌 자동화된 보상 모델(예: MultiBOCLIP-I2I)으로 대체된 경우보다 높은 성능을 보여, 인간의 피드백이 대리 지표(proxy metrics)가 놓치는 미묘한 차이를 포착한다는 점을 입증했습니다.
• 선호도 지표: MultiBO는 학습 데이터를 전혀 사용하지 않았음에도 불구하고, 표준 보상 지표(ImageReward, Aesthetic, HPSv2)에서 학습 기반 방식들과 대등하거나 더 우수한 점수를 기록했습니다.
• 강건성 (Robustness): 특정 메트릭 점수만 높게 받는 부적절한 이미지를 생성하는 현상(예: DNO, DAS에서 나타나는 '보상 해킹(reward hacking)')과 달리, MultiBO는 시각적 무결성을 유지했습니다.
• 인간 평가: 30명의 자원봉사자를 대상으로 한 연구에서, MultiBO는 타겟에 가장 가까운 이미지를 선택하는 데 있어 70.82%의 승률을 기록하며 모든 베이스라인을 압도했습니다 (차순위 모델은 15.60%에 불과).
• 절제 연구 (Ablation Studies):
  • Multiwise vs. Pairwise: 다중 선택 피드백($K=4$)이 쌍체 비교($K=2$)보다 더 빠르게 수렴하고 더 높은 품질을 보였습니다.
  • 선택 세트 크기: $K=4$가 정보 획득량과 사용자의 인지 부하 사이의 최적의 절충안이었습니다 ($K=10$의 경우 수익 체감 현상이 나타남).
  • 레이어 선택: 중간에서 후반부 셀프 어텐션 레이어(디코더 레이어)를 편집하는 것이 시각적 구조를 파괴하지 않으면서도 최적의 공간 제어력을 제공했습니다.
  • 타임스텝 (Timesteps): 초기에서 중기 디노이징 단계에서 편집하는 것이 가장 자유로운 조종(steering) 능력을 제공했습니다.

5. 의의 및 주장

본 논문은 MultiBO가 사용자의 상상과 생성 모델 출력 사이의 "라스트 마일(last-mile)" 간극을 효과적으로 좁힌다고 주장합니다. 그 의의는 다음과 같습니다:

• 효율성: 약 50회의 사용자 쿼리만으로 고정밀 개인화를 달성하여, 대규모 보상 모델을 학습시키는 데 드는 계산 비용을 피했습니다.
• 인간 중심 설계: 절대적 품질(점수)이 아닌 상대적 품질(선호)을 판단하는 인간의 능력을 활용함으로써, 언어 프롬프트의 한계와 불완전한 보상 모델의 문제를 우회합니다.
• 실용성: 학습이 필요 없고 모델에 독립적인(model-agnostic) 이 방식은, 대규모 데이터셋이나 특수한 학습용 하드웨어 없이도 초개인화된 이미지 생성을 위한 실행 가능한 경로를 제시합니다.

저자들은 한계점으로, 사용자의 선호가 모호한 경우(모든 선택지가 비슷하게 좋거나 나쁜 경우) 최적화가 정체될 수 있다는 점과, 제약된 워핑 공간이 전체 잠재 공간 최적화에 비해 편집 범위를 제한할 수 있다는 점을 언급했습니다. 향ical 향후 연구로는 사전 학습된 보상 모델으로부터의 정보가 담긴 사전 지식(prior)을 통합하고, 잠재 확산 기하학(latent diffusion geometry)에 더 적합한 고차원 최적화 전략을 탐구하는 것이 제안되었습니다.