Personalizing Text-to-Image Generation to Individual Taste

이 논문은 텍스트-이미지 (T2I) 생성 모델이 개별 사용자의 취향에 무관하게 작동한다는 문제를 해결하기 위해, **개인화된 이미지 평가 및 생성을 위한 새로운 데이터셋과 예측 프레임워크인 'PAM∃LA'**를 제안합니다.

다음은 논문의 기술적 요약입니다.

1. 문제 정의 (Problem)

• 개인 취향의 부재: 최신 T2I 모델은 고품질의 이미지를 생성하지만, '대중적 (average)'인 선호도만 최적화할 뿐 개별 사용자의 주관적인 미적 취향에는 무감각합니다.
• 기존 방법의 한계:
  • 콘텐츠 중심 개인화: DreamBooth나 Textual Inversion 같은 기존 방법은 특정 객체 (예: 특정 개, 사람 얼굴) 를 생성하는 데 초점을 맞추어, 이미지의 '스타일'이나 '감정' 같은 미적 요소의 개인화를 다루지 못합니다.
  • 집단적 보상 모델: 기존 보상 모델 (Reward Models) 은 인간 피드백 (RLHF) 을 통해 학습되지만, 이는 다수의 평균적인 선호도를 반영할 뿐입니다. 또한, 오래된 AI 생성 이미지로 학습된 경우가 많아 최신 모델의 품질 수준을 반영하지 못하거나, 과도한 채도 (saturation) 등 특정 편향을 강화할 수 있습니다.
• 주관성의 복잡성: 두 사용자가 동일한 프롬프트를 입력하더라도 서로 다른 결과를 원할 수 있으며, 이는 이미지 내의 '무엇이' 나타나는지보다 '어떻게' 표현되는지에 대한 주관적 판단에 기인합니다.

2. 방법론 (Methodology)

A. PAM∃LA 데이터셋 (Dataset)

• 규모 및 구성: 5,077 개의 다양한 이미지 (Flux 2 및 Nano Banana 모델 생성) 에 대해 205 명의 사용자가 총 70,000 건 이상의 평가를 수행한 대규모 데이터셋입니다.
• 다양성: 예술 (Art), 디자인, 패션, 영화적 사진 (Cinematic photography) 등 스타일적 변이가 주관적인 영역을 포괄합니다.
• 밀집 평가: 이미지당 15 명의 사용자가 평가하여, 개인별 선호도 분포를 풍부하게 captured 합니다.
• 메타데이터: 사용자의 인구통계학적 정보 (나이, 성별, 국적, 예술 경험 등) 와 이미지 메타데이터를 포함합니다.
• 데이터 분할: 훈련 데이터, 검증 데이터, 테스트 데이터로 나누었으며, 테스트 세트는 '본 사용자 (Seen Users)'와 '새로운 사용자 (Unseen Users, Few-shot 설정)'로 구분하여 일반화 능력을 평가합니다.

B. PAM∃LA 예측기 (Predictor)

• 아키텍처: 경량화된 트랜스포머 (Transformer) 기반의 멀티모달 모델입니다.
  • 특징 추출: 고정된 (frozen) SigLIP2 인코더를 사용하여 이미지와 텍스트 프롬프트의 시각/의미적 특징을 추출합니다.
  • 사용자 임베딩: 인구통계학적 정보와 이미지 메타데이터를 텍스트로 변환하여 Llama-embed-nemotron-8B 인코더로 임베딩합니다. 또한, 훈련 중인 각 사용자를 위한 학습 가능한 임베딩 테이블을 사용합니다.
  • 융합 (Fusion): 이미지, 텍스트, 메타데이터, 인구통계, 사용자 임베딩을 토큰 시퀀스로 결합하고, 학습 가능한 [CLS] 토큰을 통해 트랜스포머 인코더에서 융합합니다.
  • 출력: [CLS] 표현을 선형 회귀 헤드 (Linear Regression Head) 를 통해 개인화된 점수로 변환합니다.
• Few-Shot 개인화: 훈련되지 않은 새로운 사용자의 경우, 해당 사용자가 제공한 소수의 (k 개) 평가 샘플을 기반으로 시각적 선호도 프로필을 생성하고, 훈련된 사용자들과의 유사도를 통해 학습된 임베딩을 보간 (Interpolation) 하여 개인화된 점수를 예측합니다.

C. 개인화된 이미지 조향 (Image Steering)

• 프롬프트 최적화: 학습된 PAM∃LA 예측기를 보상 모델 (Reward Model) 로 활용하여, LLM 이 생성한 프롬프트 변형들을 평가하고 점수가 높은 프롬프트를 선택하는 반복적 최적화 (Iterative Prompt Optimization) 를 수행합니다.
• 목표: 사용자의 취향에 맞춰 이미지의 조명, 구도, 카메라 각도 등을 조정하여 생성 품질을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. PAM∃LA 데이터셋 공개: AI 생성 이미지에 대한 70,000 건의 개인별 평가와 인구통계 정보를 포함한 대규모 벤치마크를 최초로 제공합니다.
2. 개인화된 보상 모델 개발: 이미지, 메타데이터, 사용자 정보를 결합하여 기존 보상 모델보다 개별 사용자 선호도를 더 정확하게 예측하는 모델을 제안했습니다.
3. 생성 모델 조향 실증: 단순 프롬프트 최적화 기법을 통해 생성된 이미지를 개별 사용자의 취향에 맞춰 효과적으로 조정할 수 있음을 입증했습니다.
4. 사용자 연구: 개인화된 최적화 이미지가 일반 최적화 이미지나 비최적화 이미지보다 사용자에게 선호됨을 확인했습니다.

4. 실험 결과 (Results)

• 예측 정확도:
  • PAM∃LA 예측기는 SROCC (스피어만 순위 상관 계수), PLCC (피어슨 선형 상관 계수), 쌍별 정확도 (Pairwise Accuracy) 등 모든 지표에서 기존 최첨단 모델 (HPSv3, Q-Align, ImageReward 등) 을 능가했습니다.
  • 특히 사용자별 (User-level) 예측 정확도에서 가장 큰 향상을 보였습니다 (예: User SROCC 0.4514 vs HPSv3 0.4019).
• 이미지 조향 효과:
  • 기존 보상 모델 (HPSv3, Q-Align) 은 최적화 과정에서 과도한 채도나 "AI 특유의 스타일"로 수렴하는 경향이 있었으나, PAM∃LA 는 **사실성 (Photorealism)**을 유지하면서 조명, 구도 등 구성 요소를 사용자의 취향에 맞게 조정했습니다.
  • 서로 다른 사용자에게 동일한 프롬프트를 입력하더라도, PAM∃LA 는 각 사용자의 취향에 맞춰 전혀 다른 시각적 결과물을 생성했습니다.
• 인구통계학적 편향 분석:
  • 기존 모델은 특정 인구통계 그룹의 취향을 '평균'으로 잘못 학습하여 편향을 강화하는 경향이 있음을 발견했습니다. PAM∃LA 는 연령대별 선호도 (예: 젊은 층은 채도가 높은 이미지를 선호) 를 정확히 반영하여 이러한 편향을 완화했습니다.
• 사용자 연구 (User Study):
  • Bradley-Terry 모델을 통한 선호도 평가에서, 사용자의 취향에 맞춰 PAM∃LA 로 최적화된 이미지가 가장 높은 점수 (ELO 1065) 를 받았으며, 일반 보상 모델로 최적화된 이미지는 오히려 초기 이미지보다 선호도가 낮았습니다.

5. 의의 및 결론 (Significance)

• 개인화 패러다임 전환: T2I 모델의 발전 방향이 '집단적 품질'에서 '개별적 취향 정렬'로 전환되어야 함을 강조합니다.
• 데이터의 중요성: 고품질의 개인별 평가 데이터가 없으면 주관적인 미적 판단을 모델링할 수 없음을 보여주며, PAM∃LA 가 이를 위한 표준 벤치마크 역할을 할 수 있음을 입증했습니다.
• 편향 완화: 기존 보상 모델이 가진 숨겨진 인구통계학적 편향을 식별하고 완화할 수 있는 프레임워크를 제공하여, 더 공정하고 다양한 사용자를 만족시키는 생성 시스템을 구축하는 데 기여합니다.

결론적으로, 이 연구는 AI 생성 이미지의 품질 평가가 단순히 객관적인 기술적 지표가 아닌, 개인의 주관적 취향을 이해하고 반영하는 방향으로 나아가야 함을 주장하며, 이를 위한 구체적인 데이터와 모델을 제시했습니다.