기술 요약: One Size, Many Fits (OSMF)

문제 정의

현재의 대규모 광고 이미지 생성 시스템은 전체 사용자층에 대해 단일한 총합 클릭률(CTR)을 최적화하는 "원 사이즈 피츠 올(one-size-fits-all)" 전략에 주로 의존하고 있습니다. 최근 인간 피드백 기반 강화 학습(RLHF)에 CTR을 보상 신호로 통합하는 발전이 있었으나, 이 접근 방식은 서로 다른 사용자 그룹 간의 상당한 선호도 이질성을 고려하지 못합니다.

서론에서 언급되었듯이, 전체 사용자 선호도를 보편적으로 적용 가능한 것으로 취급하면 특정 인구 통계학적 집단에서 하위 최적화된 성능을 초과하게 됩니다. 예를 들어, 스마트폰 광고에 대한 선호도는 성별에 따라 크게 다를 수 있는 반면, 신발 광고는 연령에 따라 더 많이 변할 수 있습니다. 상충하는 선호도(예: "자연 경관" 대 "스포츠 경기장" 배경)를 동시에 만족시키려는 통합 모델은 종종 특정 그룹의 참여를 이끌어내지 못하는 이미지를 생성하여, 결과적으로 타겟 마케팅의 효과를 제한하고 광고비를 낭비하게 만듭니다. 나아가, 기존의 그룹별 RLHF 방식은 두 가지 결정적인 과제에 직면해 있습니다: (1) 사용자 그룹화의 제한된 확장성, 즉 정적이고 고정된 속성 기반의 그룹화는 다양한 제품 카테고리에 적응할 수 없으며, (2) 통합 모델링에서의 선호도 충돌, 즉 단일 출력 모델은 모순되는 이미지 선호도를 해결하는 데 어려움을 겪습니다.

방법론: OSMF 프레임워크

이러한 한계를 해결하기 위해 저자들은 다양한 그룹별 선호도를 정렬하도록 설계된 통합 프레임워크인 **One Size, Many Fits (OSMF)**를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다.

1. 제품 인식 적응형 그룹화 (PAAG)

PAAG는 경직되고 정적인 사용자 클러스터링을 대신하여, 사용자 속성과 제품 특성을 통합하는 동적인 접근 방식을 채택합니다.

• 사용자 선호도 모델링: 시스템은 세 가지 브랜치인 사용자 속성($A$), 광고 이미지($I$), 제품 타이틀($T$)을 통해 사용자 클릭 행동을 모델링합니다. 엔코더를 사용하여 이미지와 텍스트로부터 의미론적 특징을 추출합니다. 결정적으로, 크로스 어텐션(cross-attention) 메커니즘을 활용하여 제품 인식 사용자 표현(product-aware user representations, $e_{u|t}$ 및 $e_{u|c}$)을 생성함으로써, 사용자 특징이 특정 제품의 의미와 시각적 특성에 주목할 수 있도록 합니다.
• 그룹 특징 집계: 사용자는 이러한 제품 인식 임베딩을 기반으로 K-Means를 사용하여 클러스터링됩니다. 단일 중심점에 의존하는 대신, 그룹 내 다양성을 포착하기 위해 PAAG는 클러스터 분포에서 여러 대표 지점(중심점 및 다양한 백분위수의 주변 지점 포함)을 샘в링하여 풍부한 집합적 표현($G_{s,k}$)을 구축합니다. 이를 통해 그룹 특징이 핵심적인 특성과 미세한 변이 모두를 포괄할 수 있도록 보장합니다.

2. 선호도 조건부 이미지 생성 (PCIG)

PCIG는 PAAG에서 도출된 그룹을 활용하여 **그룹 인식 멀티모달 거대 언어 모델(G-MLLM)**을 통해 맞춤형 이미지를 생성합니다.

• G-MLLM 아키텍처: 모델은 표준 입력 시퀀스 앞에 그룹 토큰($e_{G_{s,k}}$)을 붙임으로써 그룹 정보를 통합합니다. 이 모델은 네 가지 작업에 대해 특화된 사전 학습을 거칩니다:
  1. 그룹 분석: 일반적인 사용자 프로필을 자연어로 설명.
  2. 행동 예측: 기존 클릭자를 바탕으로 미래의 클릭자 예측.
  3. 제품 이해: 이미지를 통해 제품 타이틀 예측.
  4. 프롬프트 생성: 특정 사용자에 맞춘 이미지 프롬프트 생성.
• 그룹별 선호도 정렬 (Group-DPO): 실제 참여도와 모델을 정렬하기 위해 저자들은 **그룹 인식 보상 모델(GRM)**을 도입합니다. GRM은 특정 그룹 임베딩을 조건으로 하는 광고 이미지 쌍을 평가하여 상대적인 CTR 성능을 예측합니다. 이러한 선호도 쌍을 사용하여 G-MLLM은 **그룹 직접 선호 최적화(Group-DPO)**를 통해 미세 조정됩니다. 이 과정은 특정 타겟 그룹에 대해 더 높은 CTR을 유도하는 프롬프트를 생성할 확률을 극대화하며, 각 그룹을 위한 별도의 모델 없이도 효과적으로 그룹 간 선호도 충돌을 해결합니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. PAAG: 제품 인식 선호도를 학습하고 적응형 클러스터링과 특징 샘플링을 통해 풍부한 집합적 특징을 도출하는 동적 사용자 그룹화 메커니즘으로, 대규모 시나리오에서의 정적 그룹화의 한계를 극복합니다.
2. PCIG: 사전 학습된 G-MLLM과 Group-DPO를 활용하여, 하나의 모델이 다양한 사용자 그룹을 위해 맞춤형 이미지를 생성하면서도 선호도 충돌을 해결할 수 있게 하는 선호도 조건부 생성 프레임워크입니다.
3. GAIP 데이터셋: 그룹화된 광고 이미지 선호도(GAIP) 데이터셋을 소개합니다. 이는 그룹별 이미지 선호도를 위한 최초의 대규모 공개 데이터셋으로, 4,000만 명의 사용자를 통해 도출된 약 60만 개의 사용자 그룹을 포함하며, 기존 데이터셋을 크게 상회하는 규모와 정밀도의 그룹별 선호도 주석을 제공합니다.

실험 결과

저자들은 광범적인 오프라인 및 온라인 실험을 통해 OSMF를 평가했습니다:

• 선호도 모델링 (PAAG): 베이스라인(CACS, WIYD, JAC)과 비교했을 때, OSMF는 가장 낮은 NDCG@5 (0.3066)와 가장 높은 AUROC (0.6372)를 달성하여, 뚜렷한 그룹 선호도를 구별하고 사용자 클릭을 모델링하는 탁월한 능력을 입증했습니다.
• 온라인 CTR 성능: 노출도가 높은 10,000개 제품에 대한 1주일간의 온라인 테스트에서, OSMF는 사전 학습된 G-MLLM 베이스라인 대비 5.479%의 상대적 개선을 달성했으며, 최신 기술인 CAIG 방식(3.425% 개선)보다 우수한 성능을 보였습니다. 이는 그룹 수준의 선호도를 명시적으로 모델링하는 것이 총합 최적화보다 더 나은 상업적 결과를 낸다는 것을 보여줍니다.
• 보상 모델링: 그룹 인식 보상 모델(GRM)은 쌍 정확도(Pair Accuracy) 측면에서 일반 목적의 MLLM 및 기존 CTR 보상 모델보다 크게 앞섰으며(CAIG 대비 4.7% 향상), 이는 선호도 추정에 있어 그룹 컨텍스트의 중요성을 검증합니다.
• 정성적 분석: 시각적 결과는 OSMF가 동일한 제품에 대해서도 특정 사용자 그룹에 맞춰 스타일적으로 다양한 이미지(예: 활기찬 스타일 vs 미니멀한 스타일)를 성공적으로 생성함을 보여주었으며, 이는 이질적인 요구에 적응하는 능력을 확인시켜 줍니다.

의의

본 논문은 OSMF가 광고 이미지 생성 분야에서 "원 사이즈 피츠 올" 패러다임으로부터의 중대한 전환을 나타낸다고 주장합니다. 다양한 그룹별 선호도를 동적으로 정렬하는 프레임워크를 도입함으로써, 일반적인 광고 생성의 상업적 비효율성을 해결합니다. 저자들은 미미한 CTR 향상이라도 대규모 이커머스에서는 상당한 수익 증대로 이어진다는 점을 강조합니다. 또한, GAIP 데이터셋의 공개는 대규모 실세계 그룹 선호도 데이터의 부재라는 중요한 공백을 메우며, 향후 그룹 인식 이미지 생성 연구를 위한 기초 자원이 될 것입니다. 이 연구는 그룹별 최적화를 통해 개인화와 확장성의 균형을 맞추는 것이 산업 규모의 광고에서 실행 가능하고 효과적인 경로임을 입증합니다.