Generative Recommendation for Large-Scale Advertising

이 논문은 Kuaishou 광고 시스템에 4.2% 의 광고 수익 향상과 함께 대규모 실시간 서비스를 가능하게 한 아키텍처, 학습, 서빙을 통합적으로 설계한 생성형 추천 시스템 'GR4AD'를 제안합니다.

핵심

쿠팡 (Kuaishou) 의 새로운 광고 비서: 'GR4AD' 이야기

이 논문은 거대한 동영상 플랫폼인 '쿠아쇼우 (Kuaishou)'가 어떻게 인공지능 (AI) 을 이용해 더 똑똑하고 빠른 광고를 보여줄 수 있게 되었는지 설명합니다.

기존의 광고 시스템은 마치 방대한 전화번호부를 뒤적이며 비슷한 이름의 사람을 찾는 방식 (DLRM) 이었다면, 이번에 소개된 GR4AD는 마치 유능한 개인 비서가 사용자의 취향을 완벽하게 이해하고, 즉시 가장 적합한 광고를 "창조"해 내는 방식입니다.

이 기술이 어떻게 작동하는지, 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: 왜 기존 방식으로는 부족했을까요?

기존의 AI 광고 시스템은 "이 사람은 이걸 좋아할 거야"라고 단순히 점수를 매기는 방식이었습니다. 하지만 광고는 단순히 '좋아하는 것'을 넘어 **어떤 광고가 돈을 더 벌게 해주는지 (비즈니스 가치)**를 실시간으로 판단해야 합니다.

또한, 수억 명의 사용자가 동시에 접속하는 상황에서, 매번 새로운 답변을 생성하는 생성형 AI 는 너무 느리고 비싸다는 문제가 있었습니다. 마치 고급 레스토랑 셰프가 한 명 한 명 주문을 받아 요리하듯 느릴 수 있다는 뜻이죠.

2. 해결책: GR4AD 의 4 가지 마법 도구

저자들은 이 문제를 해결하기 위해 GR4AD라는 시스템을 만들었습니다. 이 시스템은 네 가지 핵심 아이디어로 작동합니다.

① 광고의 '신분증' 만들기 (UA-SID)

• 비유: 기존에는 광고마다 '1 번, 2 번, 3 번' 같은 번호만 붙여놓았습니다. 하지만 GR4AD 는 각 광고에 **자세한 신분증 (Semantic ID)**을 발급합니다.
• 설명: 이 신분증에는 광고의 영상 내용, 상품 정보, 광고주의 특징까지 모두 담겨 있습니다. 마치 "이 광고는 '여름 휴가'를 좋아하는 '젊은 여성'에게 '스포츠 용품'을 파는 광고"라고 AI 가 완벽하게 이해할 수 있도록 코드를 만든 것입니다. 이렇게 하면 AI 는 광고의 내용을 깊이 있게 이해하고, 비슷한 취향의 사용자에게 더 정확하게 보여줄 수 있습니다.

② 'LazyAR': 똑똑하게 게으름 피우기 (Lazy Autoregressive Decoder)

• 비유: 우리가 글을 쓸 때, 첫 문장을 쓰는 데는 많은 고민이 필요하지만, 그 뒤의 문장은 첫 문장만 보고도 쉽게 이어 쓸 수 있죠.
• 설명: 기존 AI 는 문장 (광고 후보) 을 하나씩 만들 때마다 처음부터 끝까지 모든 과정을 다시 계산했습니다. 하지만 LazyAR는 "첫 문장 (가장 중요한 부분) 만은 꼼꼼하게 계산하고, 그 뒤의 문장들은 앞선 결과를 활용해 빠르게 이어간다"는 방식을 썼습니다.
• 효과: 마치 공장을 자동화하듯, 불필요한 계산을 줄여서 속도를 2 배나 높였지만, 광고의 품질은 떨어뜨리지 않았습니다.

③ '돈'을 아는 학습법 (VSL & RSPO)

• 비유: 학생이 시험을 볼 때, 단순히 '정답'을 외우는 것 (기존 학습) 과 '어떤 답이 더 높은 점수를 주는지'를 이해하는 것 (비즈니스 가치 학습) 은 다릅니다.
• 설명:
  • VSL: 사용자의 행동 (클릭, 구매 등) 을 보고 "이 사용자는 어떤 광고에 돈을 쓸 가능성이 높은가?"를 학습합니다.
  • RSPO: 단순히 한 개의 광고만 좋은 게 아니라, 광고 목록 전체가 사용자에게 얼마나 만족을 주는지, 그리고 플랫폼에 얼마나 많은 수익을 가져다주는지 고려하여 순위를 매깁니다.
  • 결과: AI 가 단순히 '인기 있는 광고'만 보여주는 게 아니라, 실제 수익을 극대화하는 광고 순서를 실시간으로 짜줍니다.

④ '교통 상황'에 따른 속도 조절 (Dynamic Beam Serving)

• 비유: 출근길에는 차가 많으니 빠르게 지나가고, 한밤중에는 차가 없으니 천천히 구경하며 가도 되죠.
• 설명: 사용자가 몰리는 시간 (피크 타임) 에는 계산 자원을 아껴서 빠르게 광고를 보여주고, 한밤중 (오프 피크) 에는 여유로운 자원을 활용해 더 많은 광고 후보를 찾아서 더 좋은 광고를 보여줍니다.
• 효과: 서버가 과부하가 걸리지 않으면서도, 시간대에 따라 최고의 광고를 골라냅니다.

---

3. 실제 성과: 얼마나 좋아졌나요?

이 시스템을 쿠아쇼우의 실제 광고에 적용한 결과 놀라운 변화가 있었습니다.

• 수익 증가: 기존 시스템보다 광고 수익이 최대 4.2% 증가했습니다. 이는 수억 명의 사용자가 매일 보는 광고에서 나오는 엄청난 금액입니다.
• 빠른 속도: 1 초당 500 개 이상의 광고 요청을 처리하면서도, 응답 시간은 100 밀리초 (0.1 초) 미만으로 유지됩니다. 사용자가 광고를 보는 순간, AI 는 이미 최고의 광고를 준비해 둔 상태입니다.
• 모두의 승리:
  • 사용자: 더 관심 있는 광고만 보게 되어 짜증이 줄었습니다.
  • 광고주: 중소형 광고주들의 광고 노출이 17.5% 늘었습니다.
  • 플랫폼: 수익이 크게 증가했습니다.

4. 결론: 미래는 '생성형'입니다

이 논문은 "인공지능이 단순히 데이터를 분류하는 것을 넘어, 새로운 광고를 창조하고 비즈니스 가치를 실시간으로 최적화하는 시대가 왔다"는 것을 보여줍니다.

GR4AD 는 마치 수억 명의 사용자를 위해 24 시간 내내 일하는 초고속, 초지능 광고 비서와 같습니다. 이 기술은 앞으로 더 많은 플랫폼에서 적용되어, 우리가 보는 광고가 더 유용하고 재미있어지도록 만들 것입니다.

기술 요약

논문 개요: GR4AD (광고용 생성형 추천 시스템)

이 논문은快手 (Kuaishou) 의 대규모 실시간 광고 시스템에 적용된 **GR4AD (Generative Recommendation for ADdvertising)**를 소개합니다. 기존 대규모 언어 모델 (LLM) 기반의 생성형 추천 기술을 광고 도메인에 직접 적용하는 것의 한계를 극복하고, 아키텍처, 학습, 서빙 (Serving) 전반을 광고 특성에 맞게 공동 설계 (Co-design) 한 생산 환경용 (Production-oriented) 시스템을 제안합니다.

1. 문제 정의 (Problem Statement)

대규모 광고 시스템에 실시간 생성형 추천을 도입할 때 발생하는 주요 세 가지 도전 과제가 있습니다.

1. 광고 토큰화 (Advertisement Tokenization) 의 복잡성:
   • 광고는 짧은 비디오 크리에이티브, 제품 상세 정보, B2B 광고주 메타데이터가 융합된 복잡한 정보를 포함합니다.
   • 기존 LLM 방식의 시맨틱 ID 는 이러한 비즈니스 신호 (전환 유형, 광고 계정 등) 를 효과적으로 포착하지 못하며, 멀티모달 및 다중 그레inar리티 (Multi-granularity) 특성을 통합하는 데 한계가 있습니다.
2. 학습 패러다임의 불일치 (Learning Paradigm):
   • 광고 추천은 개별 아이템 (Per-item) 의 정확도보다는 **리스트 차원의 순위 (List-wise ranking)**와 비즈니스 목표 (eCPM 등) 를 최적화해야 합니다.
   • 기존 LLM 학습 방식은 단일 항목에 대한 지도 학습 (Supervised Learning) 에 치중하여, 리스트 전체의 순위 품질이나 비즈니스 가치를 직접 최적화하지 못합니다.
3. 실시간 서빙 제약 (Real-Time Serving Constraints):
   • 광고 시스템은 고트래픽 환경에서 낮은 지연 시간 (Latency) 내에 여러 개의 고품질 후보를 생성해야 합니다.
   • 대화형 LLM 과 달리, 단일 응답 생성을 위한 긴 지연 시간은 허용되지 않으며, 기존 LLM 추론 최적화 기법만으로는 광고의 다중 후보 생성 요구사항을 충족하기 어렵습니다.

2. 방법론 (Methodology)

GR4AD 는 표현 (Representation), 학습 (Learning), 서빙 (Serving) 세 가지 측면에서 혁신적인 기법을 도입했습니다.

2.1. 통합 광고 시맨틱 ID (UA-SID)

• Unified Advertisement Embedding (UAE): 지시 미세 조정 (Instruction Tuning) 과 공발생 학습 (Co-occurrence Learning) 을 통해 LLM 을 광고 이해에 특화시킨 임베딩 모델을 구축했습니다. 이는 비디오, 제품, 광고주 정보를 통합하여 이해합니다.
• MGMR RQ-Kmeans Quantization:
  • Multi-Granularity-Multi-Resolution: 비시맨틱 비즈니스 정보 (전환 유형, 계정 ID 등) 를 처리하기 위해 마지막 레이어의 벡터 양자화를 해시 기반의 수치 매핑으로 대체했습니다.
  • 코드북 활용도 향상: 낮은 레벨에는 큰 코드북을, 높은 레벨에는 작은 코드북을 사용하는 다중 해상도 (Multi-Resolution) 방식을 도입하여 SID 충돌을 줄이고 코드북 활용도를 극대화했습니다.

2.2. Lazy Autoregressive Decoder (LazyAR)

• 문제: 생성형 추천에서 첫 번째 토큰 (가장 중요한 토큰) 은 학습이 어렵지만, 이후 토큰들은 상대적으로 쉽고 빔 서치 (Beam Search) 비용이 많이 듭니다.
• 해결:
  • Late-Inject Autoregression: 첫 $K$개의 디코더 레이어는 이전 토큰에 의존하지 않고 병렬로 계산한 후, 중간 레이어에서 이전 토큰 임베딩을 주입 (Inject) 하는 방식을 도입했습니다.
  • 효과: 빔 서치 시 순차적 의존성을 줄여 추론 속도를 높이지만, 가장 중요한 첫 단계의 학습 품질은 유지합니다. (MTP 스타일의 보조 손실 함수를 통해 잠재 표현을 풍부하게 함)

2.3. 가치 인식 학습 (Value-Aware Learning)

• VSL (Value-Aware Supervised Learning):
  • 사용자 행동과 광고 가치 (eCPM) 를 반영한 가중치를 적용한 지도 학습입니다.
  • eCPM 토큰을 예측 단계에 추가하여 비즈니스 가치를 직접 모델링합니다.
• RSPO (Ranking-Guided Softmax Preference Optimization):
  • 리스트 차원 강화 학습 (List-wise RL): 개별 항목이 아닌 전체 리스트의 순위 (NDCG) 를 최적화하는 강화 학습 알고리즘입니다.
  • Unified Learning: VSL(사용자 관심 분포 학습) 과 RSPO(가치 기반 최적화) 를 단일 학습 스트림으로 통합하여, 온라인 환경에서 지속적으로 모델을 업데이트합니다. 샘플별 정렬 점수 (Alignment Score) 를 기반으로 두 목표의 가중치를 동적으로 조절합니다.

2.4. 서빙 최적화 (Serving Optimizations)

• Dynamic Beam Serving (DBS):
  • Dynamic Beam Width (DBW): 단계별로 빔 너비를 점진적으로 증가시켜 초기 단계의 연산 부하를 줄입니다.
  • Traffic-Aware Adaptive Beam Search (TABS): 트래픽 피크/오프피크 시간에 따라 빔 크기를 동적으로 조절하여, 오프피크 시간에는 더 많은 탐색을 수행합니다.
• 기타: 결과 캐싱, Beam-Shared KV Caching, FP8 정밀도 사용 등을 통해 지연 시간을 최소화합니다.

3. 주요 성과 및 결과 (Results)

快手 (Kuaishou) 의 4 억 명 이상의 사용자를 대상으로 한 대규모 온라인 A/B 테스트를 통해 다음과 같은 성과를 입증했습니다.

• 수익 향상: 기존 DLRM 기반 스택 대비 최대 4.2% 의 광고 수익 증가를 기록했습니다.
• 확장성 (Scaling Laws):
  • 모델 스케일링: 파라미터 수 증가 (0.03B → 0.32B) 에 따라 수익이 지속적으로 증가 (2.13% → 4.43%) 했습니다.
  • 추론 스케일링: 빔 서치 너비 증가 (128 → 1024) 에 따라 수익이 개선되었습니다.
• 성능 지표:
  • 지연 시간: <100ms
  • 처리량: L20 GPU 당 500+ QPS
  • 광고주 혜택: 중소형 광고주의 광고 노출량 17.5% 증가.
  • 사용자 경험: 광고 전환율 10.17% 향상 (비활성 사용자 기준 7.28% 증가).

4. 의의 및 결론 (Significance)

이 논문은 생성형 추천이 대규모 광고 시스템에서 단순한 LLM 적용을 넘어, 도메인 특화적 (Recommendation-native) 인 설계가 필수적임을 보여줍니다.

1. 실용성 입증: 생성형 모델이 실시간 광고 환경의 엄격한 지연 시간과 비즈니스 목표 (수익) 를 동시에 만족할 수 있음을 증명했습니다.
2. 기술적 혁신: LazyAR 와 같은 새로운 아키텍처와 RSPO 와 같은 리스트 차원 강화 학습 알고리즘은 생성형 추천의 효율성과 효과성을 동시에 높이는 새로운 패러다임을 제시합니다.
3. 생태계 개선: 플랫폼, 광고주, 사용자 모두에게 이익을 주는 (Win-Win-Win) 건강한 광고 생태계 조성에 기여했습니다.

결론적으로 GR4AD 는 생성형 AI 를 산업 현장의 복잡한 제약 조건 하에서 성공적으로 배포한 선구적인 사례로, 향후 지속적인 학습 (Continual Learning) 과 비용 효율적인 추론 제어의 중요성을 강조합니다.