Not All Candidates are Created Equal: A Heterogeneity-Aware Approach to Pre-ranking in Recommender Systems

이 논문은 추천 시스템의 프리랭킹 단계에서 발생하는 이질적인 샘플 간의 경계 충돌과 비효율적인 계산 자원 할당 문제를 해결하기 위해, 손쉬운 샘플과 어려운 샘플을 분리하여 각각에 최적화된 경로를 제공하고 계산 예산을 적응적으로 할당하는 '이질성 인식 적응형 프리랭킹 (HAP)' 프레임워크를 제안하고 Toutiao 생산 환경에서 검증한 결과를 제시합니다.

핵심

모든 후보가 똑같은 건 아닙니다: 추천 시스템의 '스마트 필터링' 혁명

이 논문은 티토우 (Toutiao, 중국 뉴스 앱) 와 같은 거대한 추천 시스템이 어떻게 수억 개의 콘텐츠 중에서 사용자에게 딱 맞는 것을 찾아내는지, 그리고 그 과정에서 겪는 '혼란'을 어떻게 해결했는지에 대한 이야기입니다.

비유하자면, 이 시스템은 수백만 명의 지원자 (후보 콘텐츠) 가 지원한 거대한 채용 면접과 같습니다.

---

1. 문제: "모든 지원자를 똑같이 대우하면 안 됩니다"

기존의 추천 시스템은 두 가지 큰 실수를 저지르고 있었습니다.

① "어려운 면접관"과 "쉬운 면접관"을 섞어서 혼란을 빚음

• 상황: 시스템은 수천 개의 콘텐츠를 한 번에 검토합니다. 그중에는 "이건 확실히 싫어할 거야"라는 쉬운 거절 (Easy Negatives) 과, "이건 좋아할 수도 있고 싫어할 수도 있어"라는 어려운 판단 (Hard Negatives) 이 섞여 있습니다.
• 문제: 기존 방식은 이들을 모두 한锅 (한 냄비) 에 넣고 섞어서 학습시켰습니다. 마치 어려운 수학 문제를 풀어야 하는 수험생에게, 아주 쉬운 1+1 문제도 함께 풀게 하면서 "정답은 1+1 이야!"라고 소리치는 것과 같습니다.
• 결과: 시스템은 "어려운 문제"에 너무 많은 에너지를 쏟느라 "쉬운 문제"를 무시하게 되었고, 오히려 전체적인 판단력이 흐려졌습니다. (논문에서는 이를 기울기 충돌 (Gradient Conflict) 이라고 부릅니다.)

② "모든 지원자에게 슈퍼 면접관을 투입함"

• 상황: 모든 콘텐츠를 판단할 때, 가장 똑똑하고 비싼 '슈퍼 면접관 (무거운 AI 모델)'을 모두에게 보냈습니다.
• 문제: "이건 확실히 싫어할 거야"라는 쉬운 지원자에게도 슈퍼 면접관의 시간을 낭비한 것입니다. 초등학교 입시 문제를 풀기 위해 노벨상 수상자를 데려온 격입니다.
• 결과: 비용은 엄청나게 들었는데, 성능 향상은 미미했습니다.

---

2. 해결책: HAP (스마트 2 단계 채용 시스템)

저자들은 이 문제를 해결하기 위해 HAP(Heterogeneity-Aware Adaptive Pre-ranking) 라는 새로운 시스템을 만들었습니다. 이는 두 가지 핵심 전략을 사용합니다.

전략 1: "난이도별 그룹 나누기" (Gradient-Harmonized Contrastive Learning)

• 비유: 면접을 볼 때, 지원자들을 어려운 그룹과 쉬운 그룹으로 나누어 따로 평가합니다.
• 작동 원리:
  • 어려운 그룹: "이거 맞을까? 아닐까?" 고민이 되는 콘텐츠들은 별도의 심층 분석을 받습니다.
  • 쉬운 그룹: "아, 이건 확실히 싫어할 거야"라는 콘텐츠들은 간단한 체크만 받습니다.
  • 효과: 두 그룹이 서로의 평가 기준을 방해하지 않게 되어, 시스템이 훨씬 더 정확하게 학습합니다.

전략 2: "스마트한 면접관 배치" (Difficulty-Aware Model Routing)

• 비유: 1 단계 (간이 면접) 와 2 단계 (본 면접) 로 나누는 것입니다.
  • 1 단계 (가벼운 면접관): 모든 지원자를 빠르게 훑어봅니다. "아, 이건 확실히 아니야"라고 판단되면 바로 탈락시킵니다. (비용 절감)
  • 2 단계 (슈퍼 면접관): 1 단계에서 살아남은, 판단이 애매한 어려운 지원자들만 뽑아내어 진짜 똑똑한 면접관에게 심층 평가를 시킵니다.
• 효과: 똑똑한 면접관 (고성능 AI) 은 오직 가장 중요한 어려운 경우에만 투입되므로, 전체 시스템은 더 빠르고 저렴해졌으면서도 정확도는 오히려 올라갔습니다.

---

3. 실제 성과: "돈도 아끼고, 효과도 쑥쑥"

이 시스템을 티토우 (Toutiao) 라는 거대한 뉴스 앱에 적용한 결과는 놀라웠습니다.

• 사용자 체류 시간: 사용자가 앱을 보는 시간이 0.4% 증가했습니다. (수억 명의 사용자라면 엄청난 숫자입니다!)
• 활성 사용자: 매일 앱을 켜는 사람이 0.05% 늘어났습니다.
• 비용: 컴퓨터 자원 (CPU) 사용량은 6% 줄었습니다.
• 지속성: 이 시스템은 이미 9 개월 동안 실제 서비스에서 성공적으로 운영 중입니다.

4. 결론: "맞춤형이 최고다"

이 논문의 핵심 메시지는 "모든 것을 똑같이 대우하지 마라" 입니다.

• 쉬운 것은 가볍게 처리하고,
• 어려운 것에만 집중적으로 에너지를 쏟는 스마트한 분업 시스템이 만들어졌습니다.

마치 병원에서 가벼운 감기 환자는 일반 진료실에서 빠르게 처리하고, 중환자만 전문의가 정밀하게 치료하는 것과 같습니다. 이 '스마트한 분업' 덕분에 추천 시스템은 더 똑똑해지고, 더 빠르며, 더 저렴해졌습니다.

또한, 저자들은 이 연구를 위해 대규모 데이터셋 (ToutiaoRec) 을 공개하여, 전 세계 연구자들이 이 '난이도별 학습' 방식을 더 발전시킬 수 있도록 도왔습니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 추천 시스템은 일반적으로 검색 (Retrieval) → 프리랭킹 (Pre-ranking) → 랭킹 (Ranking) → 재랭킹 (Re-ranking) 의 다단계 파이프라인을 따릅니다. 프리랭킹 단계는 검색된 수천 개의 항목을 수백 개로 필터링하여 랭킹 단계로 전달하는 역할을 합니다.

이 단계에서 발생하는 주요 문제는 **후보 항목의 이질성 (Candidate Heterogeneity)**입니다.

• 데이터의 다양성: 프리랭킹 모델은 노출된 긍정/부정 샘플, 랭킹 단계의 부정 샘플, 프리랭킹 단계의 부정 샘플, 무작위 부정 샘플 등 다양한 난이도의 샘플로 학습됩니다.
• 경쟁적 학습 신호 (Gradient Conflicts):
  • 어려운 샘플 (Hard Samples): 긍정과 유사한 부정 샘플 (예: 노출되었지만 클릭되지 않은 항목) 은 큰 그래디언트를 생성하여 학습을 지배합니다.
  • 쉬운 샘플 (Easy Samples): 명확하게 부정인 샘플 (예: 무작위 추출된 항목) 은 작은 그래디언트를 생성하여 학습이 소홀해집니다.
  • 결과: 기존 방법들은 이질적인 샘플을 무작위로 혼합하여 학습하므로, 어려운 샘플이 학습을 장악하여 모델이 노이즈에 과적합되거나 수렴이 불안정해지는 **그래디언트 충돌 (Gradient Conflicts)**이 발생합니다.
• 비효율적인 모델 확장: 모든 후보 항목에 대해 동일한 복잡한 모델을 사용하는 것은 쉬운 항목에 대한 불필요한 계산 비용을 초래하며, 전체적인 시스템 효율성을 떨어뜨립니다.

2. 방법론 (Methodology: HAP Framework)

저자들은 HAP라는 통합 프레임워크를 제안하여 두 가지 핵심 문제 (최적화 충돌 및 계산 비효율성) 를 해결합니다.

2.1. 그래디언트 조화 대비 학습 (Gradient-Harmonized Contrastive Learning, GHCL)

이질적인 부정 샘플 간의 그래디언트 충돌을 완화하기 위해 제안된 손실 함수입니다.

• 기존 문제: InfoNCE 와 같은 대비 학습 (Contrastive Learning) 손실 함수는 모든 부정 샘플을 하나의 분모에 포함시켜, 점수가 높은 (어려운) 부정 샘플이 다른 샘플의 그래디언트를 억제하게 만듭니다.
• GHCL 의 접근:
  • 부정 샘플을 **어려운 그룹 (Hard Negatives: 노출된 부정, 랭킹 부정)**과 **쉬운 그룹 (Easy Negatives: 프리랭킹 부정, 무작위 부정)**으로 분리합니다.
  • 각 그룹 내에서 독립적인 InfoNCE 손실을 계산하여, 그룹 간의 그래디언트 결합 (Coupling) 을 제거합니다.
  • 이를 통해 어려운 샘플이 학습을 독점하는 것을 방지하고, 쉬운 샘플도 적절히 학습되도록 **그래디언트 크기를 조화 (Harmonize)**시킵니다.

2.2. 난이도 인식 모델 라우팅 (Difficulty-Aware Model Routing, DAMR)

모든 후보 항목에 동일한 모델 복잡도를 적용하는 비효율성을 해결하기 위한 두 단계 아키텍처입니다.

• 1 단계 (Lightweight Model): 경량 모델이 검색된 모든 후보 항목을 처리합니다. 이 모델은 GHCL 을 통해 학습되며, 명확하게 관련 없는 (쉬운) 부정 항목들을 효율적으로 필터링합니다.
• 2 단계 (Expressive Model): 1 단계에서 통과한 후보 항목들 (주로 어려운 샘플) 만을 더 복잡한 표현력 있는 모델 (Expressive Model) 에 전달합니다. 이 모델은 주로 어려운 부정 샘플 (Hard Negatives) 에만 집중하여 학습되므로, 미세한 긍정/부정 구분을 더 정확하게 수행할 수 있습니다.
• 효과: 쉬운 항목은 저비용으로 처리하고, 어려운 항목에만 고비용 자원을 할당하여 전체적인 계산 비용 (FLOPs) 을 줄이면서도 정확도를 유지합니다.

2.3. 온라인 배포 및 샘플 엔지니어링

• 2 단계 프리랭킹 아키텍처: 기존 단일 단계 구조를 2 단계 캐스케이드 구조로 재설계하여 HAP 를 적용했습니다.
• 효율적인 데이터 수집: 사용자 요청당 모든 특징을 공유 참조 (Shared Feature Reference) 하여 저장 공간을 60% 이상 절감하고, 지연된 피드백을 비동기적으로 수집하여 레이블의 완전성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 이론적 기반을 갖춘 이질성 인식 프리랭킹 프레임워크: 샘플 구성과 그래디언트 충돌에 대한 이론적/실증적 연구를 바탕으로, 추천 효과와 계산 효율성 사이의 균형을 달성하는 통합 프레임워크를 제안했습니다.
2. 대규모 오픈 멀티스테이지 데이터셋 (ToutiaoRec):
   • 검색, 프리랭킹, 랭킹, 재랭킹 전 단계의 데이터를 포함하는 7 천만 건 이상의 사용자 요청 (3 억 1 천만 건의 샘플) 을 공개했습니다.
   • 노출된 항목, 다양한 난이도의 부정 샘플, 랭킹 정보 등을 포함하여 재현 가능한 연구와 차세대 프리랭킹 연구의 기반을 마련했습니다.
3. 실무적 성과 (Practical Gains):
   • Toutiao 생산 환경에 9 개월간 배포되어 사용자 앱 사용 시간 (Duration) 0.4% 증가, 활성 일수 (Active Days) 0.05% 증가, CTR 3.0% 향상을 달성했습니다.
   • 성능 향상과 동시에 온라인 서비스 비용 (CPU 사용량) 을 6% 절감하여 비용 효율성을 입증했습니다.

4. 실험 결과 (Results)

• 오프라인 성능 (AUC):
  • HAP 는 기존 SOTA 모델 (DSSM, COLD, COPR, HCCP 등) 보다 모든 테스트 세트 (어려운 샘플, 쉬운 샘플, 전체) 에서 더 높은 AUC 를 기록했습니다.
  • 특히 어려운 샘플 (THard) 에 대한 성능 향상이 두드러졌습니다.
• Ablation Study:
  • GHCL 제거 시: 모든 테스트 세트에서 AUC 가 유의미하게 감소하여 그래디언트 조화의 중요성을 입증했습니다.
  • DAMR 제거 시 (Unified Large Model): 단일 대형 모델을 사용하는 경우, 쉬운 샘플에 대한 불필요한 계산 비용이 발생하여 전체 서비스 비용이 증가하고 지연 시간 (Latency) 이 늘어났습니다. 반면 HAP 는 비용은 줄이면서 오히려 어려운 샘플에 대한 성능은 더 높였습니다.
• 온라인 A/B 테스트:
  • 게이트 임계값 (Routing Threshold) 을 최적화하여, 경량 모델에서 통과한 상위 30% 의 후보만 정교한 모델로 전달하는 설정이 CTR 증가와 지연 시간 증가 사이의 최적 균형을 이루었습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 산업용 추천 시스템에서 데이터의 이질성이 최적화 과정에 미치는 부정적 영향을 체계적으로 분석하고 해결했습니다.

• 기술적 의의: 단순히 모델을 키우는 것이 아니라, 데이터의 난이도에 따라 모델 복잡도를 동적으로 할당하고 그래디언트 충돌을 완화하는 새로운 패러다임을 제시했습니다.
• 실무적 의의: 계산 비용을 줄이면서 성능을 향상시킬 수 있는 구체적인 아키텍처 (2 단계 캐스케이드) 와 학습 전략 (GHCL) 을 제공하여, 대규모 추천 시스템의 확장성 (Scalability) 과 효율성을 동시에 확보하는 실용적인 솔루션을 제시했습니다.
• 데이터 공유: ToutiaoRec 데이터셋을 공개함으로써, 추후 프리랭킹 및 멀티스테이지 추천 연구의 표준 벤치마크를 제공했습니다.

결론적으로, HAP 는 "모든 후보가 동등하게 생성된 것은 아니다 (Not All Candidates are Created Equal)"는 통찰을 바탕으로, 적재적소에 자원을 배분하고 학습 신호를 조율함으로써 추천 시스템의 성능과 효율성을 극대화한 성공적인 사례입니다.