Trinity: A Scenario-Aware Recommendation Framework for Large-Scale Cold-Start Users

이 논문은 새로운 시나리오에서의 대규모 콜드스타트 사용자 문제를 해결하기 위해 특징 공학, 모델 아키텍처, 안정적인 모델 업데이트를 통합한 'Trinity' 프레임워크를 제안하고, 이를 마이크로소프트의 10 억 명 사용자 제품 전환 사례에 적용하여 오프라인 및 온라인 실험을 통해 검증했습니다.

핵심

🌟 트리니티 (Trinity): 새로운 세상에서 낯선 사용자를 위한 '초능력 추천 시스템'

안녕하세요! 이 논문은 마이크로소프트의 거대한 웹 서비스 (MSN) 가 완전히 새로운 디자인과 기능으로 바뀔 때 겪었던 어려움을 해결한 흥미로운 이야기를 담고 있습니다.

이 복잡한 기술 논문을 일반인도 쉽게 이해할 수 있는 비유로 설명해 드릴게요.

---

🎬 배경: 낯선 도시로 이사 간 상황

상상해 보세요. 여러분이 오랫동안 살던 **친숙한 동네 (기존 MSN 서비스)**에서, 갑자기 완전히 새로운 **미래 도시 (새로운 Copilot 스타일 서비스)**로 이사했다고 칩시다.

• 문제점: 새로운 도시에는 길거리 간판도 다르고, 가게 이름도 다릅니다. 게다가 여러분은 이 도시의 '초보 여행자 (콜드 스타트 사용자)'입니다.
• 기존 시스템의 실패: 예전 동네에서 배운 길 찾기 지식만으로는 새로운 도시에서 길을 잃기 쉽습니다. "이 가게는 예전에도 좋았으니 여기로 가자!"라고 생각했는데, 여기는 아예 없는 가게일 수도 있죠.
• 결과: 새로운 시스템은 사용자를 제대로 이해하지 못해, 엉뚱한 것을 추천하거나 아예 추천을 안 해주는 '무기력한 상태'에 빠졌습니다.

이때 등장한 해결사가 바로 **<트리니티 (Trinity)>**입니다.

---

🛠️ 트리니티의 3 가지 초능력 (핵심 아이디어)

트리니티는 단순히 "더 똑똑한 알고리즘"을 만든 게 아니라, 세 가지 다른 관점에서 문제를 해결했습니다.

1. 🕵️‍♂️ 특징 공학: "모든 흔적을 수집하는 탐정"

• 기존 방식: "이 사용자가 '뉴스'를 클릭했으니, '뉴스'만 추천해라." (너무 좁은 시야)
• 트리니티의 방식: "이 사용자가 '뉴스'를 클릭했을 뿐만 아니라, '날씨'를 봤고, '동영상'도 봤어. 이 모든 행동을 종합해서 이 사람의 성격을 파악하자!"
• 비유: 새로운 도시에서 길을 찾을 때, '이 가게'만 보는 게 아니라 '이 동네 전체의 분위기', '다른 가게들의 위치'까지 모두 기억해 두는 만능 탐정이 된 것입니다. 낯선 사용자에게는 '자신의 행동'보다 '다른 모든 콘텐츠에 대한 반응'이 더 큰 단서가 됩니다.

2. 🏗️ 모델 아키텍처: "상황을 아는 지능형 안내원"

• 문제: 예전 동네 (기존 서비스) 에서 배운 지식이 너무 강해서, 새로운 도시 (새 서비스) 의 특수성을 무시하고 옛날 방식을 고집합니다.
• 트리니티의 해결책:
  • 상황 인식 추출기: "지금 우리가 'Copilot'이라는 새로운 공간에 있구나. 옛날 방식은 잠시 잊고, 이 공간에 맞는 신호를 강화하자!"
  • 사용자 프로필 어댑터: "이 사용자는 예전에는 A 를 좋아했지만, 지금은 B 공간에 있으니 B 에 맞게 추천을 수정해야 해."
• 비유: 마치 유능한 가이드가 "여기는 예전과 달라요. 옛날 지도는 버리고, 지금 이 길에 맞는 새로운 지도를 펼쳐보세요"라고 말해주며, 사용자의 취향을 새로운 상황에 맞춰 **재조정 (Calibration)**해 주는 것입니다.

3. 🛡️ 안정적 업데이트: "조급하지 않은 운전사"

• 문제: 새로운 도시에서는 사람들의 행동이 매우 불안정합니다. "오늘은 이걸 클릭했다가, 내일은 저걸 클릭했다가" 하며 변덕을 부리죠. 이런 변덕스러운 데이터로 매일 모델을 업데이트하면, 모델이 미친 듯이 흔들려서 (Jitter) 오히려 엉망이 됩니다.
• 트리니티의 해결책: "오늘의 데이터가 정말 좋다면 업데이트하고, 아니면 아직도 예전 버전 (안정된 버전) 을 유지하자."
• 비유: 차를 운전할 때, 길바닥이 미끄러우면 갑자기 핸들을 꺾지 않고 천천히, 안정적으로 운전하는 숙련된 운전사처럼 행동합니다. "오늘 데이터가 너무 불안정하네? 그냥 어제까지 잘 작동하던 상태로 유지하는 게 낫겠다"라고 판단해서 시스템이 무너지는 것을 막습니다.

---

📊 결과: 얼마나 성공했을까?

이 세 가지 초능력을 합친 트리니티는 놀라운 성과를 냈습니다.

1. 오프라인 실험 (시험지 풀기):

   • 기존 시스템은 새로운 도시에서 50% 만 맞히는 (무작위 추측 수준) 상태였는데, 트리니티는 70% 이상의 정확도를 달성했습니다.
   • 특히 "추천한 것과 실제 클릭한 것의 비율"이 거의 1:1 로 맞춰져서, 사용자에게 정확한 예측을 제공했습니다.

2. 온라인 A/B 테스트 (실전 적용):

   • 실제 마이크로소프트 사용자들에게 적용했을 때, 사용자들이 머무는 시간 (Time Spent) 이 5.6% 증가했고, 매일 접속하는 사용자 수 (iDAU) 가 3% 증가했습니다.
   • 이는 지난 6 개월 동안 새로운 제품 업데이트 중 가장 큰 성공이었습니다.
   • 속도는 거의 느려지지 않았고 (10ms 증가), 저장 공간도 조금만 늘었습니다.

---

💡 결론: 왜 이 논문이 중요한가요?

이 논문은 **"새로운 서비스를 시작할 때, 낯선 사용자를 어떻게 대해야 하는가?"**에 대한 완벽한 해답을 제시합니다.

"단순히 알고리즘을 복잡하게 만드는 게 아니라, (1) 모든 정보를 모으고, (2) 상황에 맞게 유연하게 대처하며, (3) 너무 급하게 변하지 않도록 안정성을 지키는 것."

이 **3 가지 원칙 (트리니티)**을 지키면, 아무리 새로운 환경이라도 사용자를 잘 이해하고 만족시킬 수 있다는 것을 증명했습니다. 마치 낯선 도시로 이사 간 사람도, 훌륭한 가이드와 안정적인 나침반만 있다면 금방 그 도시의 주민이 될 수 있듯이요! 🌍✨

기술 요약

논문 요약: Trinity - 대규모 콜드스타트 사용자를 위한 상황 인식 추천 프레임워크

1. 문제 정의 (Problem)

기술 산업에서 제품 진화 (예: MSN 의 기존 스타일에서 Copilot 스타일로의 전환) 는 새로운 시나리오와 사용자 행동을 요구합니다. 그러나 이러한 전환 과정에서 발생하는 주요 기술적 도전 과제는 다음과 같습니다.

• 새로운 시나리오의 콜드스타트 문제: 새로운 제품 레이아웃 (Copilot 스타일) 에서는 기존 사용자들의 행동 데이터가 희소하며, 대부분이 새로운 사용자로 구성되어 있습니다.
• 데이터 불균형: 대부분의 학습 데이터는 기존 시나리오 (Classic 스타일) 에서 생성되지만, 새로운 시나리오는 데이터가 부족하여 모델이 기존 패턴에 편향되거나 성능이 급격히 저하됩니다.
• 모델 불안정성: 기존 추천 시스템은 일일/시간 단위 업데이트를 사용하는데, 새로운 시나리오의 불안정한 사용자 행동은 모델이 지역 최적점 (local optima) 에 갇히거나 온라인 성능이 점진적으로 악화되는 '모델 지터 (jitter)'를 유발합니다.
• 기존 방법의 한계: MMoE, PLE, PePNet 과 같은 기존 다중 시나리오 학습 방법들은 심한 샘플 불균형 상황에서 게이트 (gate) 메커니즘이 제대로 작동하지 않거나, 새로운 시나리오의 예측이 기존 시나리오 패턴에 편향되는 문제가 있습니다.

2. 제안 방법론: Trinity 프레임워크

저자들은 특징 공학 (Feature Engineering), 모델 아키텍처 (Model Architecture), 모델 업데이트 전략 (Model Updating) 의 세 가지 측면을 통합한 'Trinity' 프레임워크를 제안합니다.

2.1 특징 공학 (Feature Engineering)

• 전체 콘텐츠 기반 행동 특징: 기존 방법은 타겟 아이템과 관련된 행동만 사용하지만, 콜드스타트 상황에서는 이러한 신호가 희소합니다. Trinity 는 모든 콘텐츠 (Card Type) 에 대한 사용자 상호작용을 포착합니다.
• 통계적 행동 텐서: 사용자의 행동을 시간 (1h, 1d, 7d, 30d), 시나리오 (classic, copilot, all), 카드 유형 (뉴스, 금융, Copilot 콘텐츠 등), 행동 유형 (조회, 클릭) 의 4 차원 텐서로 구성합니다. 이를 통해 새 사용자도 기존 사용자와 동일한 고정된 특징 공간에서 학습할 수 있게 합니다.

2.2 모델 아키텍처 (Model Architecture)
모델은 두 가지 핵심 모듈로 구성됩니다 (그림 2 참조):

• 시나리오 지식 추출기 (Scenario Knowledge Extractor):
  • 밀집된 (dense) 상호작용 통계를 희소 임베딩으로 변환하기 위해 Batch Normalization을 적용한 후 이진화하여 데이터 분포에 적응하는 버킷을 생성합니다.
  • SENet (Squeeze-and-Excitation Network) 을 사용하여 특징 간 의존성을 모델링하고 차원을 축소하여 계산 효율성을 높입니다.
  • 게이트 메커니즘: 시나리오 및 카드 유형 임베딩을 사용하여 특징을 조절하며, 시그모이드 출력을 2 배로 스케일링하여 신호가 약화되지 않도록 합니다.
• 사용자 프로필 어댑터 (User Profile Adapter):
  • 기존 시나리오 (Classic) 데이터가 지배적이어서 발생하는 편향을 보정합니다.
  • PPNet 에서 영감을 받아 사용자 프로필, 카드 유형, 시나리오 임베딩을 집계하여 공유 표현층의 출력을 재보정 (recalibrate) 합니다. 이는 모든 시나리오에서 일관된 행동 의미를 유지하고 예측 점수의 보정 (Calibration) 을 보장합니다.

2.3 안정성 인식 모델 업데이트 (Stability-Aware Model Updating)

• 동적 체크포인트 업데이트: 새로운 시나리오의 불안정한 데이터로 인해 모델 성능이 저하되는 것을 방지하기 위해, 매일 새로운 모델을 학습한 후 배포 여부를 결정합니다.
• 선택 기준: 새로운 체크포인트는 다음 두 조건을 만족할 때만 배포됩니다.
  1. 전체 AUC가 향상되어야 함.
  2. 시나리오별 성능 일관성을 나타내는 COPC (Click Over Predicted Click) 편차가 허용 오차 ($\delta$) 이내여야 함.
• 이 전략은 모델이 새로운 데이터에 적응하면서도 불안정한 사용자 행동으로 인한 성능 붕괴를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 산업계 최초 대규모 적용: 10 억 명 규모의 사용자 기반을 가진 Microsoft 제품 (MSN) 의 제품 전환 (Classic $\to$ Copilot) 에 성공적으로 적용된 최초의 산업 사례를 문서화했습니다.
2. 통합 프레임워크 제안: 특징, 아키텍처, 업데이트 전략을 통합하여 콜드스타트와 시나리오 전환 문제를 종합적으로 해결합니다.
3. 새로운 특징 표현 방식: 타겟 아이템 중심이 아닌 '전체 콘텐츠 기반 행동 텐서'를 도입하여 콜드스타트 사용자의 선호도 패턴을 효과적으로 포착합니다.
4. 안정성 보장 메커니즘: COPC 기반의 동적 업데이트 전략을 통해 온라인 환경에서의 모델 안정성을 확보했습니다.

4. 실험 결과 (Results)

• 오프라인 평가 (Microsoft MSN Edge 홈피 시나리오):
  • Copilot 스타일 (콜드스타트 환경): 기존 모델 (PLE, PePNet) 은 AUC 가 0.56~0.58 수준으로 무작위 추측에 가까웠으나, Trinity 는 AUC 0.726을 달성했습니다.
  • COPC (보정 성능): 기존 모델은 COPC 가 0.12~0.13 으로 예측 클릭률이 실제보다 훨씬 낮았으나, Trinity 는 COPC 0.95로 실제와 예측이 매우 잘 일치했습니다.
  • Ablation Study: 전체 행동 특징을 사용하지 않거나 (Trinity_small), 안정성 체크를 제거하거나 (Trinity_w/o_check), PLE 백본을 사용할 경우 성능이 크게 저하되어 각 구성 요소의 중요성을 입증했습니다.
• 온라인 A/B 테스트:
  • 2025 년 8 월 19 일~23 일, 실제 사용자를 대상으로 한 대규모 테스트에서 체류 시간 (Time Spent) 5.61% 증가, iDAU 3.04% 증가를 기록했습니다.
  • 이는 최근 6 개월간 Copilot 스타일 제품 개선 중 가장 큰 성과였습니다.
  • 추론 지연 (Latency) 은 약 10ms 만 증가하여 전체 파이프라인 (약 300ms) 에 비해 무시할 수준이며, 특징 저장 공간은 약 20% 증가했습니다.

5. 의의 (Significance)

이 논문은 제품 진화 과정에서 발생하는 대규모 콜드스타트 사용자와 새로운 시나리오의 추천 문제를 해결하기 위한 실용적이고 효과적인 솔루션을 제시합니다. Trinity 프레임워크는 단순한 모델 구조 개선을 넘어, 특징 설계와 운영 전략 (업데이트 주기 및 검증) 을 통합함으로써 산업계에서 발생하는 복잡한 데이터 불균형 및 안정성 문제를 해결할 수 있음을 증명했습니다. 이는 향후 대규모 플랫폼의 제품 전환 및 다중 시나리오 추천 시스템 설계에 중요한 참고 자료가 될 것입니다.