당신이 수천 명의 사람들이 끊임없이 공연하고, 대화하고, 이야기를 나누는 거대하고 북적이는 디지털 광장을 걷고 있다고 상상해 보세요. 이곳은 라이브 스트리밍의 세계이며, 실시간으로 마법이 일어나는 곳입니다. 하지만 이 광장을 운영하는 사람들에게는 까다로운 퍼즐이 하나 있습니다. 바로 어떤 공연자를 어떤 방문자에게 보여줄지 결정하는 것입니다. 이것이 바로 '추천 시스템'의 역할로, 당신이 다음에 무엇을 사랑하게 될지 추측하는 디지털 매치메이커(중매쟁이)입니다.

과거에 이 매치메이커들은 당신이 지금 당장 집어 든 책에만 관심을 두는 열정적인 사서와 같았습니다. 하지만 라이브 스트리밍에서 이야기는 더 복잡합니다. 때때로 시청자는 스트리머를 몇 분 동안 시청하고, 채팅을 조금 나누다가 떠나기도 합니다. 그들은 며칠 동안 돌아오지 않을 수도 있고, 혹은 갑자기 몇 주 후에 구독을 하거나 후원을 결정할 수도 있습니다. 이러한 행동들은 땅에 심어진 씨앗과 같습니다. 그것들은 즉시 싹을 틔우지 않습니다. 만약 매치메이커가 단지 다음 5분 동안 일어나는 일만 본다면, 나중에 자라날 씨앗들을 놓치게 됩니다. 게다가 광장에는 다양한 유형의 사람들이 있습니다. 어떤 이들은 그저 짧은 쇼를 보고 싶어 하는 새로운 관광객이고, 다른 이들은 공연자와 깊은 유대감을 쌓고 싶어 하는 단골손님입니다. 모든 사람을 똑같이 대하는 것은 종종 좋지 않은 추천으로 이어집니다. 이 논문은 즉각적인 흥미와 장기적인 관계의 성장을 모두 이해하는 더 똑똑한 매치메이커를 구축하는 방법을 탐구합니다.

과제: "기다림의 문제" (The "Wait-and-See" Problem)

Twitch에서 근무하는 이 논문의 저자들은 독특한 골칫거리에 직면했습니다. 온라인 쇼핑에서는 제품을 클릭하고 구매하지 않는다면 아마 나중에도 구매하지 않을 가능성이 높습니다. 하지만 라이브 스트리밍에서는 시청자가 채널을 클릭하고 잠시 시청한 뒤, 3일 후에 다시 돌아와 스트리머를 팔로우하거나 심지어 구독 결제를 할 수도 있습니다.

문제는 이러한 "중요한" 행동(팔로우나 결제 등)은 드물게 일어나며 천천히 발생한다는 점입니다. 만약 컴퓨터가 이를 즉시 학습하려고 시도한다면, 대부분 "아니오"라는 답변만을 보게 되어 시스템이 혼란에 빠지게 됩니다. 이는 마치 케이크를 굽는 과정을 처음 5분만 보고 케이크 만드는 법을 배우려는 것과 같습니다. 그러면 케이크가 실제로 맛있게 완성되었는지 결코 알 수 없을 것입니다. 또한, 시스템은 편향되는 경향이 있었습니다. '슈퍼 팬'(채팅을 많이 하고 돈을 많이 쓰는 사람들)이 엄청난 양의 데이터를 생성하기 때문에, 컴퓨터는 그들을 만족시키는 데 너무 치중한 나머지, 그저 가볍게 발을 담그고 싶어 하는 새로운 일반 시청자들을 잊어버리는 법을 배우게 되었습니다.

해결책: 3단계 전략

이를 해결하기 위해 팀은 전문 탐정 팀처럼 작동하는 세 가지 영리한 트릭을 갖춘 새로운 랭킹 시스템을 구축했습니다.

1. 시간 여행 윈도우 (지연된 신호)
첫째, 그들은 시청자의 관심도를 너무 빨리 판단하는 것을 멈춰야 한다는 것을 깨달았습니다. "지금 당장 좋아하는가?"라고 묻는 대신, "앞으로 2주 동안 좋아하는가?"라고 물었습니다. 그들은 14일간의 "지연 윈도우(delayed window)"를 만들었습니다. 만약 시청자가 채널을 클릭한 후 2주 이내에 채팅을 하거나, 팔로우하거나, 돈을 쓴다면 시스템은 이를 "예"로 카운트했습니다. 이를 통해 드물고 흩어져 있는 이벤트들을 더 명확한 그림으로 바꾸어, 컴퓨터가 느린 반응 또한 여전히 긍정적인 반응일 수 있음을 이해하도록 도왔습니다.

2. 두 팀의 접근 방식 (신선함 vs 지연됨)
다음으로, 그들은 모든 행동이 동일하지 않다는 것을 깨달았습니다. 클릭이나 몇 분간의 시청 같은 것들은 즉각적으로 일어납니다. 반면 팔로우나 결제 같은 것들은 시간이 걸립니다. 그래서 그들은 업무를 나누었습니다.

• 팀 프레시 (FSM): 이 팀은 즉각적인 반응에 집중합니다. 이들은 시청자가 몇 분 동안 머무를지 예측하기 위해 시청자가 지금 당장 무엇을 하고 있는지 살펴봅니다.
• 팀 딜레이드 (DSM): 이 팀은 장기적인 관점을 봅니다. 이들은 14일간의 윈도우를 사용하여 시청자가 결국 팔로우를 하거나 돈을 쓸지를 예측합니다.
  두 개의 별도 팀을 둠으로써 시스템은 혼란을 겪지 않습니다. 단순한 "클릭"과 깊은 "구독"을 혼동하지 않는 것입니다.

3. 개인 맞춤형 코치 (세그먼트 인지 타겟팅)
마지막으로, 그들은 새로운 시청자와 슈퍼 팬에게 필요한 것이 서로 다르다는 점을 발견했습니다. 새로운 시청자에게는 계속 돌아오게 만들 수 있는 흥미롭고 짧은 콘텐츠가 필요합니다. 반면 열성 팬은 더 깊은 연결을 원하며 경제적으로 스트리머를 지원할 준비가 되어 있을 수 있습니다.
이제 시스템은 플레이어의 수준을 아는 코치처럼 행동합니다. 새로운 시청자에게는 시청과 채팅을 유도하는 것을 우선시합니다. 열성 팬에게는 그들이 지원하고 싶어 할 만한 채널을 찾는 것을 우선시합니다. 시스템은 각 그룹을 위해 완전히 새로운 시스템을 구축할 필요 없이, 시청자가 누구인지에 따라 추천의 "점수"를 조정함으로써 이를 수행합니다.

핵심 비결: MMoE

이 모든 것을 컴퓨터 속도를 늦추지 않고 수행하기 위해, 그들은 **Multi-gate Mixture-of-Experts (MMoE)**라고 불리는 스마트한 아키텍처를 사용했습니다. 이를 헤드 셰프와 여러 명의 전문 수셰프(부주방장)가 있는 레스토랑이라고 상상해 보세요.

• 한 수셰프는 "빠른 에피타이저"(즉각적인 클릭)의 전문가입니다.
• 다른 수셰프들은 "복잡한 메인 요리"(깊은 참여와 결제)의 전문가입니다.
  "게이트(Gate)"는 특정 고객을 위해 어떤 셰프의 조언을 들을지 결정하는 웨이터입니다. 이를 통해 시스템은 이 모든 서로 다른 목표들을 동시에 학습하면서도 수학적 효율성을 유지할 수 있었습니다. 실제로 이 방법을 사용함으로써, 모든 것에 대해 별도의 모델을 실행할 때보다 컴퓨터 파라미터(모델의 "뇌 세포")를 41.9% 줄이면서도 더 나은 결과를 얻었습니다.

결과: 모두를 위한 승리

팀은 수백만 명의 실제 사용자를 대상으로 이 새로운 시스템을 테스트했습니다. 결과는 유망했습니다:

• 시청자 증가: 일일 활성 시청자 수(DAV)가 0.09% 증가했습니다. 수치가 작아 보일 수 있지만, 수백만 명의 사용자가 있는 세상에서 이는 매년 수백만 건의 추가적인 "시청 일수"를 의미합니다.
• 행복한 팬들: 열성 팬들의 "캡(cap) 적용 사용자당 평균 매출(ARPU)"이 0.56% 증가했습니다. 이는 가장 몰입도가 높은 사용자들이 좋아하는 스트리머를 지원하기 위해 조금 더 많은 금액을 지출했음을 의미합니다.
• 새로운 친구들: 시스템은 새로운 시청자들이 계속 머무를 수 있도록 도와 그들의 참여도를 0.15% 높였습니다.
• 더 많은 팔로우: 새로운 채널 팔로우 수가 0.27% 증가했습니다.

더욱이, 시스템은 빨랐습니다. 이 복잡한 결정들을 110밀리초 미만(눈 깜빡임보다 빠른 속도)에 수행할 수 있었으며, 이는 똑똑하면서도 신속할 수 있다는 것을 증명했습니다. 모바일 앱에서도 테스트를 진행한 결과, 클릭이나 좋아요와 같은 긍정적인 상호작관이 1.12% 증가했습니다.

하지 않은 것들

저자들은 무엇이 효과가 없었는지도 주의 깊게 기록했습니다. 그들은 새로운 시청자의 데이터에 더 많은 가중치를 부여하여(즉, 컴퓨터에게 새로운 사용자들에 대해 더 크게 소리치는 방식) 새로운 시청자에 대한 편향을 해결하려 했으나, 이는 도움이 되지 않았고 오히려 복잡하게만 만들었습니다. 대신, 그들은 모델이 훈련된 후(추천하는 순간에) 가중치를 조정하는 것이 핵심임을 발견했습니다. 또한, 모든 목표를 하나의 거대한 모델에 넣으려고 하면 즉각적인 참여를 예측하는 능력이 떨어진다는 것을 발견했는데, 이는 "신선한(fresh)" 신호와 "지연된(delayed)" 신호를 분리하는 것이 중요하다는 것을 입증했습니다.

요약하자면, 이 논문은 라이브 스트리밍 추천 시스템을 훌륭하게 구축하려면 씨앗이 자랄 때까지 기다릴 줄 아는 인내심, 새로운 팬과 기존 팬을 다르게 대하는 영리함, 그리고 이 모든 것을 눈 깜빡할 사이에 해내는 효율성이 필요하다는 것을 보여줍니다.