당신이 무엇을 보느냐에 따라 선반이 스스로 재배치되는 거대하고 끝없는 도서관을 걷고 있다고 상상해 보세요. 이곳은 핀터레스트(Pinterest), 틱톡(TikTok), 넷플릭스(Netflix)와 같은 앱 뒤에 숨겨진 보이지 않는 엔진, 즉 **추천 시스템(recommender systems)**의 세계입니다. 이들의 임무는 당신이 다음에 무엇을 좋아할지 추측하는 것입니다. 오랫동안 이 시스템들은 성급한 가이드와 같았습니다. 그들은 오직 지금 당장 당신이 전시물 하나를 멈춰 서서 보는 것에만 관심을 가졌습니다. 만약 당신이 사진 한 장을 클릭하면, 그들은 즉시 똑같은 사진 열 장을 더 보여주었습니다. 하지만 여기에는 문제가 있습니다. 사람들에게 이미 알고 있는 것만 계속 보여준다면, 사람들은 지루함을 느끼고 도서관을 아예 떠나버리게 됩니다. 과학자들이 해결하려는 큰 질문은 이것입니다: 어떻게 하면 사람들이 단 5분이 아니라 몇 달, 몇 년 동안 계속 다시 찾아오게 만들 수 있을까?

이 질문에 답하기 위해 연구자들은 까다로운 현실에 직면해야 합니다. 우리는 미래를 쉽게 볼 수 없습니다. 사용자가 한 달 뒤에 돌아올지 확인하기 위해 오늘 무엇을 보여줄지 결정하려고 기다릴 수는 없습니다. 그래서 그들은 미래를 직접 예측하는 대신, 현재의 "단서"들을 찾습니다. 즉, 누군가가 계속 머무르기로 결심하기 직전에 보통 발생하는 작은 행동들을 찾는 것입니다. 이 논문은 그러한 단서를 찾아내고, 도서관의 가이드가 이 단서들을 따르도록 가르쳐서, 짧고 지루한 방문을 길고 흥미진진한 모험으로 바꾸는 방법에 관한 것입니다.

문제점: "클릭 함정(Click-Trap)"

당신이 카니발에 있다고 상상해 보세요. 한 게임 부스가 바퀴를 돌리면 즉석에서 사탕을 공짜로 주겠다고 제안합니다. 당신은 바퀴를 돌려 사탕을 얻고 떠납니다. 부스 주인은 당신이 바퀴를 돌렸기 때문에 기뻐하지만, 당신은 다시는 오지 않습니다. 이것이 추천 시스템이 빠른 클릭이나 1초간의 훑어보기와 같은 **단기적 신호(short-term signals)**에만 관심을 가질 때 발생하는 현상입니다. 그들은 많은 "회전(spins)"을 얻어내지만, 사용자들은 지루해져서 카니발을 영원히 떠나버립니다.

이 논문의 저자들은 핀터레스트에서 근무하며, 즉각적인 클릭을 최적화하는 것이 실제로는 플랫폼의 장기적인 건강에 해를 끼치고 있다는 사실을 깨달았습니다. 그들은 단순히 "당신이 클릭할 만한 것"을 제시하는 것이 아니라, "당신이 머물고, 탐색하고, 내일 다시 돌아오게 만들 것"을 제시하는 시스템을 구축하고 싶었습니다.

해결책: "토끼굴(Rabbit Hole)" 탐정

팀은 영리한 아이디어를 냈습니다. 사용자가 다음 주에 돌아올지 기다리는 대신(이는 추적하기 어렵고 드문 일입니다), **다운스트림 보상(Downstream Rewards)**을 살펴보는 것입니다. 이것은 마치 발자국을 찾는 탐정과 같습니다. 만약 사용자가 관련 콘텐츠의 "토끼굴" 속으로 깊이 빠져들거나, 사진을 저장하거나, 긴 시간 동안 탐색한다면, 그것은 "이 사람은 아주 즐거운 시간을 보내고 있으며 아마도 다시 돌아올 것이다"라고 말해주는 강력한 발자국입니다.

이 논문은 **모델 불가지론적 프레임워크(model-agnostic framework)**를 제안합니다. "모델 불가지론적"이라는 말은 단순한 리스트부터 복잡한 AI에 이르기까지 "어떤 종류의 추천 엔진과도 작동한다"는 뜻의 멋진 표현입니다. 그들은 단순히 어떤 행동이 좋은지 추측한 것이 아니라, 어떤 구체적인 행동이 장기적인 충성도를 실제로 예측하는지를 찾아내기 위해 대규모 오프라인 스크리닝 과정을 수행했습니다.

세 가지 황금 단서

분석을 통해 그들은 행복하고 다시 방문하는 사용자로 이어지는 세 가지 주요 유형의 "보상(단서)"을 식별했습니다.

1. 깊은 몰입 (더 깊은 세션 참여 - Deeper Session Engagement):
   단순히 클릭하는 것이 중요한 게 아니라, 얼마나 깊이 들어가는지가 중요합니다. 논문은 사용자가 핀(Pin)을 클릭한 후 즉시 "P2P 토끼굴"(연관된 핀들의 체인)로 뛰어들어 저장하거나 다운로드하는 경우, 그것이 엄청난 승리라는 것을 발견했습니다.
   • 비유: 이것은 방 안을 살짝 들여다보는 것과 실제로 그곳으로 이사하는 것의 차이와 같습니다. 시스템은 표면만 훑는 대신 토끼굴을 탐색하는 데 시간을 들이는 사용자에게 보상을 주는 법을 배웠습니다.
   • 결과: 이러한 깊은 행동들이 사용자의 재방문에 강력하게 연결되어 있음을 발견했습니다. 실제로 이러한 깊은 행동이 포함된 세션은 사용자가 앱을 훨씬 더 빨리 다시 방문하게 만들었습니다.

ే2. "가짜" 페널티 (부정적 보상 - The "Fake It" Penalty):
모든 클릭이 좋은 것은 아닙니다. 팀은 어떤 "클로즈업(이미지 확대)"은 오히려 지루함의 신호라는 것을 발견했습니다. 만약 사용자가 1초 미만으로 확대했다가 즉시 떠난다면, 그것은 "얕은 클로즈업(shallow closeup)"입니다.
* 비유: 누군가 가게에 들어와 물건을 집어 들고, 아주 잠깐 쳐다본 뒤 바로 내려놓는 상황을 상상해 보세요. 그들은 관심이 있는 게 아니라 그냥 시간을 때우고 있는 것입니다.
* 해결책: 시스템은 이제 이러한 찰나의 훑어보기를 부정적 보상으로 취급합니다. 이는 투어 가이드가 "이 사람에게 이 물건을 다시 보여주지 마세요. 분명히 마음에 들어 하지 않으니까요"라고 말하는 것과 같습니다. 그들은 또한 서로 다른 유형의 사용자에게는 서로 다른 규칙이 필요하다는 것을 발견했습니다. "코어(core)" 사용자의 경우 1초의 임계값이 필요하지만, "비코어(non-core)" 사용자는 0.5초만 되어도 얕은 것으로 간다는 것을 알아냈습니다.

3. 새로운 모험 (유즈 케이스 채택 - The New Adventure):
   때때로 사용자들은 자신의 기존 관심사 루프에 갇히기도 합니다. 논문은 **유즈 케이스 채택(Use Case Adoption)**에 대한 보상을 도입했습니다. 이것은 사용자가 평소 패턴과 전혀 맞지 않는 새로운 것에 참여할 때 발생합니다.
   • 비유: 사용자가 평소에 "고양이 영상"을 보는데, 시스템이 "자전거 수리 방법" 영상을 보여주었고, 사용자가 실제로 그것을 시청하고 저장했다면 그것은 승리입니다. 이는 시스템이 사용자의 지평을 성공적으로 넓혔음을 의미합니다.
   • 목표: 이는 AI가 사용자가 원한다는 사실조차 몰랐던 것들을 보여주도록 독려하여, 사용자가 새로운 취미와 관심사를 쌓아가며 플랫폼에 더 오래 머물도록 돕습니다.

엔진 룸: 어떻게 구현했는가

여러분은 "앱을 느려지게 하지 않고 이 모든 것을 어떻게 계산할 수 있지?"라고 궁금해할 수 있습니다. 저자들은 DRv2라고 불리는 새로운 인프라를 구축했습니다.

• 과거 방식: 예전에는 이 모든 보상을 거대한 배치(batch) 단위로 미리 계산했는데, 업데이트하는 데 몇 주가 걸렸습니다. 새로운 아이디어를 테스트하려면 몇 주를 기다려야 했습니다.
• 현재 방식: 데이터를 읽는 즉시 실시간으로 이러한 보상을 계산하는 시스템을 구축했습니다. 이를 통해 새로운 아이디어를 테스트하는 시간을 3주에서 2일로 단축했습니다. 이것은 케이크 한 조각을 먹고 싶을 때마다 매번 처음부터 다시 굽는 대신, 요청할 때마다 신선한 조각을 즉석에서 조립해 주는 마법 기계를 갖게 된 것과 같습니다.

결과: 정말 효과가 있는가?

팀은 A/B 테스트(한 그룹에는 기존 시스템을, 다른 그룹에는 새 시스템을 보여주는 방식)를 통해 현실 세계에서 이 아이디어들을 테스트했습니다. 결과는 일관되고 긍정적이었습니다:

• 더 성공적인 세션: 사용자가 의미 있는 행동(저장 또는 다운로드 등)을 하는 세션의 수가 전반적으로 +0.36% 증가했습니다.
• 더 많은 시간 소비: 사용자들이 앱에서 보내는 시간이 늘어났으며, 총 이용 시간이 +0.10% 증가했습니다.
• 더 나은 리텐션(유지율): 가장 중요한 점은, 코어 사용자의 **주간 활성 사용자 수(WAU)**가 +0.1% 증가했다는 것입니다. 이는 시스템이 단순히 사람들을 속여 클릭하게 만든 것이 아니라, 실제로 다시 돌아오고 싶게 만들었음을 증명합니다.
• 크로스 서피스(Cross-Surface) 성공: 그들은 "홈피드(Homefeed, 메인 페이지)"만 고친 것이 아닙니다. 동일한 로직을 검색(Search), 관련 핀(Related Pins), **알림(Notifications)**에도 적용했습니다. 검색의 경우, "충족률(fulfillment rate, 검색이 실제 행동으로 이어진 비율)"이 +0.25% 상승했습니다.

핵심 요약

이 논문은 사용자들을 행복하게 유지하는 비결이 단순히 그들이 이미 좋아하는 것을 보여주는 것이 아니라, 더 깊고 의미 있는 상호작용으로 안내하는 데 있다는 점을 시사합니다. "깊은 몰입"을 보상하고, "가짜 클릭"을 벌하며, "새로운 모험"을 장려함으로써, 시스템은 짧은 훑어보기를 장기적인 관계로 바꿀 수 있습니다.

저자들은 이것이 모든 것을 영원히 해결해 주는 마법의 탄환은 아니지만, 앱의 다양한 부분에서 작동하는 강력하고 유연한 도구라는 점을 주의 깊게 언급합니다. 클릭의 속도보다는 여정의 질에 집중함으로써, 그들은 추천 시스템이 단순한 자판기가 아니라 대화를 계속 이어갈 줄 아는 친절한 친구처럼 느껴지도록 만들었습니다.