Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning
本論文は、大規模なレコメンデーションシステムにおいて、早期の予測的なセッション行動を特定し、ダウンストリームの報酬信号を導出することによって、長期的なユーザーエンゲージメントを最適化するための、統一されたモデルに依存しないフレームワークを提示するものであり、これはPinterestの複数のサーフェスにおいて、リテンション指標を向上させるために導入され、成功を収めている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、見ているものに合わせて棚が組み変わっていく、巨大で終わりのない図書館を歩いているところだと想像してみてください。これは、PinterestやTikTok、Netflixといったアプリの背後にある見えないエンジン、レコメンデーション・システムの世界です。彼らの仕事は、あなたが次に何を好きになるかを予想することです。長い間、これらのシステムは「せっかちなツアーガイド」のようなものでした。彼らは、今まさにユーザーが展示品を一つ見たかどうかということだけにしか関心がありませんでした。もし画像をクリックすれば、すぐに似たようなものを10個表示します。しかし、ここに問題があります。もし人々が見ているものと全く同じものばかりを見せ続けると、彼らは退屈して、図書館への訪問自体をやめてしまうのです。科学者たちが解決しようとしている大きな問いは、**「どうすれば、単に次の5分間だけでなく、数ヶ月、数年間にわたって人々を呼び戻し続けられるような推薦ができるのか？」**ということです。
これに答えるために、研究者たちは厄介な現実に直面しています。私たちは簡単に未来を予知することはできません。ユーザーが1ヶ月後に戻ってくるかどうかを判断するために、今日、待つことはできないのです。そのため、直接的に未来を予測する代わりに、彼らは「現在」の中に「手がかり」を探します。つまり、誰かが定着することを決める直前に起こる、小さな行動です。この論文は、それらの手がかりを見つけ出し、図書館のツアーガイドにその手がかりに従うよう教え、短くて退屈な訪問を、長く刺激的な冒険へと変える方法についてのものです。
問題点：「クリックの罠（Click-Trap）」
カーニバルにいるところを想像してみてください。あるゲームのブースが、ホイールを回すと即座に無料のキャンディがもらえるという特典を出しています。あなたはホイールを回し、キャンディを受け取り、立ち去ります。ブースのオーナーは、あなたがホイールを回したことを喜んでいますが、あなたは二度と戻ってきません。これが、レコメンデーション・システムがクリックや1秒間の注視といった短期的なシグナルだけに焦点を当てている時に起こることです。彼らは多くの「回転」を得られますが、ユーザーは退屈して、永遠にカーニバルを去ってしまうのです。
Pinterestで働くこの論文の著者たちは、即時のクリックを最適化することが、実際にはプラットフォームの長期的な健全性を損なっていることに気づきました。彼らは、「ここにおそらくあなたがクリックするものがあります」と言うだけでなく、「これはあなたを留まらせ、探索させ、明日もまた戻ってこさせるためのものです」と言えるようなシステムを構築したいと考えました。
解決策：「ウサギの穴（Rabbit Hole）」の探偵
チームは賢いアイデアを思いつきました。ユーザーが来週戻ってくるかどうかを待つ（それは稀であり、追跡も困難です）代わりに、**ダウンストリーム報酬（Downstream Rewards）**を探すという方法です。これは、足跡を探す探偵のようなものです。もしユーザーが関連コンテンツの「ウサギの穴」へと深く潜り込んだり、画像を保存したり、あるいは長い時間をかけて探索したりしていれば、それは「この人はとても楽しんでおり、おそらくまた戻ってくるだろう」という強力な足跡となります。
この論文は、**モデルに依存しないフレームワーク（model-agnostic framework）**を提案しています。「モデルに依存しない」とは、単純なリストであれ複雑なAIであれ、「あらゆる種類のレコメンデーション・エンジンで機能する」という洗練された言い方です。彼らはどの行動が良いかを単に推測したのではなく、長期的なロイヤリティを実際に予測する特定の行動を見つけ出すために、大規模なオフライン・スクリーニング・プロセスを実施しました。
3つの黄金の手がかり
彼らの分析を通じて、幸せで戻ってくるユーザーにつながる3つの主要な「報酬（手がかり）」を特定しました。
深い探索（より深いセッション・エンゲージメント）：
単にクリックするだけでなく、どれほど深く入り込むかが重要です。論文によると、ユーザーがピンをクリックした後、すぐに「P2Pのウサギの穴」（関連するピンの連鎖）へと飛び込み、保存したりダウンロードしたりする場合、それは大きな勝利となります。- 比喩： それは、部屋を覗き込むことと、実際にそこに住み始めることの違いです。システムは、表面をなぞるだけでなく、ウサギの穴を探索する時間をかけるユーザーに報いることを学びました。
- 結果： これらの深いアクションが、ユーザーの再訪問に強く結びついていることが分かりました。実際、これらの深いアクションを伴うセッションは、ユーザーがアプリを再訪する時期を大幅に早めました。
「形だけ」のペナルティ（負の報酬）：
すべてのクリックが良いわけではありません。チームは、一部の「クローズアップ（画像の拡大）」が、実は退屈の兆候であることを発見しました。もしユーザーが1秒未満でズームインし、すぐに立ち去る場合、それは「浅いクローズアップ」です。- 比喩： 店に入り、商品を手に取り、一瞬だけ見て、すぐに置いていく人を想像してください。彼らは興味があるのではなく、ただ時間を潰しているだけです。
- 対策： システムは現在、これらの一瞬の注視を負の報酬として扱います。これは、ツアーガイドが「おい、この人にこのアイテムを二度と見せないように。明らかに気に入っていないようだ」と言うようなものです。彼らは、異なるタイプのユーザーには異なるルールが必要であることも発見しました。「コア」ユーザーには浅いとみなすための1秒の閾値が必要ですが、「非コア」ユーザーにはわずか0s.5秒の閾値が必要です。
新しい冒険（ユースケースの採用）：
時として、ユーザーは自分の古い興味のループに陥ることがあります。この論文では、**ユースケース採用（Use Case Adoption）**に対する報酬を導入しました。これは、ユーザーが通常のパターンに当てはまらない全く新しいものに関与したときに起こります。- 比喩： もしユーザーが普段「猫の動画」を見ているとして、システムが「自転車の修理方法」の動画を見せ、ユーザーが実際にそれを視聴し保存した場合、それは勝利です。それは、システムがユーザーの視野を広げることに成功したことを意味します。
- 目標： これにより、AIがユーザーが「欲しかったとは知らなかったもの」を見せることを促し、新しい趣味や関心を作り上げる手助けをし、プラットフォームへの滞在を長くさせます。
エンジンルーム：どのように実現したか
「これらすべてを、アプリを遅らせることなく、どうやって計算するのですか？」と思うかもしれません。著者たちは、DRv2と呼ばれる新しいインフラストラクチャを構築しました。
- 旧来の方法： 以前は、これらすべての報酬を巨大なバッチ処理で事前計算しており、更新には数週間かかっていました。新しいアイデアをテストしたい場合、数週間待たなければなりませんでした。
- 新しい方法： 彼らは、データが読み取られる瞬間に、リアルタイムでこれらの報酬を計算するシステムを構築しました。これにより、新しいアイデアをテストするための時間が3週間から2日へと短縮されました。これは、一切れのケーキを食べるたびにゼロから焼き上げるのではなく、頼むたびに新鮮な一切れを即座に組み立てる魔法の機械を持っているようなものです。
結果：それは本当に機能するのか？
チームは、A/Bテスト（一方のグループに旧システムを、もう一方のグループに新システムを見せる）を使用して、これらのアイデアを現実世界でテストしました。結果は一貫してポジティブでした。
- より成功したセッション： ユーザーが意味のある行動（保存やダウンロードなど）を行ったセッションの数が、全体で**+0.36%**増加しました。
- 滞在時間の増加： ユーザーはアプリでより多くの時間を過ごすようになり、総滞在時間は**+0.10%**増加しました。
- リテンションの向上： 最も重要なことに、コアユーザーの**週間アクティブユーザー数（WAU）が+0.1%**増加しました。これは、システムが単にクリックを誘ったのではなく、実際にユーザーを戻したいと思わせたことを証明しています。
- クロス・サーフェスの成功： 彼らは「ホームフィード（メインページ）」だけを修正したのではありません。同じロジックを検索（Search）、関連ピン（Related Pins）、**通知（Notifications）にも適用しました。検索においては、「充足率（fulfillment rate）」（検索が実際の行動につながった割合）が+0.25%**上昇しました。
まとめ
この論文は、ユーザーを幸せに続ける秘訣は、単に彼らが「すでに好きなもの」を見せることではなく、より深く、より意味のある相互作用へと導くことであると示唆しています。「深い探索」を奨励し、「形だけのクリック」を罰し、「新しい冒険」を促すことで、システムは素早い一瞥を、長期的な関係へと変えることができるのです。
著者たちは、これがすべてを永遠に解決する魔法の杖ではないことを慎重に述べていますが、異なるアプリの部分で機能する、強力で柔軟なツールであると考えています。クリックの「速さ」ではなく、旅の「質」に焦向することで、彼らはレコメンデーション・システムを、自動販売機のようなものではなく、会話を続ける方法を知っている親切な友人のようなものへと作り変えることに成功したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。