Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study
本論文は、新しく公開されたBlueskyの投稿が特定のカスタムフィードに表示されるかどうかを予測するという、新たなコールドスタート・ルーティング・タスクを導入し、大規模なベンチマークデータセットを提示するとともに、新しいコンテンツを返す可能性が高いフィードのランキングにおいてLambdaRankが優れた性能を発揮することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、誰もが自分の考えやジョーク、ニュースを同時に叫んでいる、巨大で賑やかな町の広場だと想像してみてください。この混沌とした広場には、何千もの異なる「クラブ」や「ニューススタンド」（これらはカスタムフィードと呼ばれます）が存在し、人々が運営しています。それぞれのクラブには、広場からの叫び声のうち、どれが掲示板に載せるのに面白い内容かを判断するための独自のルールブックがあります。通常、新しい人がクラブに加わるとき、クラブは誰を友人に推奨すべきかを知る必要があります。しかし、ここにはひねりがあります。この特定の町では、新しい「叫び声」（投稿）こそが、まだ履歴を持たないものなのです。これらは「コールドスタート」と呼ばれます。大きな問題は、その投稿が誰にも見られる前に、どのクラブがその投稿を自分の掲示板に載せたいと思うかを、どうやって予測するか？という点です。これは「コールドスタート・ルーティング」というパズルです。それは、書き終えた瞬間に、自分の書いた物語をどの雑誌の編集者が気に入ってくれるかを、過去の売上データなしに予測しようとするようなものです。
この論文は、カスタムフィードが主要な機能となっているソーシャルメディアプラットフォーム、Blueskyにおける、まさにそのパズルに取り組んでいます。研究者のYipeng Wang氏とMohit Singhal氏は、スーパー・スマートな仲介役として機能するシステムを構築することを目指しました。彼らの目標は、新しい投稿を取り込み、その投稿が24時間以内にそのフィードのトップ結果に表示される（「リターン」する）かどうかを即座に予測することでした。
これを行うために、彼らは単に推測したのではなく、大規模な「タイムトラベル実験」を構築しました。彼らは5,000もの異なるフィードからなる「モニタリング・パネル」を設定し、1週間分を観察しました。彼らは1,780万4,000件の公開投稿を収集しました。各投稿について、それが実際に24時間以内にどのフィードのトップ50の結果に現れるかを待ちました。もし現れた場合は、それを「ヒット」としてマークしました。これにより、投稿とフィードの間の186万5,000件の観測可能な接続関係を持つデータセットが作成されました。彼らはこれを「先に収集し、後でラベル付けする（collect-first, label-later）」アプローチと呼んでいます。なぜなら、まず生のデータを収集し、その後で未来が実際に起こった後にのみ、それが成功か失敗かのラベルを付けたからです。これにより、彼らの予測が単なる推測ではなく、実際の成果に対してテストされることが保証されました。
チームは、このマッチング・ゲームを解くために、いくつかの異なる「コンピュータの脳」を試しました。彼らは、「著者は通常このフィードに投稿しているか？」や「テキストは、このフィードが好むものと似ているか？」といった単純なルールから始めました。これらの単純な手法は悪くはありませんでしたが、優れているとは言えませんでした。次に、単なる言葉だけでなく、テキストの「意味」を理解できる、より複雑なモデルを試しました。この競争の勝者は、LambdaRankと呼ばれるモデルでした。
数値がどのように機能したかを以下に示します。研究者たちは、2つの異なる日のデータを用いてシステムをテストしました。テストしたすべての投稿のうち、少なくとも1つのフィードによって採用された投稿（全体の約9.04%）に焦点を当てました。これらの投稿に対して、LambdaRankモデルは、正しいフィードをトップ10リストの中に73.61%の確率で配置することができました（これはRecall@10という指標です）。また、最適な一致の順序付けのスケールにおいて0.6127（NDCG@10）を記録し、「ヒット」（トップ10の中に少なくとも1つの正しいフィードを見つけること）を**77.49%**の確率で達成しました。
この論文は、モデルは非常に優秀であるものの、完璧ではないことを示唆しています。最大のボトルネックは、ランキングを行う「脳」そのものではなく、最初のステップである「適切な候補を見つけること」です。たとえモデルが完璧であっても、最初にそのフィードを見落としてしまえば、選ぶことはできません。研究者たちは、彼らのシステムが、ランク付けされた4,233個のフィードのうち、最大でも370個という限られた「候補セット」しか見ていないことを発見しました。もし、あらゆる可能性のあるフィードを見ることができていれば、システムはさらに高いパフォーマンスを発揮し、理論的な上限である0.8448に達していたはずです。これは、次の大きなステップは、必ずしも「脳」をより賢くすることではなく、「探索範囲」をより広くすることであることを意味しています。
要約すると、この論文は、投稿にまだ履歴がない状態でも、どのカスタムフィードがその投稿を採用するかを予測することが可能であることを証明しています。単純なテキスト照合と深い意味理解を組み合わせることで、新しいコンテンツを適切な場所へとルーティングできることを示しています。しかし同時に、私たちは現在、一度にチェックできるフィードの数によって制限されていることも警告しています。このシステムは強力なスタートですが、さらなる成長の余地が残されています。「町の広場」がさらに賑やかになるにつれて、進むべき道は広がっています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。