Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study
Dieses Paper führt eine neuartige Cold-Start-Routing-Aufgabe zur Vorhersage ein, ob neu veröffentlichte Bluesky-Posts in spezifischen benutzerdefinierten Feeds erscheinen werden, präsentiert einen groß angelegten Benchmark-Datensatz und zeigt auf, dass LambdaRank eine überlegene Leistung bei der Rangfolge von Feeds erzielt, die wahrscheinlich neue Inhalte zurückgeben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als einen riesigen, belebten Marktplatz vor, auf dem alle gleichzeitig ihre Gedanken, Witze und Neuigkeiten herausbrüllen. In diesem chaotischen Platz betreiben Tausende von verschiedenen „Clubs“ oder „Zeitungsständen“ (genannt Custom Feeds), die jeweils ihre eigenen Regeln haben. Jeder Club besitzt ein eigenes Regelwerk, um zu entscheiden, welche Rufe aus dem Platz interessant genug sind, um sie auf sein Schwarzes Brett zu setzen. Normalerweise muss ein Club wissen, wer eine neue Person ist, um passende Freunde zu empfehlen, wenn diese einem Club beitritt. Aber hier ist der Clou: In diesem speziellen Ort sind es die neuen Rufe (Posts), die noch keine Geschichte haben. Sie sind die „Cold Starts“. Die große Frage für die Stadt lautet: Wie erraten wir, welche Clubs einen brandneuen Ruf auf ihr Brett setzen wollen, noch bevor überhaupt jemand ihn gesehen hat? Dies ist das Rätsel des „Cold-Start-Routing“. Es ist, als versuche man vorherzusagen, welche spezifischen Magazinredakteure eine Geschichte lieben werden, die man gerade geschrieben hat, in dem Moment, in dem man den letzten Punkt tippt, ohne dass bereits vergangene Verkaufsdaten helfen können.
Dieses Paper befasst sich mit genau diesem Rätsel für Bluesky, eine Social-Media-Plattform, auf der diese Custom Feeds ein zentrales Merkmal sind. Die Forscher Yipeng Wang und Mohit Singhal wollten ein System bauen, das wie ein superintelligenter Matchmaker agiert. Ihr Ziel war es, einen brandneuen Post zu nehmen und tausende potenzielle Feeds sofort zu ranken, um vorherzusagen, welche davon den Post innerhalb der nächsten 24 Stunden in ihren Top-Ergebnissen „zurückgeben“ (anzeigen) würden.
Um dies zu erreichen, haben sie nicht einfach nur geraten; sie bauten ein massives, zeitreisendes Experiment auf. Sie richteten ein „Monitoring-Panel“ aus 5.000 verschiedenen Feeds ein und beobachteten sie eine Woche lang. Sie sammelten 17.804 Millionen öffentliche Posts. Für jeden Post warteten sie ab, ob er tatsächlich innerhalb von 24 Stunden in den Top-50-Ergebnissen eines Feeds erschien. Wenn dies der Fall war, markierten sie ihn als einen „Hit“. Dies erzeugte einen Datensatz von 1,865 Millionen beobachtbaren Verbindungen zwischen Posts und Feeds. Sie nennen dies einen „Collect-first, label-later“-Ansatz, weil sie zuerst die Rohdaten sammelten und erst später als Erfolg oder Misserfolg etiketteten, nachdem die Zukunft tatsächlich eingetreten war, um sicherzustellen, dass ihre Vorhersagen gegen reale Ergebnisse getestet wurden und nicht nur gegen Vermutungen.
Das Team probierte dann verschiedene computergestützte Gehirne aus, um das Matching-Spiel zu lösen. Sie begannen mit einfachen Regeln, wie etwa „Postet der Autor normalerweise in diesem Feed?“ oder „Sieht der Text ähnlich aus wie das, was dieser Feed mag?“. Diese einfachen Methoden waren okay, aber nicht großartig. Dann probierten sie komplexere Modelle aus, die die Bedeutung des Textes verstehen konnten, nicht nur die Wörter. Der Gewinner des Wettbewerbs war ein Modell namens LambdaRank.
Hier ist, was die Zahlen darüber aussagen, wie gut es funktionierte. Die Forscher testeten ihr System an zwei separaten Tagen mit Daten. Von allen getesteten Posts konzentrierten sie sich auf diejenigen, die tatsächlich von mindestens einem Feed aufgegriffen wurden (etwa 9,04 % der Gesamtzahl). Für diese Posts gelang es dem LambdaRank-Modell, die korrekten Feeds in 73,61 % der Fälle in der Top-10-Liste zu platzieren (eine Metrik namens Capped Recall@10). Es erzielte zudem einen Wert von 0,6127 auf einer Skala der Güte der Sortierung der besten Übereinstimmungen (NDCG@10) und landete einen „Hit“ (fand mindestens einen korrekten Feed in den Top 10) in 77,49 % der Fälle.
Das Paper legt nahe, dass das Modell zwar sehr gut, aber nicht perfekt ist. Der größte Engpass ist nicht das Ranking-Gehirn selbst, sondern der erste Schritt: das Finden der richtigen Kandidaten. Selbst wenn das Modell perfekt wäre, kann es keinen Feed auswählen, wenn es ihn nie zuvor betrachtet hat. Die Forscher fanden heraus, dass ihr System nur einen kleinen Teil der möglichen Feeds betrachtete (ein „Candidate Set“ von bis zu 370 Feeds aus den 4.233 gerankten Feeds). Hätten sie in der Lage gewesen, jeden einzelnen möglichen Feed zu betrachten, hätte das System theoretisch sogar noch besser abschneiden können und eine theoretische „Obergrenze“ von 0,8448 erreicht. Das bedeutet, dass der nächste große Schritt nicht unbedingt darin besteht, das Gehirn intelligenter zu machen, sondern die Suche breiter zu gestalten.
Zusammenfassend beweist das Paper, dass wir erfolgreich vorhersagen können, welche Custom Feeds einen neuen Post aufgreifen werden, noch bevor der Post überhaupt eine Historie besitzt. Es zeigt, dass wir durch die Kombination von einfachem Textmatching mit einem tiefen Verständnis der Bedeutung Inhalte an die richtigen Orte routen können. Es warnt jedoch auch davor, dass wir derzeit dadurch limitiert sind, wie viele Feeds wir gleichzeitig prüfen können. Das System ist ein starker Anfang, aber es gibt noch Raum zum Wachsen, während der „Marktplatz“ immer geschäftiger wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.