🤖 machine learning

Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning

Dieses Paper präsentiert ein vereinheitlichtes, modellagnostisches Framework zur Optimierung der langfristigen Nutzerbindung in groß angelegten Empfehlungssystemen durch das Identifizieren früher prädiktiver Sitzungsverhaltensweisen und die Ableitung nachgelagerter Belohnungssignale, welches erfolgreich auf mehreren Pinterest-Oberflächen implementiert wurde, um die Retention-Metriken zu verbessern.

Ursprüngliche Autoren: Dingsu Wang, Filip Ryzner, Kelly He, Armando Ordorica, David Woo, Aditya Mantha, Liyao Lu, Usha Amrutha Nookala, Haoran Guo, Jiacong He, Olafur Gudmundsson, Matt Chun, Krystal Benitez, Dhruvil Deven B

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dingsu Wang, Filip Ryzner, Kelly He, Armando Ordorica, David Woo, Aditya Mantha, Liyao Lu, Usha Amrutha Nookala, Haoran Guo, Jiacong He, Olafur Gudmundsson, Matt Chun, Krystal Benitez, Dhruvil Deven Badani, Yijie Dylan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spazieren durch eine riesige, endlose Bibliothek, in der sich die Regale neu anordnen, sobald Sie etwas betrachten. Dies ist die Welt der Empfehlungssysteme, der unsichtbaren Motoren hinter Apps wie Pinterest, TikTok und Netflix. Ihre Aufgabe ist es, zu erraten, was Ihnen als Nächstes gefallen wird. Lange Zeit waren diese Systeme wie ungeduldige Reiseleiter: Sie kümmerten sich nur darum, ob Sie sich jetzt gerade auf eine einzige Ausstellung konzentrierten. Wenn Sie auf ein Bild klickten, zeigten sie Ihnen sofort zehn weitere, die genau so waren. Aber hier liegt das Problem: Wenn man Menschen nur genau das zeigt, was sie bereits kennen, werden sie gelangweilt und verlassen die Bibliothek ganz. Die große Frage, die Wissenschaftler zu lösen versuchen, lautet: Wie empfehlen wir Dinge, die Menschen dazu bringen, über Monate oder Jahre hinweg zurückzukommen, und nicht nur für die nächsten fünf Minuten?

Um dies zu beantworten, müssen Forscher mit einer kniffligen Realität umgehen: Wir können die Zukunft nicht einfach vorhersehen. Wir können nicht warten, um zu sehen, ob ein Nutzer in einem Monat zurückkehrt, um zu entscheiden, was wir ihm heute zeigen sollen. Anstatt also direkt die Zukunft zu erraten, suchen sie nach „Hinweisen“ in der Gegenwart – kleinen Verhaltensweisen, die meistens kurz vor der Entscheidung stehen, dass jemand gerne bleibt. In diesem Paper geht es darum, diese Hinweise zu finden und den Reiseleiter der Bibliothek zu lehren, ihnen zu folgen, um aus einem kurzen, langweiligen Besuch ein langes, aufregendes Abenteuer zu machen.

Das Problem: Die „Klick-Falle“

Stellen Sie sich vor, Sie sind auf einem Jahrmarkt. An einem Spielstand erhalten Sie einen kostenlosen, sofortigen Keks, wenn Sie ein Rad drehen. Sie drehen, bekommen Ihren Keks und gehen. Der Standbesitzer ist glücklich, weil Sie das Rad gedreht haben, aber Sie kommen nie wieder. Das ist das, was passiert, wenn Empfehlungssysteme nur auf kurzfristige Signale wie einen schnellen Klick oder einen einsekündigen Blick achten. Sie generieren viele „Drehungen“, aber die Nutzer werden gelangweilt und verlassen den Jahrmarkt für immer.

Die Autoren dieses Papers, die bei Pinterest arbeiten, erkannten, dass die Optimierung auf unmittelbare Klicks eigentlich die langfristige Gesundheit ihrer Plattform schädigte. Sie wollten ein System bauen, das nicht nur sagt: „Hier ist etwas, das du vielleicht anklicken wirst“, sondern vielmehr: „Hier ist etwas, das dich dazu bringen wird, zu bleiben, zu erkunden und morgen wiederzukommen.“

Die Lösung: Der „Rabbit Hole“-Detektiv

Das Team kam auf eine clevere Idee: Anstatt darauf zu warten, ob ein Nutzer nächste Woche zurückkehrt (was selten ist und schwer zu verfolgen), würden sie nach Downstream-Belohnungen suchen. Denken Sie an einen Detektiv, der nach Fußabdrücken sucht. Wenn ein Nutzer tief in ein „Rabbit Hole“ (ein Kaninchenbau-Szenario) aus verwandten Inhalten eintaucht, ein Bild speichert oder viel Zeit mit dem Erkunden verbringt, sind das starke Fußabdrücke, die sagen: „Diese Person amüsiert sich prächtig und wird wahrscheinlich zurückkehren.“

Das Paper schlägt ein modellagnostisches Framework vor. „Modellagnostisch“ ist eine schicke Art zu sagen: „Es funktioniert mit jeder Art von Empfehlungs-Engine“, egal ob es sich um eine einfache Liste oder eine komplexe KI handelt. Sie haben nicht einfach geraten, welche Verhaltensweisen gut sind; sie führten einen massiven Offline-Screening-Prozess durch, um die spezifischen Aktionen zu finden, die tatsächlich langfristige Loyalität vorhersagen.

Die drei goldenen Hinweise

Durch ihre Analyse identifizierten sie drei Hauptarten von „Belohnungen“ (Hinweisen), die zu glücklichen, zurückkehrenden Nutzern führen:

Das tiefe Eintauchen (Deeper Session Engagement):
Es geht nicht nur um das Klicken; es geht darum, wie tief man geht. Das Paper fand heraus, dass es ein riesiger Gewinn ist, wenn ein Nutzer auf einen Pin klickt und dann sofort in ein „P2P-Rabbit-Hole“ (eine Kette verwandter Pins) eintaucht, ihn speichert oder herunterlädt.
- Die Metapher: Es ist der Unterschied zwischen einem kurzen Blick in ein Zimmer und dem tatsächlichen Einzug. Das System lernte, Nutzer zu belohnen, die sich die Zeit nehmen, das „Rabbit Hole“ zu erkunden, anstatt nur an der Oberfläche zu kratzen.
- Das Ergebnis: Sie fanden heraus, dass diese tiefgehenden Aktionen stark mit der Rückkehr der Nutzer verknüpft sind. Tatsächlich führten Sitzungen mit diesen tiefen Aktionen dazu, dass Nutzer die App signifikant früher wieder besuchten.
Die „Fake It“-Strafe (Negative Rewards):
Nicht alle Klicks sind gut. Das Team entdeckte, dass einige „Closeups“ (das Heranzoomen auf ein Bild) eigentlich Zeichen von Langeweile sind. Wenn ein Nutzer für weniger als eine Sekunde heranzoomt und dann sofort die Seite verlässt, ist es ein „oberflächliches Closeup“.
- Die Metapher: Stellen Sie sich vor, jemand betritt ein Geschäft, greift nach einem Artikel, betrachtet ihn für einen Sekundenbruchteil und lässt ihn sofort wieder fallen. Er ist nicht interessiert; er vertreibt sich nur die Zeit.
- Die Lösung: Das System behandelt diese sekundenkurzen Blicke nun als negative Belohnung. Es ist, als würde der Reiseleiter sagen: „Hey, zeig dieser Person diesen Artikel nicht noch einmal; sie hat ihn offensichtlich nicht gemocht.“ Sie fanden sogar heraus, dass verschiedene Arten von Nutzern unterschiedliche Regeln benötigen: „Kern-Nutzer“ benötigen eine Schwelle von 1 Sekunde, um als oberflächlich zu gelten, während „Nicht-Kern-Nutzer“ nur 0,5 Sekunden benötigen.
Das neue Abenteuer (Use Case Adoption):
Manchmal geraten Nutzer in eine Schleife ihrer alten Interessen. Das Paper führte eine Belohnung für die Use Case Adoption ein. Dies geschieht, wenn ein Nutzer mit etwas völlig Neuem interagiert, das nicht in sein übliches Muster passt.
- Die Metapher: Wenn ein Nutzer normalerweise „Katzenvideos“ anschaut und das System ihm ein Video zeigt, wie man „ein Fahrrad repariert“, und er es tatsächlich ansieht und speichert, ist das ein Erfolg. Es bedeutet, dass das System erfolgreich seinen Horizont erweitert hat.
- Das Ziel: Dies ermutigt die KI, den Nutzern Dinge zu zeigen, von denen sie noch gar nicht wussten, dass sie sie wollen, und hilft ihnen so, neue Hobbys und Interessen aufzubauen, was sie länger auf der Plattform hält.

Der Maschinenraum: Wie sie es umsetzten

Sie fragen sich vielleicht: „Wie berechnet man das alles, ohne die App zu verlangsamen?“ Die Autoren bauten eine neue Infrastruktur namens DRv2.

Der alte Weg: Früher berechneten sie all diese Belohnungen in riesigen Batches im Voraus, was Wochen dauerte, um sie zu aktualisieren. Wenn sie eine neue Idee testen wollten, mussten sie Wochen warten.
Der neue Weg: Sie bauten ein System, das diese Belohnungen „on the fly“ berechnet, genau in dem Moment, in dem die Daten gelesen werden. Dies senkte die Zeit, um neue Ideen zu testen, von 3 Wochen auf 2 Tage. Es ist, als würde man von dem Wechseln, jedes Mal einen Kuchen von Grund auf neu zu backen, zu einer magischen Maschine übergehen, die sofort ein frisches Stück zusammenstellt, wann immer man danach fragt.

Die Ergebnisse: Funktioniert es wirklich?

Das Team testete diese Ideen in der realen Welt mittels A/B-Tests (man zeigte einer Gruppe das alte System und einer anderen Gruppe das neue System). Die Ergebnisse waren konsistent und positiv:

Erfolgreichere Sitzungen: Die Anzahl der Sitzungen, in denen Nutzer etwas Bedeutendes taten (wie Speichern oder Herunterladen), stieg flächendeckend um +0,36 %.
Mehr Zeitaufwand: Nutzer verbrachten mehr Zeit in der App, wobei die Gesamtzeit um +0,10 % stieg.
Bessere Retention: Am wichtigsten ist, dass die Anzahl der Weekly Active Users (WAU) für Kern-Nutzer um +0,1 % stieg. Dies beweist, dass das System die Leute nicht nur zum Klicken verführt hat, sondern sie tatsächlich dazu brachte, wiederkommen zu wollen.
Erfolg über verschiedene Oberflächen hinweg: Sie haben das Problem nicht nur beim „Homefeed“ (der Hauptseite) gelöst. Sie wandten dieselbe Logik auf Suche (Search), Verwandte Pins (Related Pins) und Benachrichtigungen (Notifications) an. In der Suche stieg die „Erfüllungsrate“ (wie oft eine Suche zu einer echten Aktion führte) um +0,25 %.

Das Fazit

Dieses Paper legt nahe, dass das Geheimnis, Nutzer glücklich zu halten, nicht nur darin besteht, ihnen zu zeigen, was sie bereits mögen, sondern sie in tiefere, bedeutungsvollere Interaktionen zu führen. Indem man „tiefe Eintauche“ belohnt, „Fake-Klicks“ bestraft und „neue Abenteuer“ fördert, kann das System einen kurzen Blick in eine langfristige Beziehung verwandeln.

Die Autoren merken vorsichtig an, dass dies kein magisches Allheilmittel ist, das alles für immer löst, aber es ist ein leistungsstarkes, flexibles Werkzeug, das in verschiedenen Teilen der App funktioniert. Indem sie sich auf die Qualität der Reise statt nur auf die Geschwindigkeit des Klicks konzentrierten, gelang es ihnen, ein Empfehlungssystem zu bauen, das sich weniger wie ein Verkaufsautomat und mehr wie ein hilfreicher Freund anfühlt, der weiß, wie man das Gespräch am Laufen hält.

Technisches Resümee: Optimierung des langfristigen Nutzerengagements durch modellagnostisches Lernen von Downstream-Belohnungen

1. Problemdefinition

Die Arbeit befasst sich mit der Herausforderung, das langfristige Nutzerengagement und die langfristige Bindung (Retention) in groß angelegten Empfehlungssystemen zu optimieren, speziell im Kontext von Pinterest. Während moderne Systeme effektiv kurzfristige Verhaltenssignale (z. B. unmittelbare Klicks) optimieren, ist die Optimierung der langfristigen Bindung aufgrund von drei Hauptfaktoren schwierig:

Spärlichkeit und Rauschen: Retention-Labels (z. B. ob ein Nutzer in einer Woche zurückkehrt) sind spärlich, verrauscht und nur schwach beobachtbar.
Verzögerung und Attribuierung: Retention-Signale sind verzögert, was es schwierig macht, zukünftige Ergebnisse spezifischen früheren Empfehlungen zuzuordnen.
Verteilungswandel (Distribution Shift): Nutzerinteressen und Datenverteilungen entwickeln sich im Laufe der Zeit weiter, wodurch feste Ersatzziele (Surrogate Objectives) veraltet und nicht mehr mit den Verhaltensweisen abgestimmt werden können, die den langfristigen Wert vorantreiben.

Bestehende Ansätze, die Reinforcement Learning (RL) oder sequentielle Modellierung verwenden, erfordern oft aufgabenspezifisches Reward-Engineering, einen erheblichen Rechenaufwand und sind schwer über verschiedene Produktoberflächen (z. B. Homefeed, Suche, Verwandte Pins) hinweg zu generalisieren.

2. Methodik

Die Autoren schlagen ein einheitliches, modellagnostisches Downstream-Reward-Framework (DR) vor. Anstatt direkt für verzögerte Retention-Labels zu optimieren, lernt das System, für „Downstream-Belohnungen“ zu optimieren – Proxy-Signale, die aus beobachteten Nutzeraktionsmustern abgeleitet werden und prädiktiv für die zukünftige Retention sind.

2.1 Offline-Screening-Framework

Bevor die Belohnungen definiert wurden, entwickelten die Autoren ein Offline-Screening-Framework, um Sitzungsebene-Verhaltensweisen zu identifizieren, die als valide Proxys dienen. Mith-Hilfe einer Pivot-Tag-Analyse bei Nutzern mit geringem Engagement screeneten sie hunderte von Kandidaten-Features gegen drei Kriterien:

Korrelation: Muss mit zukünftigem, nachhaltigem Engagement korrelieren (nicht nur mit unmittelbarer Aktivität).
Beobachtbarkeit: Muss innerhalb oder kurz nach der Sitzung beobachtbar sein.
Inkrementelle Prädiktivität: Muss nach Kontrolle korrelierter Signale weiterhin prädiktiv bleiben.

Wichtige Erkenntnisse aus dem Screening:

Tiefe vor Breite: Tiefes Engagement (z. B. Speichern, lange Closeups, P2P-Rabbit-Hole-Exploration) korreliert positiv mit Retention, während flaches, hochvolumiges Browsing oft irreführend ist, sobald das Expositionsvolumen kontrolliert wird.
P2P-Exploration: Die Dichte der Exploration innerhalb des „Pin-zu-Pin“ (P2P) Rabbit Holes ist ein starker Prädiktor für eine schnellere Rückkehr.
Sitzungsdauer: Längere Sitzungen sind empirisch mit schnelleren Besuchen verknüpft.

2.2 Design von Downstream-Belohnungen

Basierend auf den Screening-Erkenntnissen definieren die Autoren drei komplementäre Reward-Familien:

Belohnungen für tieferes Sitzungsengagement:
- Berechnet die diskontierte kumulative Summe von High-Intent-Aktionen (Speichern, Downloads, Screenshots), die innerhalb einer Sitzung nach einer Empfehlung auftreten.
- Formel: $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$ , wobei $\gamma$ ein Diskontierungsfaktor ist, der Ereignisse bevorzugt, die näher an der ursprünglichen Empfehlung liegen.
Negative Belohnungen (Flache Closeups):
- Bestraft explizit „flache“ Interaktionen, die auf eine schlechte Nutzererfahrung hindeuten.
- Definiert ein „flaches Closeup“ als ein Closeup mit einer Verweildauer unterhalb eines nutzerspezifischen Schwellenwerts (z. B. <1s für Kernnutzer, <0,5s für Nicht-Kernnutzer), das nicht von einer High-Intent-Downstream-Aktion gefolgt wird.
- Dieses Signal wird als negative Belohnung behandelt, um das Modell davon abzuhalten, Inhalte anzuzeigen, die zu sofortigem Abbruch führen.
Belohnungen für die Nutzung von Anwendungsfällen (Use Case Adoption):
- Ermutigt das Modell dazu, Inhalte anzuzeigen, die den Interessenraum eines Nutzers über seine etablierten Cluster hinaus erweitern.
- Eine Belohnung wird ausgelöst, wenn ein Nutzer mit einem Item interagiert, dessen Embedding unähnlich zu allen seinen vorberechneten Interessenclustern ist (Ähnlichkeit < $\eta$ ).
- Dies dient als Proxy für die Erweiterung der Nutzerintention bei gleichzeitiger Beibehaltung der Ausrichtung auf Engagement-Ziele.

2.3 Infrastruktur und Engineering

Um die kombinatorische Komplexität der Reward-Definitionen und die Notwendigkeit schneller Iterationen zu bewältigen, bauten die Autoren eine DRv2-Infrastruktur:

DRv1 (Legacy): Voraggregierte Tabellen, die bei jeder Änderung einer Reward-Definition eine vollständige Neuberechnung via Spark-Self-Joins erforderten (Wochen für die Iteration).
DRv2 (Vorgeschlagen): Speichert Nutzerengagement als wiederverwendbare tägliche Sequenzen. Reward-Labels werden on-demand innerhalb eines Ray-basierten Dataloaders unter Verwendung konfigurierbarer User-Defined Functions (UDFs) berechnet.
Auswirkung: Dies reduzierte die Zeit bis zum Experiment von ~3 Wochen auf ~2 Tage und hielt die inkrementellen Trainingskosten innerhalb von 5 % des Baselines.

2.4 Integration in Ranking-Modelle

Das Framework ist modellagnostisch und kann auf jedes überwachte oder RL-basierte Ranking-Modell angewendet werden. In der Produktion werden Downstream-Belohnungen als Hilfsköpfe (Auxiliary Heads) in Multi-Task-Learning-Modellen integriert. Der endgültige Score ist eine Linearkombination aus unmittelbaren Engagement-Vorhersagen und Downstream-Reward-Vorhersagen, wobei die Gewichte via HyperOPT abgestimmt werden, um das unmittelbare Erlebnis mit der langfristigen Retention abzuwägen.

3. Experimentelle Ergebnisse

Die Autoren führten umfangreiche Online-A/B-Tests auf den Pinterest-Oberflächen Homefeed, Suche, Verwandte Pins und Benachrichtigungen durch.

3.1 Homefeed-Ergebnisse

Tiefere Sitzungsbelohnungen: Führten zu einer Steigerung der erfolgreichen Sitzungen (Successful Sessions, SS) um +0,36 % und einer Steigerung der gesamten Zeitaufwendung um +0,10 %. Die wöchentlich aktiven Nutzer (WAU) stiegen um +0,1 %.
Negative Belohnungen: Nach der Optimierung der Schwellenwerte nach Nutzerzustand (Kern vs. Nicht-Kern) erreichte das Modell eine Steigerung der SS um +0,16 %, eine Senkung der erfolglosen Sitzungen um -0,40 % und eine Steigerung der Gesamtzeit um +0,35 %. Entscheidend war, dass diese Konfiguration positive Retention-Trends sowohl für Kern- als auch für Nicht-Kernnutzer aufrechterhielt, im Gegensatz zu einem einheitlichen Schwellenwert-Ansatz, der die Retention von Nicht-Kernnutzern geschadet hätte.
Use Case Adoption: Verbesserte die Homefeed-Speicherungen um +0,42 % und erhöhte den Anteil der Nutzer, die mit mehreren Anwendungsfällen interagieren, um +0,18 %.

3.2 Skalierung auf andere Oberflächen

Das Framework wurde erfolgreich auf Suche, Verwandte Pins und Benachrichtigungen ausgeweitet:

Suche: +0,25 % Steigerung der Sucherfüllungsrate (Search Fulfillment Rate).
Verwandte Pins: +0,15 % Steigerung der erfolgreichen Sitzungen.
Benachrichtigungen: +0,14 % Steigerung der erfolgreichen Sitzungen und +0,11 % WAU-Gewinn.
P2P-Spezifika: Die Implementierung einer spezifischen Strafe für flache Closeups auf dem P2P-Ranker (mit einem 2s-Schwellenwert) führte zu +0,14 % SS und einer Steigerung der Sitzungen über 5 Minuten um +0,70 %.

4. Kernbeiträge

Erkenntnisse für die Modellierung der Nutzerbindung: Ein Offline-Evaluationsframework, das Sitzungsebene-Signale (insbesondere tiefes P2P-Exploration und Speichern) als valide Proxys für langfristige Retention identifiziert und irreführende flache Signale herausfiltert.
Modellagnostische Downstream-Belohnungen: Ein einheitliches Framework, das komplementäre Reward-Signale (positiv, negativ und Use-Case-Adoption) generiert, die auf verschiedene Deep-Learning-Modelle und Produktoberflächen anwendbar sind.
Infrastruktur zur Generierung von Reward-Labels: Eine skalierbare, Ray-basierte Infrastruktur (DRv2), die eine schnelle Iteration auf Reward-Definitionen ohne hohen Engineering-Aufwand ermöglicht.
Empirische Evaluationen: Validierung durch langfristige Online-A/B-Tests, die konsistente Verbesserungen der Engagement- und Retention-Metriken über mehrere Pinterest-Oberflächen hinweg zeigen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass dieses Framework eine praktische, skalierbare Lösung zur Optimierung des langfristigen Nutzerwerts in industriellen Empfehlungssystemen bietet, ohne die Komplexität einer vollständigen Implementierung von Reinforcement Learning. Durch die Verlagerung des Fokus von unmittelbaren Klicks auf „Downstream-Belohnungen“, die die Qualität und Tiefe der Nutzersitzungen erfassen, gelingt es dem System, die Spärlichkeit und Verzögerung der Retention-Labels erfolgreich zu mildern.

Die Autoren betonen, dass das Framework generalisierbar und modellagnostisch ist, was es ermöglicht, es mit minimalem Re-Engineering über verschiedene Oberflächen (Homefeed, Suche, P2P) hinweg einzusetzen. Die Ergebnisse legen nahe, dass die Optimierung der Qualität der Nutzerreise (Tiefe, Diversität und Vermeidung flacher Interaktionen) effektiver für die langfristige Retention ist als die Optimierung des reinen Aktivitätsvolumens. Die Arbeit wurde vollständig bei Pinterest in die Produktion übernommen und zeigt, dass die Balance zwischen unmittelbarem Engagement und Downstream-Wert sowohl für die Nutzererfahrung als auch für die Geschäftsmetriken realisierbar und vorteilhaft ist.