Technische Samenvatting: Optimalisatie van Langdurige Gebruikersbetrokkenheid door Model-agnostisch Downstream Rewards Leren

1. Probleemdefinitie

Het artikel behandelt de uitdaging van het optimaliseren van langdurige gebruikersbetrokkenheid en retentie in grootschalige aanbevelingssystemen, specifiek binnen de context van Pinterest. Hoewel moderne systemen effectief optimaliseren voor korte-termijn gedragssignalen (bijv. directe clicks), is het optimaliseren van langdurige retentie moeilijk vanwege drie primaire factoren:

1. Sparsity en Ruis: Retentielabels (bijv. of een gebruiker een week later terugkeert) zijn schaars, ruizig en slechts zwak observeerbaar.
2. Vertraging en Attributie: Retentiesignalen zijn vertraagd, wat het moeilijk maakt om toekomstige uitkomsten toe te schrijven aan specifieke eerdere aanbevelingen.
3. Distributieverschuiving: Gebruikersinteresses en datadistributies evolueren in de loop van de tijd, waardoor vaste surrogaatdoelstellingen verouderd en niet langer afgestemd raken op gedragingen die langdurige waarde drijven.

Bestaande benaderingen die gebruikmaken van Reinforcement Learning (RL) of sequentiële modellering vereisen vaak taakspecifieke reward engineering, aanzienlijke computationele overhead en zijn moeilijk te generaliseren over verschillende productoppervlakken (bijv. Homefeed, Zoeken, Gerelateerde Pins).

2. Methodologie

De auteurs stellen een verenigd, model-agnostisch downstream reward (DR) framework voor. In plaats van direct te optimaliseren voor vertraagde retentielabels, leert het systeem te optimaliseren voor "downstream rewards"—proxy-signalen afgeleid van geobserveerde gebruikerspatronen die voorspellend zijn voor toekomstige retentie.

2.1 Offline Screening Framework

Voordat de rewards worden gedefinieerd, hebben de auteurs een offline screening framework ontwikkeld om sessie-niveau gedragingen te identificeren die dienen als geldige proxies. Met behulp van een pivot-day analyse op gebruikers met een lage betrokkenheid, hebben ze honderden kandidaat-features gescreend tegen drie criteria:

1. Correlatie: Moet correleren met toekomstige duurzame betrokkenheid (niet alleen onmiddellijke activiteit).
2. Observeerbaarheid: Moet observeerbaar zijn binnen of kort na de sessie.
3. Incrementele Voorspelbaarheid: Moet voorspellend blijven nadat gecorreleerde signalen zijn gecontroleerd.

Belangrijkste bevindingen uit de screening:

• Diepte boven Breedte: Diepe betrokkenheid (bijv. saves, lange closeups, P2P rabbit hole exploratie) correleert positief met retentie, terwijl oppervlakkige, hoog-volume browsing vaak misleidend is zodra het exposievolume wordt gecontroleerd.
• P2P Exploratie: De dichtheid van exploratie binnen de "Pin-to-Pin" (P2P) rabbit hole is een sterke voorspeller van een snellere terugkeer.
• Sessie Duur: Langere sessies zijn empirisch gekoppeld aan snellere herbezoeken.

2.2 Downstream Reward Ontwerpen

Op basis van de inzichten uit de screening definiëren de auteurs drie complementaire reward-families:

1. Rewards voor Diepere Sessie-betrokkenheid:

   • Berekent een gedisconteerde cumulatieve som van high-intent acties (saves, downloads, screenshots) die downstream van een aanbeveling binnen een sessie plaatsvinden.
   • Formule: $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$, waarbij $\gamma$ een kortingsfactor is die evenementen dichter bij de initiële aanbeveling bevoordeelt.

2. Negatieve Rewards (Oppervlakkige Closeups):

   • Straft expliciet "oppervlakkige" interacties af die duiden op een slechte gebruikerservaring.
   • Definieert een "oppervlakkige closeup" als een closeup met een verblijftijd onder een gebruikers-status-specifieke drempelwaarde (bijv. <1s voor core gebruikers, <0.5s voor non-core) die niet wordt gevolgd door een enkele high-intent downstream actie.
   • Dit signaal wordt behandeld als een negatieve reward om het model af te raden content te tonen die leidt tot onmiddellijke afhaakmomenten.

3. Rewards voor Use Case Adoptie:

   • Moedigt het model aan om content te tonen die de interesse-ruimte van een gebruiker uitbreidt buiten hun gevestigde clusters.
   • Een reward wordt getriggerd als een gebruiker een item betrekt waarvan de embedding dissimilar is aan al hun vooraf berekende interesse-clusters (gelijkenis < $\eta$).
   • Dit fungeert als een proxy voor het uitbreiden van de gebruikersintentie terwijl de afstemming met engagement-doelen behouden blijft.

2.3 Infrastructuur en Engineering

Om de combinatorische complexiteit van reward-definities en de noodzaak voor snelle iteratie aan te pakken, hebben de auteurs een DRv2 infrastructuur gebouwd:

• DRv1 (Legacy): Vooraf geaggregeerde tabellen die volledige herberekening via Spark self-joins vereisten voor elke wijziging in de reward-definitie (weken om te itereren).
• DRv2 (Voorgesteld): Slaat gebruikersbetrokkenheid op als herbruikbare dagelijkse sequenties. Reward-labels worden on-demand berekend binnen een Ray-gebaseerde dataloader met behulp van configureerbare User-Defined Functions (UDF's).
• Impact: Dit verminderde de tijd-tot-experiment van ~3 weken naar ~2 dagen en hield de incrementele trainingskosten binnen 5% van de baseline.

2.4 Integratie met Ranking Modellen

Het framework is model-agnostisch en kan worden toegepast op elk supervised of RL-gebaseerd ranking model. In productie worden downstream rewards geïntegreerd als auxiliary heads in multi-task learning modellen. De definitieve score is een lineaire combinatie van onmiddellijke engagement-voorspellingen en downstream reward-voorspellingen, met gewichten die via HyperOPT worden afgestemd om de balans te vinden tussen onmiddellijke ervaring en langdurige retentie.

3. Experimentele Resultaten

De auteurs hebben uitgebreide online A/B-testen uitgevoerd op Pinterest's Homefeed, Search, Related Pins en Notifications.

3.1 Homefeed Resultaten

• Deeper Session Rewards: Leidde tot een +0,36% toename in Successful Sessions (SS) en een +0,10% toename in Total Time Spent. Weekly Active Users (WAU) steeg met +0,1%.
• Negative Rewards: Na het optimaliseren van drempelwaarden per gebruikersstatus (core vs. non-core), bereikte het model een +0,16% toename in SS, een -0,40% afname in unsuccessful sessions, en een +0,35% toename in totale tijd besteed. Cruciaal is dat deze configuratie positieve retentie-trends behield voor zowel core als non-core gebruikers, in tegen tegenstelling tot een uniforme drempelwaarde-aanpak die de retentie van non-core gebruikers schaadde.
• Use Case Adoption: Verbeterde Homefeed saves met +0,42% en verhoogde het aandeel gebruikers dat met meerdere use cases engageert met +0,18%.

3.2 Cross-Surface Schaling

Het framework werd succesvol uitgebreid naar Search, Related Pins en Notifications:

• Search: +0,25% toename in Search Fulfillment Rate.
• Related Pins: +0,15% toename in Successful Sessions.
• Notifications: +0,14% toename in Successful Sessions en een +0,11% WAU winst.
• P2P Specifics: Het implementeren van een specifieke shallow-closeup penalty op de P2P ranker (met een 2s drempelwaarde) resulteerde in +0,14% SS en een +0,70% toename in sessies langer dan 5 minuten.

4. Belangrijkste Bijdragen

1. Inzichten voor Gebruikersretentie Modellering: Een offline evaluatieframework dat sessie-niveau signalen (specifiek diepe P2P exploratie en saves) identificeert als geldige proxies voor langdurige retentie, waarbij misleidende oppervlakkige signalen worden gefilterd.
2. Model-agnostische Downstream Rewards: Een verenigd framework dat complementaire reward-signalen genereert (positief, negatief en use-case adoptie) die toepasbaar zijn op verschillende deep learning modellen en productoppervlakken.
3. Reward Label Generatie Infrastructuur: Een schaalbare, Ray-gebaseerde infrastructuur (DRv2) die snelle iteratie op reward-definities mogelijk maakt zonder zware engineering overhead.
4. Empirische Evaluaties: Validatie via langdurige online A/B-testen die consistente verbeteringen laten zien in engagement- en retentiemetrics over meerdere Pinterest-oppervlakken.

5. Betekenis en Claims

Het artikel beweert dat dit framework een praktische, schaalbare oplossing biedt voor het optimaliseren van de langdurige gebruikerswaarde in industriële aanbevelingssystemen zonder de complexiteit van een volledige Reinforcement Learning implementatie. Door de focus te verschuiven van onmiddellijke clicks naar "downstream rewards" die de kwaliteit en diepte van gebruikerssessies vangen, slaagt het systeem erin de schaarste en vertraging van retentielabels te mitigeren.

De auteurs benadrukken dat het framework generaliseerbaar en model-agnostisch is, waardoor het met minimale re-engineering kan worden ingezet over diverse oppervlakken (Homefeed, Search, P2P). De resultaten suggereren dat het optimaliseren van de kwaliteit van de gebruikersreis (diepte, diversiteit en het vermijden van oppervlakkige interacties) effectiever is voor langdurige retentie dan het optimaliseren van het brute volume aan activiteit. Het werk is volledig geïmplementeerd in productie bij Pinterest, wat aantoont dat het balanceren van onmiddellijke engagement met downstream waarde haalbaar en voordelig is voor zowel de gebruikerservaring als de bedrijfsmetrieken.