Sintesi Tecnica: Ottimizzazione dell'Engagement Utente a Lungo Termine attraverso l'Apprendimento di Reward a Valle Model-agnostic

1. Definizione del Problema

Il paper affronta la sfida di ottimizzare l'engagement e la ritenzione degli utenti a lungo termine nei sistemi di raccomandazione su larga scala, specificamente nel contesto di Pinterest. Mentre i sistemi moderni ottimizzano efficacemente i segnali comportamentali a breve termine (ad es., clic immediati), l'ottimizzazione della ritenzione a lungo termine è difficile a causa di tre fattori primari:

1. Scarsità e Rumore: Le etichette di ritenzione (ad es., se un utente torna dopo una settimana) sono scarse, rumorose e solo debolmente osservabili.
2. Ritardo e Attribuzione: I segnali di ritenzione sono ritardati, rendendo difficile attribuire i risultati futuri a specifiche raccomandazioni precedenti.
3. Spostamento della Distribuzione: Gli interessi degli utenti e le distribuzioni dei dati evolvono nel tempo, causando l'obsolescenza e il disallineamento di obiettivi surrogati fissi rispetto ai comportamenti che guidano il valore a lungo termine.

Gli approoli esistenti che utilizzano l'Apprendimento per Rinforzo (RL) o la modellazione sequenziale richiedono spesso l'ingegneria di reward specifiche per il task, un carico computazionale considerevole e sono difficili da generalizzare su diverse superfici di prodotto (ad es., Homefeed, Search, Related Pins).

2. Metodologia

Gli autori propongono un framework unificato e model-agnostic di downstream reward (DR). Invece di ottimizzare direttamente le etichette di ritenzione ritardate, il sistema impara a ottimizzare i "downstream rewards"—segnali proxy derivati dai pattern di azione osservati che sono predittivi della ritenzione futura.

2.1 Framework di Screening Offline

Prima di definire i reward, gli autori hanno sviluppato un framework di screening offline per identificare i comportamenti a livello di sessione che fungano da validi proxy. Utilizzando un'analisi di pivot-day su utenti a basso engagement, hanno sottoposto centinaia di feature candidate a uno screening basato su tre criteri:

1. Correlazione: Deve correlare con l'engagement sostenuto futuro (non solo con l'attività immediata).
2. Osservabilità: Deve essere osservabile entro o poco dopo la sessione.
3. Predittività Incrementale: Deve rimanere predittiva dopo il controllo dei segnali correlati.

Risultati Chiave dello Screening:

• Profondità rispetto alla Ampiezza: L'engagement profondo (ad es., salvataggi, long closeups, esplorazione del "rabbit hole" P2P) è positivamente correlato alla ritenzione, mentre la navigazione superficiale ad alto volume è spesso fuorviante una volta controllato il volume di esposizione.
• Esplorazione P2P: La densità di esplorazione all'interno del "rabbit hole" Pin-to-Pin (P2P) è un forte predittore di un ritorno più rapido.
• Lunghezza della Sessione: Sessioni più lunghe sono empiricamente legate a visite più frequenti.

2.2 Design dei Downstream Reward

Sulla base degli insight dello screening, gli autori definiscono tre famiglie complementari di reward:

1. Reward per un Engagement di Sessione più Profondo:

   • Calcola la somma cumulativa scontata di azioni ad alta intenzione (salvataggi, download, screenshot) che avvengono a valle di una raccomandazione all'interno di una sessione.
   • Formula: $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$, dove $\gamma$ è un fattore di sconto che favorisce gli eventi più vicini alla raccomandazione iniziale.

2. Negative Rewards (Shallow Closeups):

   • Penalizza esplicitamente le interazioni "superficiali" che indicano una scarsa esperienza utente.
   • Definisce un "shallow closeup" come un closeup con un tempo di permanenza (dwell time) al di sotto di una soglia specifica per lo stato dell'utente (ad es., <1s per utenti core, <0.5s per non-core) che non è seguito da alcuna azione ad alta intenzione a valle.
   • Questo segnale è trattato come un reward negativo per scoraggiare il modello dal proporre contenuti che portano all'abbandono immediato.

3. Reward per l'Adozione di Casi d'Uso:

   • Incoraggia il modello a proporre contenuti che espandano lo spazio di interesse dell'utente oltre i suoi cluster stabiliti.
   • Un reward viene attivato se un utente interagisce con un elemento il cui embedding è dissimile da tutti i suoi cluster di interesse precomputati (similarità < $\eta$).
   • Questo funge da proxy per espandere l'intento dell'utente mantenendo l'allineamento con gli obiettivi di engagement.

2.3 Infrastruttura e Ingegneria

Per affrontare la complessità combinatoria delle definizioni di reward e la necessità di iterazioni rapide, gli autori hanno costruito un'infrastruttura DRv2:

• DRv1 (Legacy): Tabelle pre-aggregate che richiedevano la ricalcolazione completa tramite self-join di Spark per qualsiasi modifica alla definizione del reward (settimane per iterare).
• DRv2 (Proposto): Memorizza l'engagement dell'utente come sequenze giornaliere riutilizzabili. Le etichette di reward vengono calcolate on-demand all'interno di un dataloader basato su Ray utilizzando User-Defined Functions (UDF) configurabili.
• Impatto: Questo ha ridotto il tempo di sperimentazione da circa 3 settimane a circa 2 giorni e ha mantenuto i costi di training incrementali entro il 5% rispetto al baseline.

2.4 Integrazione con i Modelli di Ranking

Il framework è model-agnostic e può essere applicato a qualsiasi modello di ranking basato su apprendimento supervisionato o RL. In produzione, i downstream reward vengono integrati come teste ausiliarie in modelli di apprendimento multi-task. Il punteggio finale è una combinazione lineare delle predizioni di engagement immediato e delle predizioni di downstream reward, con pesi ottimizzati tramite HyperOPT per bilanciare l'esperienza immediata con la ritenzione a lungo termine.

3. Risultati Sperimentali

Gli autori hanno condotto estesi test A/B online su Homefeed, Search, Related Pins e Notifications di Pinterest.

3.1 Risultati Homefeed

• Deeper Session Rewards: Hanno portato a un aumento dello +0.36% nelle Successful Sessions (SS) e di un +0.10% nel Total Time Spent. I Weekly Active Users (WAU) sono aumentati del +0.1%.
• Negative Rewards: Dopo l'ottimizzazione delle soglie per stato utente (core vs. non-core), il modello ha ottenuto un aumento del +0.16% nelle SS, una diminuzione del -0.40% nelle sessioni non andate a buon fine e un aumento del +0.35% nel tempo totale trascorso. Fondamentalmente, questa configurazione ha mantenuto trend di ritenzione positivi sia per gli utenti core che per quelli non-core, a differenza di un approccio a soglia uniforme che danneggiava la ritenzione dei non-core.
• Use Case Adoption: Ha migliorato i salvataggi su Homefeed del +0.42% e ha aumentato la proporzione di utenti che interagiscono con molteplici casi d'uso del +0.18%.

3.2 Scalabilità Cross-Surface

Il framework è stato esteso con successo a Search, Related Pins e Notifications:

• Search: +0.25% di aumento nel Search Fulfillment Rate.
• Related Pins: +0.15% di aumento nelle Successful Sessions.
• Notifications: +0.14% di aumento nelle Successful Sessions e +0.11% di guadagno nei WAU.
• Specifiche P2P: L'implementazione di una specifica penalità per shallow-closeup sul ranker P2P (con una soglia di 2s) ha prodotto un +0.14% di SS e un aumento del +0.70% nelle sessioni più lunghe di 5 minuti.

4. Contributi Chiave

1. Insight per la Modellazione della Ritenzione Utente: Un framework di valutazione offline che identifica i segnali a livello di sessione (specificamente l'esplorazione P2P profonda e i salvataggi) come validi proxy per la ritenzione a lungo termine, filtrando i segnali superficiali fuorvianti.
2. Downstream Reward Model-agnostic: Un framework unificato che genera segnali di reward complementari (positivi, negativi e di adozione di casi d'uso) applicabili a diversi modelli di deep learning e diverse superfici di prodotto.
3. Infrastruttura per la Generazione di Etichette di Reward: Un'infrastruttura scalabile basata su Ray (DRv2) che consente una rapida iterazione sulle definizioni di reward senza pesanti oneri ingegneristici.
4. Valutazioni Empiriche: Validazione attraverso test A/B online a lungo termine che dimostrano miglioramenti coerenti nei parametri di engagement e ritenzione su molteplici superfici di Pinterest.

5. Significato e Claim

Il paper sostiene che questo framework fornisca una soluzione pratica e scalabile per ottimizzare il valore dell'utente a lungo termine nei sistemi di raccomandazione industriali senza la complessità del deployment completo di Reinforcement Learning. Spostando il focus dai clic immediati ai "downstream rewards" che catturano la qualità e la profondità delle sessioni utente, il sistema riesce a mitigare la scarsità e il ritardo delle etichette di ritenzione.

Gli autori sottolineano che il framework è generalizzabile e model-agnostic, permettendo il deployment su diverse superfici (Homefeed, Search, P2P) con un minimo di re-ingegnerizzazione. I risultati suggeriscono che ottimizzare la qualità del percorso dell'utente (profondità, diversità e l'evitare interazioni superficiali) è più efficace per la ritenzione a lungo termine rispetto all'ottimizzazione del volume di attività grezza. Il lavoro è stato pienamente implementato in produzione a Pinterest, dimostrando che bilanciare l'engagement immediato con il valore a valle è realizzabile e benefico sia per l'esperienza utente che per i parametri di business.