Contextual Bandits for Maximizing Stimulated Word-of-Mouth Rewards

Sintesi Tecnica: Contextual Bandits per la Massimizzazione dei Premi del Passaparola Stimolato

Definizione del Problema
Il documento affronta la sfida di ottimizzare il passaparola (WOM - Word-of-Mouth) stimolato nelle reti sociali. A differenza del passaparola organico, il passaparola stimolato si basa su incentivi (ad esempio, premi, sconti) per incoraggiare gli utenti a condividere informazioni. Il problema centrale è l'eterogeneità nello spillover di rete: la probabilità che una raccomandazione effettuata da un utente $v_i$ attivato dal sistema influenzi un vicino $v_j$ ad adottare il prodotto varia significativamente tra diverse coppie di utenti e posizioni in rete.

La letteratura esistente spesso assume che le probabilità di spillover siano note o si concentra sulla massimizzazione dell'influenza generale senza apprendere le probabilità di legame individuali. Questo articolo identifica una lacuna in cui le attuali strategie di passaparola stimolato trascurano questi variabili effetti di spillover, portando a un targeting sub-ottimale. Il problema specifico formulato è la Predizione della Probabilità di Spillover per la Raccomandazione dei Top-$k$ Vicini: dato un grafo con attributi $G=(V, E)$, il sistema deve apprendere la probabilità di spillover $e_{ij}.p$ per gli archi su $T$ round per raccomandare i top-$k$ vicini più propensi ad attivarsi, massimizzando così i premi cumulativi.

Metodologia: Framework SpillCB
Gli autori propongono SpillCB, un nuovo framework di Contextual Multi-Armed Bandit (CMAB) progettato per apprendere le probabilità di spillover individuali in un contesto online.

• Modello di Dati: La rete è rappresentata come un grafo bidirezionale con attributi in cui i nodi possiedono vettori di attributi ($v.X$). Il contesto per un arco $e_{ij}$ è definito come la concatenazione degli attributi del nodo sorgente $v_i$, del vicino target $v_j$ e degli attributi rilevanti del prodotto.
• Formulazione Bandit: Il problema è modellato come un bandit stocastico a 2 braccia per ogni arco:
  • Braccio $a_0$: Non raccomandare il vicino.
  • Braccio $a_1$: Raccomandare il vicino $v_j$ al nodo $v_i$ attivato dal sistema.
  • Premio (Reward): Un premio binario (1 o 0) viene generato se il vicino raccomandato $v_j$ viene attivato a causa dello spillover. Il premio è una funzione del vettore di contesto e dell'azione, più del rumore.
• Strategia di Apprendimento: Il framework opera in due fasi su $T$ round:
  1. Esplorazione: Per una frazione iniziale ($z\%$) di round, vengono selezionati $k$ vicini casualmente per diversificare le selezioni degli archi e raccogliere dati.
  2. Sfruttamento (Exploitation): Nei round successivi, l'algoritmo seleziona i top-$k$ vicini basandosi sulle ricompense attese stimate del braccio $a_1$, predette dall'algoritmo CMAB sottostante.
• Algoritmi: Il framework è agnostico rispetto allo specifico risolutore CMAB, ma viene valutato utilizzando LinUCB e EENet. L'obiettivo è minimizzare il regret cumulativo, definito come la differenza tra i premi del set ottimale di top-$k$ e il set selezionato.

Configurazione Sperimentale e Risultati
Gli autori hanno valutato SpillCB su due dataset di reti con attributi del mondo reale: Flickr e Facebook. Le probabilità di spillover sono state generate sinteticamente sulla base di una funzione pesata della similarità del coseno, della similarità di livello, della sovrapposizione topologica, dell'importanza di diffusione e del prodotto dei gradi.

• Baseline: Il metodo proposto è stato confrontato con:
  • Random: Selezione casuale di $k$ vicini.
  • Basato sulla Similarità: Selezione basata sulla distanza euclidea dei vettori di attributi.
  • Regressione Ridge: Predizione del peso del legame tramite regressione ridge sugli archi etichettati.
  • GraphSage: Predizione del peso del legame tramite embedding dei nodi e una funzione di scoring neurale.
• Metriche: Le prestazioni sono state misurate utilizzando Recall@k (capacità di identificare i veri top-$k$ vicini) e l'errore quadratico medio (RMSE) delle probabilità di spillover apprese.
• Risultati Chiave:
  • Le varianti di SpillCB (SpillCBLinUCB e SpillCBEENet) hanno superato costantemente tutti i metodi baseline in termini di Recall@k per diversi valori di $k$ (da 5 a 25) su entrambi i dataset.
  • L'aumento di $k$ ha generalmente ridotto l'RMSE, poiché ha permesso l'esplorazione di più archi, accelerando il processo di apprendimento.
  • È stato osservato un compromesso tra il rapporto di esplorazione ($z$) e le prestazioni: aumentare l'esplorazione dallo 0% al 20% ha ridotto l'RMSE (migliorando l'accuratezza della stima della probabilità) ma ha leggermente diminuito la Recall@10 nell'ultimo round.
  • All'aumentare del numero di round ($T$), la Recall@10 è migliorata e l'RMSE è diminuito, dimostrando l'efficacia dell'approccio di apprendimento online.

Significatività e Rivendicazioni
Il documento afferma di presentare un lavoro preliminare che sfrutta i contextual multi-armed bandit per stimare gli effetti di spillover eterogenei, un fattore spesso trascurato nell'ottimizzazione del passaparola stimolato. Il contributo primario è un framework che apprende le probabilità di spillover individuali invece di assumere che siano note.

Gli autori asseriscono che tenere conto dell'eterogeneità dello spillover migliora la precisione del targeting degli utenti connessi top-$k$, aumentando i premi e superando i metodi che non apprendono gli effetti di spillover individuali. Il lavoro mira a migliorare l'efficacia dei sistemi di raccomandazione offrendo esperienze utente più personalizzate e massimizzando i premi del passaparola. Gli autori rimangono modesti riguardo alle loro affermazioni, notando che i risultati sono preliminari e che il lavoro futuro comporterà il test su più dataset e baseline per comprendere ulteriormente i punti di forza e i limiti dell'approccio.