Contextual Bandits for Maximizing Stimulated Word-of-Mouth Rewards

Technische Samenvatting: Contextuele Bandieten voor het Maximaliseren van Gestimuleerde Word-of-Mouth Beloningen

Probleemdefinitie
Het artikel behandelt de uitdaging van het optimaliseren van gestimuleerde word-of-mouth (WOM) in sociale netwerken. In tegen tegenover organische WOM, leunt gestimuleerde WOM op prikkels (bijv. beloningen, kortingen) om gebruikers aan te moedigen informatie te delen. De kern van het probleem is de heterogeniteit in netwerkspillover: de waarschijnlijkheid dat een aanbeveling gedaan door een systeemgeactiveerde gebruiker $v_i$ een buur $v_j$ zal beïnvloeden om het product te adopteren, varieert aanzienlijk per gebruikerpaar en netwerkpositie.

Bestaande literatuur gaat er vaak van uit dat spillover-waarschijnlijkheden bekend zijn of richt zich op algemene invloedmaximalisatie zonder individuele rand-waarschijnlijkheden te leren. Dit artikel identificeert een gat waar huidige gestimuleerde WOM-strategieën deze variërende spillover-effecten over het hoofd zien, wat leidt tot suboptimale targeting. Het specifieke probleem dat wordt geformuleerd is Spillover Waarschijnlijkheid Voorspelling voor Top-$k$ Buur-aanbeveling: gegeven een attribuut-netwerk $G=(V, E)$, moet het systeem de spillover-waarschijnlijkheid $e_{ij}.p$ voor randen over $T$ rondes leren om de top-$k$ buren te aanbevelen die het meest waarschijnlijk geactiveerd zullen worden, om daarmee cumulatieve beloningen te maximaliseren.

Methodologie: SpillCB Framework
De auteurs stellen SpillCB voor, een nieuw Contextueel Multi-Armed Bandit (CMAB) framework dat is ontworpen om individuele spillover-waarschijnlijkheden te leren in een online setting.

• Datamodel: Het netwerk wordt gerepresenteerd als een bidirectioneel attribuut-graaf waarbij knopen over attribuutvectoren beschikken ($v.X$). De context voor een rand $e_{ij}$ wordt gedefinieerd als de concatenatie van de attributen van de bronknoop $v_i$, de doelbuur $v_j$, en relevante productattributen.
• Bandit Formulering: Het probleem wordt gemodelleerd als een stochastische 2-arm bandit voor elke rand:
  • Arm $a_0$: De buur niet aanbevelen.
  • Arm $a_1$: De buur $v_j$ aanbevelen aan de systeemgeactiveerde knoop $v_i$.
  • Beloning: Een binaire beloning (1 of 0) wordt gegenereerd als de aanbevolen buur $v_j$ door spillover geactiveerd wordt. De beloning is een functie van de contextvector en de actie, plus ruis.
• Leerstrategie: Het framework werkt in twee fasen over $T$ rondes:
  1. Exploratie: Voor een initiële fractie ($z\%$) van de rondes worden $k$ buren willekeurig geselecteerd om de selectie van randen te diversifiëren en gegevens te verzamelen.
  2. Exploitatie: In daaropvolgende rondes selecteert het algoritme de top-$k$ buren op basis van de geschatte verwachte beloningen van arm $a_1$, voorspeld door het onderliggende CMAB-algoritme.
• Algoritmen: Het framework is agnostisch ten opzichte van de specifieke CMAB-solver, maar wordt geëvalueerd met behulp van LinUCB en EENet. Het doel is om cumulatief regret te minimaliseren, gedefinieerd als het verschil tussen de beloningen van de optimale top-$k$ set en de geselecteerde set.

Experimentele Opstelling en Resultaten
De auteurs hebben SpillCB geëvalueerd op twee real-world attribuut-netwerk datasets: Flickr en Facebook. Spillover-waarschijnlijkheden werden synthetisch gegenereerd op basis van een gewogen functie van cosinus-gelijkenis, niveau-gelijkenis, topologische overlap, diffusie-belangrijkheid en graadproduct.

• Baselines: De voorgestelde methode werd vergeleken met:
  • Random: Willekeurige selectie van $k$ buren.
  • Similarity-based: Selectie gebaseerd op de Euclidische afstand van attribuutvectoren.
  • Ridge Regression: Link-gewicht voorspelling met behulp van ridge regressie op gelabelde randen.
  • GraphSage: Link-gewicht voorspelling met behulp van node embeddings en een neurale netwerk scoringfunctie.
• Metrieken: Prestaties werden gemeten met behulp van Recall@k (het vermogen om de ware top-$k$ buren te identificeren) en de Root Mean Squared Error (RMSE) van de geleerde spillover-waarschijnlijkheden.
• Belangrijkste Bevindingen:
  • SpillCB-varianten (SpillCBLinUCB en SpillCBEENet) presteerden consistent beter dan alle baseline-methoden in Recall@k over verschillende waarden van $k$ (5 tot 25) op beide datasets.
  • Het verhogen van $k$ verminderde over het algemeen de RMSE, omdat dit de exploratie van meer randen mogelijk maakte, wat het leerproces versnelde.
  • Er werd een trade-off waargenomen tussen de exploratieverhouding ($z$) en prestaties: het verhogen van de exploratie van 0% naar 20% verminderde de RMSE (wat de nauwkeurigheid van de waarschijnlijkheidschatting verbeterde) maar verlaagde de Recall@10 in de laatste ronde lichtjes.
  • Naarmate het aantal rondes ($T$) toenam, verbeterde de Recall@10 en nam de RMSE af, wat de effectiviteit van de online leerbenadering aantoont.

Betekenis en Claims
Het artikel claimt een voorlopig werk te presenteren dat gebruikmaakt van contextuele multi-armed bandits om heterogene spillover-effecten te schatten, een factor die vaak over het hoofd wordt gezien in de optimalisatie van gestimuleerde WOM. De primaire bijdrage is een framework dat individuele spillover-waarschijnlijkheden leert in plaats van ervan uit te gaan dat deze bekend zijn.

De auteurs stellen dat het rekening houden met spillover-heterogeniteit de targetingprecisie van top-$k$ verbonden gebruikers verbetert, wat de beloningen verhoogt en beter presteert dan methoden die geen individuele spillover-effecten leren. Het werk beoogt de effectiviteit van aanbevelingssystemen te verbeteren door meer gepersonaliseerde gebruikerservaringen te bieden en de WOM-beloningen te maximaliseren. De auteurs blijven bescheiden over hun claims en merken op dat de resultaten voorlopig zijn en dat toekomstig werk zal bestaan uit testen op meer datasets en baselines om de sterktes en beperkingen van de aanpak verder te begrijpen.