📈 economics

Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

Dit artikel introduceert Budget-geconstraineerde Causale Bandieten (BCCB), een online raamwerk dat het leren van advertentie-effectiviteit, exploratie en budgetpacing verenigt om traditionele offline methoden in cold-start advertentiescenario's te overtreffen door effectief te opereren vanaf de eerste gebruiker met aanzienlijk lagere prestatievariatie.

Oorspronkelijke auteurs: Abhirami Pillai

Gepubliceerd 2026-04-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abhirami Pillai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorme digitale billboardcampagne. Je hebt een beperkt bedrag (een budget) om te besteden aan het tonen van advertenties aan miljoenen mensen. Je doel is simpel: zo veel mogelijk mensen ertoe brengen op de advertentie te klikken en iets te kopen.

Maar hier zit de adder onder het gras: niet iedereen is hetzelfde.

Sommige mensen zouden het product kopen, zelfs als ze de advertentie nooit hadden gezien.
Sommige mensen zouden het nooit kopen, ongeacht hoe vaak je hun de advertentie toont.
Sommige mensen vormen het "sweet spot": ze kopen alleen omdat ze je advertentie hebben gezien.

De uitdaging is om uit te zoeken wie in dat "sweet spot" zit, zonder je geld te verkwisten aan de anderen, terwijl je kassa tikt.

De Oude Manier: De "Kristallen Bol"-Aanpak

Traditioneel probeerden bedrijven dit op te lossen in twee stappen, zoals een chef die een maaltijd bereidt voordat de gasten arriveren:

Het Receptenboek: Ze keken naar een enorme stapel historische data (zoals een receptenboek) om te leren wie meestal wat koopt.
De Boodschappenlijst: Ze gebruikten dat boek om een strikte lijst te maken van precies wie de advertentie te zien moest krijgen.

Het Probleem: Dit werkt uitstekend als je een enorm, perfect receptenboek hebt. Maar wat als je een hele nieuw product lanceert, een nieuw land betreedt of een nieuw type klant wilt targeten? Je hebt dan nog geen receptenboek. De oude methode faalt omdat er niets is om van te leren. Het is alsof je probeert een gastronomisch gerecht te koken met een lege voorraadkast.

De Nieuwe Oplossing: De "Slimme Ontdekkingsreiziger" (BCCB)

De auteurs van dit paper stellen een nieuwe methode voor genaamd Budget-Constrained Causal Bandits (BCCB). In plaats van te wachten op een receptenboek, leert deze methode terwijl het kookt.

Stel je BCCB voor als een slimme ontdekkingsreiziger die door een menigte loopt, met een beperkt bedrag aan geld in zijn hand.

Het "Causale" Deel: De ontdekkingsreiziger gokt niet zomaar wie er geïnteresseerd lijkt. Hij probeert de oorzaak-en-gevolgrelatie uit te zoeken: "Als ik deze specifieke persoon een advertentie toont, zullen ze dan kopen vanwege de advertentie, of hadden ze het toch gekocht?"
Het "Bandit"-Deel: Dit is een chique term voor "leren door te proberen". De ontdekkingsreiziger moet twee dingen in evenwicht brengen:
- Exploitatie: Advertenties tonen aan mensen die een veilige gok lijken (om directe verkopen te krijgen).
- Exploratie: Advertenties tonen aan mensen die een mysterie zijn (om te leren of ze eigenlijk goede targets zijn).
Het "Budget"-Deel: De ontdekkingsreiziger is slim met geld. Als hij te snel uitgeeft in het begin, kan hij zonder geld zitten voordat hij de perfecte klant tegenkomt later. Als hij te zuinig is, mist hij gemakkelijke verkopen. BCCB past voortdurend aan hoe snel het uitgeeft, gebaseerd op hoeveel geld er nog over is en hoeveel tijd er nog rest.

De Grote Ontdekking: Het "Tipping Point"

De onderzoekers testten deze nieuwe ontdekkingsreiziger tegen de oude "receptenboek"-methode met een dataset uit de echte wereld van een groot advertentiebedrijf. Ze vonden een fascinerend "tipping point" in hoeveel data je nodig hebt:

De Koude Start (0 tot 2.000 mensen): De oude methode crasht volledig. Het probeert een receptenboek te bouwen met te weinig ingrediënten en produceert waardeloze resultaten. De nieuwe ontdekkingsreiziger (BCCB) begint echter direct effectief te werken vanaf de allereerste persoon. Het leert onderweg.
Het Middengebied (2.000 tot 10.000 mensen): De oude methode begint te werken, maar het is erg wankel. Op één dag heeft het misschien geluk en vindt het 100 kopers; de volgende dag, met dezelfde hoeveelheid data, vindt het misschien maar 10. Het is onvoorspelbaar. De nieuwe ontdekkingsreiziger is stabiel en betrouwbaar.
Het Sweet Spot (10.000+ mensen): Zodra de oude methode een enorme hoeveelheid historische data heeft (rond de 10.000+ mensen), wordt het uiteindelijk beter dan de ontdekkingsreiziger. Het kan perfect voorspellen zonder geld te hoeven "verspillen" aan leren.

De Belangrijkste Les: Als je een nieuwe campagne start met weinig tot geen historie, wacht dan niet op data. Gebruik de ontdekkingsreiziger (BCCB). Het is 3 tot 5 keer stabieler en betrouwbaarder dan de oude methoden wanneer data schaars is.

Waarom Dit Belangrijk Is

In de echte wereld van digitale advertising verandert alles snel. Nieuwe producten worden gelanceerd, nieuwe markten openen zich en gebruikersgewoonten verschuiven. Je hebt vaak geen tijd om te wachten tot 10.000 eerdere klanten data verzamelen.

Dit paper toont aan dat je niet hoeft te wachten. Je kunt je budget vanaf Dag 1 verstandig uitgeven, leren wie reageert op je advertenties terwijl je gaat, zonder je budget te verkwisten of wild te gokken. Het verandert het chaotische proces van "proberen klanten te vinden" in een stabiele, voorspelbare reis.

1. Probleemformulering

Het artikel adresseert de uitdaging van budget-gelimiteerde behandelingstoewijzing in digitale reclame, specifiek in cold-start scenario's waar historische data schaars of niet-bestaand is (bijvoorbeeld nieuwe campagnes, nieuwe markten).

Kernobjectief: Maximaliseren van totale conversies (behandelingsuitkomsten) door een subset van gebruikers te selecteren om advertenties te tonen, onderworpen aan een totale budgetbeperking $B$ .
Belangrijkste Beperkingen & Uitdagingen:
1. Heterogene Treatment Effects (HTE): Gebruikers reageren verschillend op advertenties. Het doel is om gebruikers te targeten met hoge positieve causale effecten ( $\tau(x)$ ), terwijl diegenen die niet beïnvloed worden of negatief beïnvloed worden, worden vermeden.
2. Budgetbeperkingen: Elke gebruiker heeft een specifieke kost $c_t$ (bijvoorbeeld advertentieveilingprijs). De cumulatieve kost mag $B$ niet overschrijden.
3. Cold-Start / Data-schaarste: Traditionele offline-methoden vereisen grote historische datasets om uplift-modellen te trainen. In nieuwe scenario's is deze data niet beschikbaar, wat leidt tot het "cold-start"-probleem.
4. Sequentiële Besluitvorming: Gebruikers arriveren één voor één. Het systeem moet treatment effects online leren terwijl het tegelijkertijd het budget pacing beheert (het voorkomen van voortijdige uitputting of verspillend onderbesteden).

Formele Definitie:
Het probleem wordt gemodelleerd als een sequentieel proces over $T$ rondes. Bij elke ronde $t$ observeert de agent een gebruiker met kenmerken $x_t$ en kost $c_t$ , en kiest een actie $a_t \in \{0, 1\}$ (behandelen of niet). Het objectief is:
$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{onder voorwaarde} \quad \sum_{t=1}^T a_t \cdot c_t \le B$
waarbij $Y_t(1)$ de potentiële uitkomst is indien behandeld.

2. Methodologie: Budget-Constrained Causal Bandits (BCCB)

De auteurs stellen BCCB voor, een unificerend online raamwerk dat drie distincte componenten integreert in één enkel sequentieel besluitvormingsproces. In tegenstelling tot offline twee-staps pipelines (eerst trainen, dan optimaliseren) of standaard bandits (die HTE negeren), leert, exploreert en paceert BCCB gelijktijdig.

A. Online HTE Schatting

Aanpak: Gebruikt een twee-modellen aanpak om individuele treatment effects online te schatten.
- Model 1: Schat $P(Y=1 | x, T=1)$ (Conversiekans indien behandeld).
- Model 2: Schat $P(Y=1 | x, T=0)$ (Conversiekans indien controle).
Mechanisme: Beide modellen worden incrementeel bijgewerkt met Stochastic Gradient Descent (SGD) met logistische loss na elke observatie.
Cold-Start Behandeling: Voordat voldoende data is verzameld (minder dan 50 behandelde/controle observaties), wordt een optimistische prior ( $\hat{\tau} = 0.002$ ) gebruikt om initiële exploratie te stimuleren.

B. Thompson Sampling Exploratie

Doel: Balans vinden tussen exploratie (leren over onzekere gebruikers) en exploitatie (targeten van bekende hoogwaardige gebruikers).
Mechanisme: Houdt Beta-posteriorverdelingen bij voor de globale treatment- en controlesuccespercentages.
Exploratie Bonus: Bij elke stap steekt het algoritme uit de posteriors om een exploratiebonus te berekenen:
$\text{exploration\_bonus}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$
Deze bonus wordt toegevoegd aan de geschatte HTE, waardoor het algoritme wordt aangemoedigd gebruikers met onzekere effecten te behandelen, zelfs als de huidige HTE-schatting dubbelzinnig is.

C. Adaptieve Budget Pacing

Doel: Voorkomen van voortijdige budgetuitputting of inefficiënt onderbesteden.
Mechanisme: Berekent een budgetdrukverhouding ( $pace_t$ $p a c e_{t}$ ) bij elke ronde:
$pace_t = \frac{B_t / B_0}{(T - t) / T}$
- Als $pace_t > 1$ : Het budget is overvloedig ten opzichte van de tijd; het algoritme geeft vrijer uit.
- Als $pace_t < 1$ : Het budget raakt te snel op; het algoritme wordt selectiever.
Drempelmodulatie: De pacing-verhouding past dynamisch de beslissingsdrempel aan. Wanneer het budget schaars is, stijgt de drempel voor behandeling, waardoor alleen gebruikers met hoge kosteneffectiviteit worden geselecteerd.

D. Gecombineerde Beslissingsregel

Voor elke gebruiker $t$ berekent het algoritme een score en een waarde-per-dollar-maatstaf:

Score: $s_t = \hat{\tau}(x_t) + \text{exploration\_bonus}_t$
Waarde: $v_t = s_t / c_t$
Beslissing: Behandel ( $a_t=1$ ) als $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$ , waarbij $\lambda$ een basisdrempel is.

3. Belangrijkste Bijdragen

Unificerend Raamwerk: Stelt BCCB voor, het eerste raamwerk dat HTE-leren, Thompson Sampling-exploratie en adaptieve budget pacing unificeert in één enkel online proces zonder vereiste van vooraf verzamelde historische data.
Data-efficiëntie Crossover: Identificeert empirisch een kritieke drempel (~10.000 historische observaties). Daaronder falen offline-methoden of zijn ze zeer instabiel; daarboven kunnen offline-methoden online-methoden overtreffen. BCCB werkt effectief vanaf de allereerste gebruiker.
Prestatiestabiliteit: Toont aan dat BCCB een 3–5x lagere prestatievariantie heeft vergeleken met offline-methoden over herhaalde runs, wat het betrouwbaarder maakt voor campagneplanning.
Superieure Online Prestaties: Onder puur online-methoden presteert BCCB consequent beter dan Standaard Thompson Sampling, Budgeted Thompson Sampling en Greedy HTE-schatting over alle budgetniveaus.

4. Experimentele Resultaten

De studie werd geëvalueerd op het Criteo Uplift dataset (1,4 miljoen gebruikers) met synthetische kosten gegenereerd via een log-normale verdeling.

Online vs. Online Vergelijking:
- Bij een hoog budget ($8.000) behaalde BCCB 46 conversies, beter dan Standaard Thompson Sampling (37) en HTE Greedy (29).
- Bij krappe budgetten ($1.000) presteerden BCCB en Budgeted TS het best, wat het belang van budgetbewustzijn onderstreept.
Data-efficiëntie Crossover (Offline vs. Online):
- < 2.000 observaties: Offline-methoden faalden volledig (het model kon niet passen vanwege nul positieve voorbeelden in de controlegroep). BCCB werkte succesvol.
- 2.000 – 10.000 observaties: Offline-methoden toonden extreme variantie (Variatiecoëfficiënt > 100%). BCCB bleef stabiel.
- > 50.000 observaties: Offline-methoden overtroffen uiteindelijk BCCB (104 vs. 25 conversies), wat bevestigt dat offline-methoden superieur zijn wanneer overvloedige, representatieve data bestaat.
Stabiliteit: BCCB vertoonde standaardafwijkingen van 7–13 conversies, terwijl offline-methoden varieerden van 35–65. Deze 3–5x reductie in variantie is cruciaal voor voorspelbare ROI-prognoses.
Schaalbaarheid: BCCB behield topprestaties over datasetschalen (100K, 500K, 1,4M gebruikers), terwijl Greedy HTE-methoden zeer inconsistent waren.

5. Betekenis en Beperkingen

Betekenis:

Oplossing voor het Cold-Start Probleem: Biedt een levensvatbare oplossing voor nieuwe reclamecampagnes waar historische data niet beschikbaar is, een scenario waarin standaard industriepipelines falen.
Risicobeperking: De hoge stabiliteit van BCCB vermindert het risico op campagnefalen door toevallige zaadvariantie, een veelvoorkomend probleem bij offline modellen getraind op kleine datasets.
Paradigmaverschuiving: Verplaatst het veld van "eerst trainen, dan implementeren" naar "gelijktijdig leren en toewijzen" voor causal inference met beperkte middelen.

Beperkingen:

Data-overvloed: Als een bedrijf 50.000+ historische observaties heeft uit dezelfde populatie, blijven offline-methoden superieur.
Synthetische Kosten: De studie gebruikte synthetische kosten gebaseerd op een log-normale verdeling. Real-world veilingdynamiek kan complexer zijn.
Modelcomplexiteit: De huidige implementatie gebruikt lineaire classifiers voor HTE. Expressievere online modellen (bijvoorbeeld online neurale netwerken) kunnen de nauwkeurigheid verbeteren, maar werden overgelaten voor toekomstig werk.

Conclusie:
BCCB overbrugt de kloof tussen uplift modeling en sequentiële besluitvorming, en biedt een robuuste, data-efficiënte oplossing voor budget-gelimiteerde behandelingstoewijzing in digitale reclame, met name in scenario's gekenmerkt door dataschaarste en de behoefte aan directe, stabiele prestaties.