📈 economics

Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

Dieser Artikel stellt Budget-Constrained Causal Bandits (BCCB) vor, ein Online-Framework, das das Lernen der Werbewirksamkeit, Exploration und Budget-Taktung vereint, um traditionelle Offline-Methoden in Cold-Start-Werbungsszenarien zu übertreffen, indem es bereits ab dem ersten Nutzer effektiv arbeitet und dabei eine deutlich geringere Leistungsschwankung aufweist.

Ursprüngliche Autoren: Abhirami Pillai

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Abhirami Pillai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Manager einer riesigen digitalen Werbetafel-Kampagne. Sie haben eine begrenzte Geldmenge (ein Budget), um Anzeigen Millionen von Menschen zu zeigen. Ihr Ziel ist einfach: Möglichst viele Menschen dazu bringen, auf die Anzeige zu klicken und etwas zu kaufen.

Aber hier liegt der Haken: Nicht jeder ist gleich.

Manche Menschen würden das Produkt kaufen, selbst wenn sie die Anzeige nie gesehen hätten.
Manche Menschen würden es niemals kaufen, egal wie oft Sie ihnen die Anzeige zeigen.
Manche Menschen sind der „Sweet Spot": Sie kaufen nur, weil sie Ihre Anzeige gesehen haben.

Die Herausforderung besteht darin, herauszufinden, wer sich in diesem „Sweet Spot" befindet, ohne Ihr Geld für die anderen zu verschwenden, während Ihre Registrierkasse herunterzählt.

Der alte Weg: Der „Kristallkugel"-Ansatz

Traditionell versuchten Unternehmen, dies in zwei Schritten zu lösen, wie ein Koch, der ein Gericht zubereitet, bevor die Gäste eintreffen:

Das Rezeptbuch: Sie würden einen riesigen Haufen vergangener Daten (wie ein Rezeptbuch) durchsuchen, um zu lernen, wer normalerweise was kauft.
Die Einkaufsliste: Sie würden dieses Buch nutzen, um eine strikte Liste genau der Personen zu erstellen, denen die Anzeige gezeigt werden soll.

Das Problem: Dies funktioniert hervorragend, wenn Sie ein massives, perfektes Rezeptbuch haben. Aber was ist, wenn Sie ein brandneues Produkt auf den Markt bringen, ein neues Land betreten oder eine neue Art von Kunde ansprechen wollen? Sie haben noch kein Rezeptbuch. Die alte Methode versagt, weil sie nichts hat, woraus sie lernen könnte. Es ist, als würde man versuchen, ein Gourmetgericht mit einem leeren Vorratsschrank zu kochen.

Die neue Lösung: Der „kluge Entdecker" (BCCB)

Die Autoren dieses Papiers schlagen eine neue Methode vor, die als Budget-Constrained Causal Bandits (BCCB) bezeichnet wird. Anstatt auf ein Rezeptbuch zu warten, lernt diese Methode während des Kochens.

Stellen Sie sich BCCB als einen klugen Entdecker vor, der durch eine Menschenmenge geht und eine begrenzte Geldmenge bei sich trägt.

Der „kausale" Teil: Der Entdecker rät nicht einfach, wer interessiert aussieht. Er versucht, die Ursache-Wirkung herauszufinden: „Wenn ich dieser spezifischen Person eine Anzeige zeige, wird sie wegen der Anzeige kaufen, oder hätte sie ohnehin gekauft?"
Der „Bandit"-Teil: Dies ist ein ausgefallener Begriff für „durch Ausprobieren lernen". Der Entdecker muss zwei Dinge ausbalancieren:
- Ausbeutung: Anzeigen Personen zu zeigen, die wie eine sichere Wette wirken (um sofortige Verkäufe zu erzielen).
- Erkundung: Anzeigen Personen zu zeigen, die ein Rätsel sind (um herauszufinden, ob sie tatsächlich gute Ziele sind).
Der „Budget"-Teil: Der Entdecker ist klug mit Geld. Wenn er zu schnell am Anfang ausgibt, könnte er vor dem Treffen des perfekten Kunden später das Geld ausgehen haben. Wenn er zu geizig ist, verpasst er leichte Verkäufe. BCCB passt ständig an, wie schnell es ausgibt, basierend darauf, wie viel Geld noch übrig ist und wie viel Zeit noch bleibt.

Die große Entdeckung: Der „Kipppunkt"

Die Forscher testeten diesen neuen Entdecker gegen die alte „Rezeptbuch"-Methode unter Verwendung eines realen Datensatzes eines großen Werbeunternehmens. Sie fanden einen faszinierenden „Kipppunkt" in der Menge an Daten, die Sie benötigen:

Der kalte Start (0 bis 2.000 Personen): Die alte Methode stürzt völlig ab. Sie versucht, ein Rezeptbuch mit zu wenigen Zutaten zu erstellen und produziert Müllergebnisse. Der neue Entdecker (BCCB) hingegen funktioniert ab der ersten Person effektiv. Er lernt unterwegs.
Der Mittelbereich (2.000 bis 10.000 Personen): Die alte Methode beginnt zu funktionieren, ist aber sehr wackelig. Eines Tages hat sie vielleicht Glück und findet 100 Käufer; am nächsten Tag findet sie mit der gleichen Datenmenge nur 10. Sie ist unvorhersehbar. Der neue Entdecker ist beständig und zuverlässig.
Der Sweet Spot (10.000+ Personen): Sobald die alte Methode eine riesige Menge historischer Daten hat (etwa 10.000+ Personen), wird sie schließlich besser als der Entdecker. Sie kann perfekt vorhersagen, ohne Geld für das Lernen „verschwenden" zu müssen.

Die Kernaussage: Wenn Sie eine neue Kampagne mit wenig bis gar keiner Historie starten, warten Sie nicht auf Daten. Nutzen Sie den Entdecker (BCCB). Er ist bei knappen Daten 3- bis 5-mal stabiler und zuverlässiger als die alten Methoden.

Warum das wichtig ist

In der realen Welt der digitalen Werbung ändern sich die Dinge schnell. Neue Produkte werden auf den Markt gebracht, neue Märkte öffnen sich und Nutzergewohnheiten verschieben sich. Oft haben Sie keine Zeit zu warten, bis sich Daten von 10.000 vergangenen Kunden gesammelt haben.

Dieses Papier zeigt, dass Sie nicht warten müssen. Sie können Ihr Budget ab dem ersten Tag klug ausgeben, während Sie unterwegs lernen, wer auf Ihre Anzeigen reagiert, ohne Ihr Budget zu sprengen oder wild zu raten. Es verwandelt den chaotischen Prozess des „Versuchens, Kunden zu finden" in eine stetige, vorhersehbare Reise.

1. Problemformulierung

Das Paper adressiert die Herausforderung der budgetbeschränkten Behandlungsallokation in der digitalen Werbung, insbesondere in Cold-Start-Szenarien, in denen historische Daten knapp oder nicht vorhanden sind (z. B. neue Kampagnen, neue Märkte).

Kernziel: Maximierung der Gesamtzahl der Conversions (Behandlungsergebnisse) durch Auswahl einer Teilmenge von Nutzern, denen Werbung angezeigt wird, unter Einhaltung einer Gesamtbudgetbeschränkung $B$ .
Wichtige Einschränkungen & Herausforderungen:
1. Heterogene Behandlungseffekte (HTE): Nutzer reagieren unterschiedlich auf Werbung. Das Ziel ist es, Nutzer mit hohen positiven kausalen Effekten ( $\tau(x)$ ) zu targeten und diejenigen zu vermeiden, die unbeeinflusst bleiben oder negativ beeinflusst werden.
2. Budgetbeschränkungen: Jeder Nutzer hat spezifische Kosten $c_t$ (z. B. Auktionspreis für Werbung). Die kumulierten Kosten dürfen $B$ nicht überschreiten.
3. Cold-Start / Datenknappheit: Herkömmliche Offline-Methoden erfordern große historische Datensätze, um Uplift-Modelle zu trainieren. In neuen Szenarien stehen diese Daten nicht zur Verfügung, was zum „Cold-Start"-Problem führt.
4. Sequentielle Entscheidungsfindung: Nutzer kommen nacheinander herein. Das System muss Behandlungseffekte online lernen und gleichzeitig das Budget-Pacing steuern (Vermeidung einer vorzeitigen Erschöpfung oder verschwenderischer Unterauslastung).

Formale Definition:
Das Problem wird als sequentieller Prozess über $T$ Runden modelliert. In jeder Runde $t$ beobachtet der Agent einen Nutzer mit Merkmalen $x_t$ und Kosten $c_t$ und wählt eine Aktion $a_t \in \{0, 1\}$ (behandeln oder nicht). Das Ziel ist:
$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{unter der Bedingung} \quad \sum_{t=1}^T a_t \cdot c_t \le B$
wobei $Y_t(1)$ das potenzielle Ergebnis bei Behandlung ist.

2. Methodik: Budget-Constrained Causal Bandits (BCCB)

Die Autoren schlagen BCCB vor, ein einheitliches Online-Framework, das drei verschiedene Komponenten in einen einzigen sequentiellen Entscheidungsprozess integriert. Im Gegensatz zu Offline-Zweistufen-Pipelines (trainieren, dann optimieren) oder Standard-Bandits (die HTE ignorieren), lernt, erkundet und steuert BCCB gleichzeitig.

A. Online-HTE-Schätzung

Ansatz: Verwendung eines Zwei-Modell-Ansatzes zur Schätzung individueller Behandlungseffekte online.
- Modell 1: Schätzt $P(Y=1 | x, T=1)$ (Konversionswahrscheinlichkeit bei Behandlung).
- Modell 2: Schätzt $P(Y=1 | x, T=0)$ (Konversionswahrscheinlichkeit bei Kontrolle).
Mechanismus: Beide Modelle werden nach jeder Beobachtung inkrementell mittels Stochastic Gradient Descent (SGD) mit logistischem Verlust aktualisiert.
Cold-Start-Handling: Bevor ausreichend Daten gesammelt wurden (weniger als 50 behandelte/kontrollierte Beobachtungen), wird ein optimistischer Prior ( $\hat{\tau} = 0.002$ ) verwendet, um eine initiale Exploration zu fördern.

B. Thompson-Sampling-Exploration

Ziel: Balance zwischen Exploration (Lernen unsicherer Nutzer) und Exploitation (Targeting bekannter hochwertiger Nutzer).
Mechanismus: Wartung von Beta-Posterior-Verteilungen für die globalen Erfolgsraten der Behandlung und der Kontrolle.
Explorationsbonus: In jedem Schritt zieht der Algorithmus aus den Posteriors, um einen Explorationsbonus zu berechnen:
$\text{exploration\_bonus}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$
Dieser Bonus wird zum geschätzten HTE addiert und ermutigt den Algorithmus, Nutzer mit unsicheren Effekten zu behandeln, selbst wenn die aktuelle HTE-Schätzung mehrdeutig ist.

C. Adaptive Budget-Pacing

Ziel: Verhinderung einer vorzeitigen Budgeterschöpfung oder ineffizienter Unterauslastung.
Mechanismus: Berechnung eines Budget-Druck-Verhältnisses ( $pace_t$ $p a c e_{t}$ ) in jeder Runde:
$pace_t = \frac{B_t / B_0}{(T - t) / T}$
- Wenn $pace_t > 1$ : Das Budget ist im Verhältnis zur Zeit reichlich vorhanden; der Algorithmus gibt großzügiger aus.
- Wenn $pace_t < 1$ : Das Budget erschöpft sich zu schnell; der Algorithmus wird selektiver.
Schwellenwert-Modulation: Das Pacing-Verhältnis passt den Entscheidungsschwellenwert dynamisch an. Wenn das Budget knapp ist, steigt der Schwellenwert für die Behandlung, sodass nur Nutzer mit hoher Kosteneffizienz ausgewählt werden.

D. Kombinierte Entscheidungsregel

Für jeden Nutzer $t$ berechnet der Algorithmus einen Score und eine Wert-pro-Geld-Metrik:

Score: $s_t = \hat{\tau}(x_t) + \text{exploration\_bonus}_t$
Wert: $v_t = s_t / c_t$
Entscheidung: Behandeln ( $a_t=1$ ), wenn $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$ , wobei $\lambda$ ein Basisschwellenwert ist.

3. Hauptbeiträge

Einheitliches Framework: Vorschlag von BCCB, dem ersten Framework, das HTE-Lernen, Thompson-Sampling-Exploration und adaptives Budget-Pacing in einem einzigen Online-Prozess vereint, ohne dass vorab gesammelte historische Daten erforderlich sind.
Daten-effiziente Kreuzung: Empirische Identifizierung eines kritischen Schwellenwerts (~10.000 historische Beobachtungen). Darunter versagen Offline-Methoden oder sind hochgradig instabil; darüber können Offline-Methoden Online-Methoden übertreffen. BCCB funktioniert effektiv ab dem ersten Nutzer.
Leistungsstabilität: Nachweis, dass BCCB im Vergleich zu Offline-Methoden über wiederholte Durchläufe eine 3–5-fach geringere Leistungsvarianz aufweist, was es für die Kampagnenplanung zuverlässiger macht.
Überlegene Online-Leistung: Unter reinen Online-Methoden übertrifft BCCB konsistent Standard-Thompson-Sampling, Budgeted-Thompson-Sampling und Greedy-HTE-Schätzung über alle Budgetlevel hinweg.

4. Experimentelle Ergebnisse

Die Studie wurde auf dem Criteo Uplift-Datensatz (1,4 Mio. Nutzer) mit synthetischen Kosten, die über eine Log-Normal-Verteilung generiert wurden, evaluiert.

Online-vs.-Online-Vergleich:
- Bei einem hohen Budget (8.000 $) erreichte BCCB 46 Conversions und übertraf Standard-Thompson-Sampling (37) und HTE-Greedy (29).
- Bei knappen Budgets (1.000 $) schnitten BCCB und Budgeted TS am besten ab, was die Bedeutung der Budgetbewusstheit unterstreicht.
Daten-effiziente Kreuzung (Offline vs. Online):
- < 2.000 Beobachtungen: Offline-Methoden versagten vollständig (das Modell konnte aufgrund von null positiven Beispielen in der Kontrollgruppe nicht angepasst werden). BCCB funktionierte erfolgreich.
- 2.000 – 10.000 Beobachtungen: Offline-Methoden zeigten extreme Varianz (Variationskoeffizient > 100 %). BCCB blieb stabil.
- > 50.000 Beobachtungen: Offline-Methoden übertrafen BCCB schließlich (104 vs. 25 Conversions), was bestätigt, dass Offline-Methoden überlegen sind, wenn reichlich repräsentative Daten vorhanden sind.
Stabilität: BCCB wies Standardabweichungen von 7–13 Conversions auf, während Offline-Methoden im Bereich von 35–65 lagen. Diese 3–5-fache Reduktion der Varianz ist entscheidend für eine vorhersehbare ROI-Prognose.
Skalierbarkeit: BCCB behielt die Spitzenleistung über verschiedene Datensatzgrößen (100K, 500K, 1,4M Nutzer) bei, während Greedy-HTE-Methoden höchst inkonsistent waren.

5. Bedeutung und Einschränkungen

Bedeutung:

Lösung des Cold-Start-Problems: Bietet eine praktikable Lösung für neue Werbekampagnen, bei denen historische Daten nicht verfügbar sind, ein Szenario, in dem Standard-Industrie-Pipelines versagen.
Risikominderung: Die hohe Stabilität von BCCB reduziert das Risiko eines Kampagnenversagens aufgrund von Zufallsseed-Varianz, ein häufiges Problem bei Offline-Modellen, die auf kleinen Datensätzen trainiert wurden.
Paradigmenwechsel: Verschiebt das Feld von „trainieren-dann-einsatzbereit-machen" zu „gleichzeitiges Lernen und Allokieren" für ressourcenbeschränkte kausale Inferenz.

Einschränkungen:

Datenfülle: Wenn ein Unternehmen über 50.000 historische Beobachtungen aus derselben Population verfügt, bleiben Offline-Methoden überlegen.
Synthetische Kosten: Die Studie verwendete synthetische Kosten basierend auf einer Log-Normal-Verteilung. Reale Auktionsdynamiken könnten komplexer sein.
Modellkomplexität: Die aktuelle Implementierung verwendet lineare Klassifikatoren für HTE. Ausdrucksstärkere Online-Modelle (z. B. Online-Neuronale Netze) könnten die Genauigkeit verbessern, wurden aber für zukünftige Arbeiten zurückgestellt.

Fazit:
BCCB schließt die Lücke zwischen Uplift-Modellierung und sequentieller Entscheidungsfindung und bietet eine robuste, dateneffiziente Lösung für budgetbeschränkte Behandlungsallokation in der digitalen Werbung, insbesondere in Szenarien, die durch Datenknappheit und die Notwendigkeit einer sofortigen, stabilen Leistung gekennzeichnet sind.