📈 economics

Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

Cet article présente les bandits causaux à contraintes budgétaires (BCCB), un cadre en ligne qui unifie l'apprentissage de l'efficacité publicitaire, l'exploration et le pacing budgétaire pour surpasser les méthodes hors ligne traditionnelles dans les scénarios publicitaires à démarrage froid en opérant efficacement dès le premier utilisateur avec une variance de performance nettement inférieure.

Auteurs originaux : Abhirami Pillai

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abhirami Pillai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le responsable d'une campagne massive d'affichage numérique. Vous disposez d'une somme d'argent limitée (un budget) à dépenser pour montrer des publicités à des millions de personnes. Votre objectif est simple : amener le plus grand nombre de personnes possible à cliquer sur la publicité et à acheter quelque chose.

Mais voici le hic : tout le monde n'est pas identique.

Certaines personnes achèteraient le produit même si elles ne voyaient jamais la publicité.
Certaines personnes n'achèteraient jamais, peu importe le nombre de fois où vous leur montrez la publicité.
Certaines personnes constituent le « point idéal » : elles n'achètent que parce qu'elles ont vu votre publicité.

Le défi consiste à identifier qui se trouve dans ce « point idéal » sans gaspiller votre argent sur les autres, tout en voyant votre caisse enregistreuse débourser.

L'Ancienne Méthode : L'Approche « Boule de Cristal »

Traditionnellement, les entreprises tentaient de résoudre ce problème en deux étapes, comme un chef préparant un repas avant l'arrivée des invités :

Le Livre de Recettes : Elles examinaient un énorme tas de données passées (comme un livre de recettes) pour apprendre qui achète généralement quoi.
La Liste de Courses : Elles utilisaient ce livre pour créer une liste stricte indiquant exactement à qui montrer la publicité.

Le Problème : Cela fonctionne très bien si vous possédez un livre de recettes massif et parfait. Mais que se passe-t-il si vous lancez un tout nouveau produit, si vous entrez dans un nouveau pays ou si vous visez un nouveau type de client ? Vous n'avez pas encore de livre de recettes. L'ancienne méthode échoue car elle n'a rien sur quoi s'apprendre. C'est comme essayer de cuisiner un repas gastronomique avec un garde-manger vide.

La Nouvelle Solution : L'« Explorateur Intelligent » (BCCB)

Les auteurs de cet article proposent une nouvelle méthode appelée Bandits Causaux Contraints par le Budget (BCCB). Au lieu d'attendre un livre de recettes, cette méthode apprend pendant qu'elle cuisine.

Imaginez le BCCB comme un explorateur intelligent traversant une foule, tenant une somme d'argent limitée.

La Partie « Causale » : L'explorateur ne se contente pas de deviner qui semble intéressé. Il tente de déterminer la relation de cause à effet : « Si je montre cette publicité à cette personne spécifique, achètera-t-elle à cause de la publicité, ou l'aurait-elle achetée de toute façon ? »
La Partie « Bandit » : C'est un terme élégant pour « apprendre en essayant ». L'explorateur doit équilibrer deux choses :
- Exploitation : Montrer des publicités à des personnes qui semblent être un pari sûr (pour obtenir des ventes immédiates).
- Exploration : Montrer des publicités à des personnes qui sont un mystère (pour apprendre si elles sont réellement de bonnes cibles).
La Partie « Budget » : L'explorateur est intelligent avec l'argent. S'il dépense trop vite au début, il risque de manquer de liquidités avant de rencontrer le client parfait plus tard. S'il est trop avare, il manque des ventes faciles. Le BCCB ajuste constamment la vitesse de dépense en fonction du montant restant et du temps qui s'écoule.

La Grande Découverte : Le « Point de Bascule »

Les chercheurs ont testé cet nouvel explorateur contre l'ancienne méthode du « livre de recettes » en utilisant un jeu de données réel provenant d'une grande entreprise de publicité. Ils ont découvert un fascinant « point de bascule » concernant la quantité de données nécessaire :

Le Démarrage à Froid (0 à 2 000 personnes) : L'ancienne méthode s'effondre complètement. Elle tente de construire un livre de recettes avec trop peu d'ingrédients et produit des résultats absurdes. Le nouvel explorateur (BCCB), en revanche, commence à fonctionner efficacement dès la première personne. Il apprend sur le vif.
Le Milieu de Parcours (2 000 à 10 000 personnes) : L'ancienne méthode commence à fonctionner, mais elle est très instable. Un jour, elle a de la chance et trouve 100 acheteurs ; le lendemain, avec la même quantité de données, elle n'en trouve que 10. C'est imprévisible. Le nouvel explorateur est constant et fiable.
Le Point Idéal (10 000+ personnes) : Une fois que l'ancienne méthode dispose d'une énorme quantité de données historiques (environ 10 000+ personnes), elle finit par devenir supérieure à l'explorateur. Elle peut prédire parfaitement sans avoir besoin de « gaspiller » de l'argent pour apprendre.

L'Essentiel : Si vous lancez une nouvelle campagne avec peu ou pas d'historique, n'attendez pas les données. Utilisez l'explorateur (BCCB). Il est 3 à 5 fois plus stable et fiable que les anciennes méthodes lorsque les données sont rares.

Pourquoi Cela Importe

Dans le monde réel de la publicité numérique, les choses changent vite. De nouveaux produits sont lancés, de nouveaux marchés s'ouvrent et les habitudes des utilisateurs évoluent. Vous n'avez souvent pas le temps d'attendre que 10 000 clients passés rassemblent des données.

Cet article montre que vous n'avez pas à attendre. Vous pouvez commencer à dépenser votre budget judicieusement dès le Jour 1, apprenant qui répond à vos publicités au fur et à mesure, sans épuiser votre budget ni parier aveuglément. Cela transforme le processus chaotique de « la tentative de trouver des clients » en un voyage stable et prévisible.

1. Formulation du problème

L'article aborde le défi de l'allocation de traitement contrainte par un budget dans la publicité numérique, spécifiquement dans les scénarios de démarrage à froid où les données historiques sont rares ou inexistantes (par exemple, nouvelles campagnes, nouveaux marchés).

Objectif principal : Maximiser le nombre total de conversions (résultats du traitement) en sélectionnant un sous-ensemble d'utilisateurs à qui montrer des publicités, sous réserve d'une contrainte budgétaire totale $B$ .
Contraintes et défis clés :
1. Effets de traitement hétérogènes (HTE) : Les utilisateurs réagissent différemment aux publicités. L'objectif est de cibler les utilisateurs ayant des effets causaux positifs élevés ( $\tau(x)$ ) tout en évitant ceux qui ne sont pas affectés ou affectés négativement.
2. Contraintes budgétaires : Chaque utilisateur a un coût spécifique $c_t$ (par exemple, prix d'enchère publicitaire). Le coût cumulatif ne doit pas dépasser $B$ .
3. Démarrage à froid / Rareté des données : Les méthodes hors ligne traditionnelles nécessitent de grands ensembles de données historiques pour entraîner des modèles d'uplift. Dans les nouveaux scénarios, ces données sont indisponibles, ce qui conduit au problème de « démarrage à froid ».
4. Prise de décision séquentielle : Les utilisateurs arrivent un par un. Le système doit apprendre les effets de traitement en ligne tout en gérant simultanément le rythme du budget (évitant l'épuisement prématuré ou la sous-dépense inefficace).

Définition formelle :
Le problème est modélisé comme un processus séquentiel sur $T$ tours. À chaque tour $t$ , l'agent observe un utilisateur avec des caractéristiques $x_t$ et un coût $c_t$ , et choisit une action $a_t \in \{0, 1\}$ (traiter ou non). L'objectif est :
$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{subject to} \quad \sum_{t=1}^T a_t \cdot c_t \le B$
où $Y_t(1)$ est le résultat potentiel si traité.

2. Méthodologie : Bandits Causaux Contraints par le Budget (BCCB)

Les auteurs proposent BCCB, un cadre en ligne unifié qui intègre trois composants distincts dans un seul processus de décision séquentielle. Contrairement aux pipelines hors ligne en deux étapes (entraîner puis optimiser) ou aux bandits standards (qui ignorent les HTE), BCCB apprend, explore et rythme simultanément.

A. Estimation HTE en ligne

Approche : Utilise une approche à deux modèles pour estimer les effets de traitement individuels en ligne.
- Modèle 1 : Estime $P(Y=1 | x, T=1)$ (Probabilité de conversion si traité).
- Modèle 2 : Estime $P(Y=1 | x, T=0)$ (Probabilité de conversion si contrôle).
Mécanisme : Les deux modèles sont mis à jour de manière incrémentale en utilisant la descente de gradient stochastique (SGD) avec une perte logistique après chaque observation.
Gestion du démarrage à froid : Avant que suffisamment de données ne soient collectées (moins de 50 observations traitées/contrôle), une priorité optimiste ( $\hat{\tau} = 0.002$ ) est utilisée pour encourager l'exploration initiale.

B. Exploration par échantillonnage de Thompson

Objectif : Équilibrer l'exploration (apprendre sur les utilisateurs incertains) et l'exploitation (cibler les utilisateurs à haute valeur connus).
Mécanisme : Maintient des distributions a posteriori Beta pour les taux de réussite globaux du traitement et du contrôle.
Bonus d'exploration : À chaque étape, l'algorithme échantillonne à partir des posteriors pour calculer un bonus d'exploration :
$\text{exploration\_bonus}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$
Ce bonus est ajouté à l'estimation HTE estimée, encourageant l'algorithme à traiter les utilisateurs aux effets incertains même si l'estimation HTE actuelle est ambiguë.

C. Rythmage adaptatif du budget

Objectif : Empêcher l'épuisement prématuré du budget ou la sous-dépense inefficace.
Mécanisme : Calcule un ratio de pression budgétaire ( $pace_t$ $p a c e_{t}$ ) à chaque tour :
$pace_t = \frac{B_t / B_0}{(T - t) / T}$
- Si $pace_t > 1$ : Le budget est abondant par rapport au temps ; l'algorithme dépense plus librement.
- Si $pace_t < 1$ : Le budget s'épuise trop vite ; l'algorithme devient plus sélectif.
Modulation du seuil : Le ratio de rythme ajuste dynamiquement le seuil de décision. Lorsque le budget est rare, le seuil de traitement augmente, garantissant que seuls les utilisateurs à haut rapport coût-efficacité sont sélectionnés.

D. Règle de décision combinée

Pour chaque utilisateur $t$ , l'algorithme calcule un score et une métrique de valeur par dollar :

Score : $s_t = \hat{\tau}(x_t) + \text{exploration\_bonus}_t$
Valeur : $v_t = s_t / c_t$
Décision : Traiter ( $a_t=1$ ) si $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$ , où $\lambda$ est un seuil de base.

3. Contributions clés

Cadre unifié : Propose BCCB, le premier cadre unifiant l'apprentissage HTE, l'exploration par échantillonnage de Thompson et le rythme adaptatif du budget dans un seul processus en ligne sans nécessiter de données historiques précollectées.
Point de croisement d'efficacité des données : Identifie empiriquement un seuil critique (~10 000 observations historiques). En dessous de ce seuil, les méthodes hors ligne échouent ou sont hautement instables ; au-dessus, les méthodes hors ligne peuvent surpasser les méthodes en ligne. BCCB fonctionne efficacement dès le tout premier utilisateur.
Stabilité des performances : Démontre que BCCB présente une variance de performance 3 à 5 fois plus faible que les méthodes hors ligne sur des exécutions répétées, le rendant plus fiable pour la planification de campagnes.
Performance en ligne supérieure : Parmi les méthodes purement en ligne, BCCB surpasse constamment l'échantillonnage de Thompson standard, l'échantillonnage de Thompson budgétisé et l'estimation HTE gourmande à tous les niveaux de budget.

4. Résultats expérimentaux

L'étude a été évaluée sur le jeu de données Criteo Uplift (1,4 million d'utilisateurs) avec des coûts synthétiques générés via une distribution log-normale.

Comparaison en ligne vs en ligne :
- À un budget élevé (8 000 $), BCCB a obtenu 46 conversions, surpassant l'échantillonnage de Thompson standard (37) et HTE Greedy (29).
- À des budgets serrés (1 000 $), BCCB et TS budgétisé ont obtenu les meilleurs résultats, soulignant l'importance de la conscience du budget.
Point de croisement d'efficacité des données (Hors ligne vs En ligne) :
- < 2 000 observations : Les méthodes hors ligne ont échoué complètement (le modèle ne pouvait pas s'ajuster en raison de zéro exemple positif dans le groupe de contrôle). BCCB a fonctionné avec succès.
- 2 000 – 10 000 observations : Les méthodes hors ligne ont montré une variance extrême (Coefficient de variation > 100 %). BCCB est resté stable.
- > 50 000 observations : Les méthodes hors ligne ont fini par surpasser BCCB (104 contre 25 conversions), confirmant que les méthodes hors ligne sont supérieures lorsque des données abondantes et représentatives existent.
Stabilité : BCCB a présenté des écarts types de 7 à 13 conversions, tandis que les méthodes hors ligne variaient de 35 à 65. Cette réduction de 3 à 5 fois de la variance est cruciale pour des prévisions de ROI prévisibles.
Évolutivité : BCCB a maintenu une performance de premier plan à travers les échelles de jeux de données (100k, 500k, 1,4M d'utilisateurs), tandis que les méthodes HTE gourmandes étaient très incohérentes.

5. Importance et limites

Importance :

Résout le problème du démarrage à froid : Fournit une solution viable pour les nouvelles campagnes publicitaires où les données historiques sont indisponibles, un scénario où les pipelines industriels standards échouent.
Atténuation des risques : La grande stabilité de BCCB réduit le risque d'échec de campagne dû à la variance de la graine aléatoire, un problème courant avec les modèles hors ligne entraînés sur de petits ensembles de données.
Changement de paradigme : Fait passer le domaine de « entraîner puis déployer » à « apprendre et allouer simultanément » pour l'inférence causale contrainte par les ressources.

Limites :

Abondance de données : Si une entreprise dispose de plus de 50 000 observations historiques provenant de la même population, les méthodes hors ligne restent supérieures.
Coûts synthétiques : L'étude a utilisé des coûts synthétiques basés sur une distribution log-normale. La dynamique réelle des enchères pourrait être plus complexe.
Complexité du modèle : L'implémentation actuelle utilise des classificateurs linéaires pour les HTE. Des modèles en ligne plus expressifs (par exemple, réseaux de neurones en ligne) pourraient améliorer la précision mais ont été laissés pour un travail futur.

Conclusion :
BCCB comble le fossé entre la modélisation d'uplift et la prise de décision séquentielle, offrant une solution robuste et économe en données pour l'allocation de traitement contrainte par un budget dans la publicité numérique, en particulier dans les scénarios caractérisés par la rareté des données et le besoin de performances immédiates et stables.