Knowledge-informed Bidding with Dual-process Control for Online Advertising

Ce papier propose KBD, une méthode innovante d'optimisation des enchères publicitaires qui intègre l'expertise humaine et un contrôle à double processus (combinant des règles PID rapides et un Decision Transformer) pour surmonter les limites des modèles d'apprentissage automatique traditionnels, notamment en cas de données rares ou de scénarios hors distribution.

L'essentiel

Imaginez que vous êtes le capitaine d'un navire de commerce (votre entreprise) qui doit traverser une mer très agitée (le marché de la publicité en ligne) pour acheter des marchandises précieuses (des clics et des ventes) au meilleur prix possible. Votre objectif est d'arriver à destination avec le plus de marchandises possible, sans jamais dépasser votre budget de carburant.

C'est exactement le défi que rencontrent les annonceurs aujourd'hui. La plupart des systèmes actuels fonctionnent comme un GPS automatique aveugle : ils regardent l'historique des routes passées pour décider où tourner. Mais si une tempête soudaine arrive (une promotion imprévue) ou si vous êtes dans une zone où il n'y a pas de cartes (peu de données), ce GPS se trompe, vous fait faire des détours inutiles ou vous fait couler.

Les auteurs de cet article, travaillant chez Alibaba Health, proposent une nouvelle solution appelée KBD. C'est comme si vous donniez à votre capitaine un double cerveau inspiré de la façon dont les humains pensent.

Voici comment cela fonctionne, expliqué simplement :

1. Le problème des "GPS aveugles"

Les anciennes méthodes utilisent des modèles d'intelligence artificielle "boîte noire". Ils apprennent uniquement en regardant des données passées.

• Le hic : Ils sont très mauvais quand il n'y a pas assez de données (comme un débutant qui n'a jamais navigué).
• Le hic : Ils sont "myopes". Ils regardent seulement la prochaine vague et oublient que leur décision d'aujourd'hui affectera leur capacité à naviguer demain.
• Le hic : Ils paniquent quand le temps change brusquement (nouveau produit, soldes), car ils ne comprennent pas la logique derrière le changement.

2. La solution KBD : Un Capitaine avec un Double Cerveau

L'idée centrale est d'imiter la théorie du double processus de l'esprit humain (Système 1 et Système 2), combinée à l'expertise humaine.

Étape Macro (Le Plan de la Journée) : L'Expert Humain

Avant même de lever l'ancre, le capitaine a besoin d'un plan global.

• L'ancien système : Devinait le prix moyen à payer pour la journée en regardant des graphiques flous.
• Le nouveau système (IEFormer) : Il intègre la sagesse des experts humains directement dans le code.
  • Analogie : Imaginez que vous ne donnez pas seulement une carte au capitaine, mais que vous lui apprenez aussi les règles de la navigation : "Si le vent vient de l'Est, le prix monte doucement" ou "On ne dépense jamais plus de 10% du budget en une heure".
  • Le modèle apprend à respecter ces règles (comme la monotonie : plus on dépense, plus le coût unitaire augmente) tout en utilisant une intelligence artificielle puissante pour analyser les détails. Cela crée une base solide et fiable pour la journée, même s'il y a peu de données.

Étape Micro (L'Action Heure par Heure) : Le Duo Dynamique

Une fois la journée lancée, il faut ajuster le cap chaque heure. C'est là que le double cerveau entre en jeu :

• Système 1 (Le Pilote Automatique Rapide - PID) :
  • C'est un contrôleur simple, basé sur des règles fixes (comme un thermostat).
  • Analogie : Si vous dépensez trop vite, il freine immédiatement. Si vous dépensez trop lentement, il accélère. C'est rapide, robuste et ne panique jamais, même dans la tempête. Mais il est un peu "bête" et ne voit pas loin.
• Système 2 (Le Stratège Réfléchi - Decision Transformer) :
  • C'est une IA très intelligente qui regarde les 24 prochaines heures.
  • Analogie : C'est le capitaine qui réfléchit : "Si je dépense un peu plus maintenant, je pourrai acheter une meilleure marchandise dans 3 heures." Il optimise le long terme. Mais il peut être confus si les conditions changent trop vite.

La Magie de KBD : La Fusion
Au lieu de choisir l'un ou l'autre, KBD les combine intelligemment :

1. En temps normal : Le Stratège (Système 2) prend les décisions, guidé par le Pilote (Système 1) pour ne pas faire de bêtises.
2. En cas de tempête (changement brutal) : Si le Stratège commence à douter (l'IA devient incertaine), le système bascule automatiquement vers le Pilote (Système 1). C'est comme si le capitaine laissait le pilote automatique prendre le relais quand la tempête devient trop forte, pour éviter de couler.

Pourquoi est-ce génial ?

Les tests ont montré que cette approche :

• Gagne plus d'argent (GMV) : En achetant mieux, l'entreprise gagne plus de ventes.
• Respecte mieux le budget : On ne dépense pas plus que prévu.
• Survit aux tempêtes : Quand une promotion soudaine arrive ou qu'un nouveau produit est lancé, le système ne panique pas. Il utilise l'expertise humaine (les règles) pour rester stable, tout en utilisant l'IA pour optimiser les gains.

En résumé

KBD, c'est comme remplacer un GPS automatique qui se trompe souvent par un capitaine expérimenté qui a un assistant rapide et un stratège visionnaire. Ensemble, ils naviguent avec la sagesse de l'expérience et la puissance de l'IA, garantissant que votre entreprise atteint ses objectifs commerciaux, même dans les eaux les plus imprévisibles.

Résumé technique

1. Problématique et Contexte

L'optimisation des enchères (auto-bidding) dans la publicité en ligne repose actuellement majoritairement sur des modèles d'apprentissage automatique (ML) « boîte noire » qui apprennent des décisions d'enchères à partir de données historiques. Bien que ces systèmes soient évolutifs, ils présentent trois limitations majeures :

1. Mauvaise généralisation en cas de données rares : Ils échouent souvent dans des scénarios où les données sont éparses (nouveaux produits, campagnes courtes) en raison de l'absence de connaissances structurées.
2. Vision myope : Les modèles actuels optimisent souvent une seule étape de décision à la fois, ignorant les interdépendances temporelles et les récompenses à long terme.
3. Fragilité face aux changements de distribution : Ils peinent à s'adapter aux scénarios hors distribution (out-of-distribution), tels que les promotions commerciales soudaines ou les lancements de produits, là où les experts humains réussissent grâce à leur expérience.

L'objectif est de concevoir un système capable de combiner la puissance des modèles de ML avec l'expertise humaine pour maximiser le volume de marchandises brutes (GMV) tout en respectant les contraintes de budget et de coût par acquisition (tCPA).

2. Méthodologie : KBD (Knowledge-informed Bidding with Dual-process Control)

Les auteurs proposent KBD, une méthode d'optimisation des enchères en deux étapes, inspirée par la théorie du double processus (Système 1 : rapide/intuitif ; Système 2 : lent/réflexif) et le paradigme de l'Apprentissage Machine Informé (Informed Machine Learning - IML).

A. Macro-étape : Calibration quotidienne avec IEFormer

Cette étape vise à établir une ligne de base robuste pour le tCPA (coût par acquisition cible) en intégrant l'expertise humaine à trois niveaux :

• Niveau Hypothèse (Architecture hybride) : Le modèle IEFormer combine un module connexionniste (un encodeur Transformer pour extraire les caractéristiques des données historiques) et un module symbolique (un interpréteur de relation prix-volume basé sur un raisonnement linéaire par morceaux monotone).
  • Le module symbolique utilise un module d'encodage isotonique (IE) pour générer des poids interprétables sur des segments de coûts.
  • Une stratégie de partitionnement adaptatif pilotée par l'entropie (algorithme GLA) assure une répartition uniforme des échantillons, évitant les biais dans les régions de données rares.
• Niveau Algorithme (Contraintes inductives) : Le modèle intègre des biais inductifs issus de l'expertise humaine :
  • Monotonie : Le tCPA ne doit pas diminuer lorsque le coût augmente (garanti par une couche d'activation SoftPlus).
  • Lissage : La relation prix-volume doit être continue (régularisation de lissage).
  • Rendements marginaux décroissants : La vitesse d'augmentation du tCPA ralentit à mesure que le coût croît (nouvelle contrainte via une fonction de perte spécifique $L_{margin}$).
• Niveau Données : Pour pallier le manque de données, le modèle transfère les connaissances d'autres stratégies d'enchères (tROI, tCPC) en les convertissant en valeurs tCPA équivalentes via une formule unifiée de l'eCPM.

B. Micro-étape : Contrôle à double processus (PID + Decision Transformer)

Cette étape ajuste le tCPA de manière horaire pour maximiser le GMV à long terme, en traitant l'enchère comme un problème de décision séquentielle.

• Système 2 (Decision Transformer - DT) : Un modèle de type Transformer entraîné par apprentissage par renforcement hors ligne (offline RL) pour optimiser les récompenses cumulées sur un horizon de 24 heures. Il gère la complexité et la planification à long terme.
• Système 1 (Contrôleur PID) : Un contrôleur Proportionnel-Intégral-Dérivé (PID) basé sur des règles heuristiques expertes. Il ajuste les enchères en fonction de l'écart entre le coût réel et le budget idéal, offrant une réponse rapide et robuste.
• Fusion des deux systèmes :
  • Entraînement : Le DT est régularisé pour imiter le comportement conservateur du PID (via une contrainte de longueur de description minimale - MDL), réduisant ainsi les écarts de distribution.
  • Inférence : Une fusion pondérée par l'incertitude est utilisée. Si l'incertitude du DT (mesurée par l'erreur de prédiction récente) est élevée (ex: lors d'une promotion), le système bascule vers la robustesse du PID. Sinon, il exploite la capacité de planification du DT.

3. Contributions Clés

1. Cadre KBD : Une méthode à deux niveaux couplant une calibration quotidienne pilotée par l'expert (IEFormer) et un contrôle séquentiel horaire (DT + PID) pour optimiser les récompenses à long terme.
2. Intégration de l'expertise via IML : Utilisation du paradigme IML pour intégrer des connaissances de domaine (monotonie, rendements décroissants) directement dans l'architecture, l'algorithme et les données, améliorant ainsi la robustesse en cas de données rares.
3. Contrôle à double processus : Fusion dynamique d'un contrôleur PID (Système 1) et d'un Decision Transformer (Système 2) pour gérer les changements de distribution brutaux, assurant à la fois la stabilité et l'optimisation globale.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données : le jeu de données public iPinYou et un jeu de données privé E-Commerce Advertising (ECA) provenant d'Alibaba Health.

• Performance Globale (RQ1) : Sur iPinYou, KBD surpasse toutes les méthodes de l'état de l'art (y compris PUROS, GCB-safe, ARTEO) en termes de retour normalisé ($R/R^*$) et de satisfaction des contraintes.
• Impact de l'IML (RQ2) : Les études d'ablation sur le jeu de données ECA montrent que chaque composant de l'IML (module IE, partitionnement GLA, contrainte de rendements décroissants) est essentiel. La suppression du module IE entraîne la plus grande baisse de performance, confirmant l'importance de l'interprétabilité hybride.
• Robustesse (RQ3) : IEFormer démontre une grande robustesse face au nombre de segments ($N$), surpassant systématiquement les modèles de régression classiques (XGBoost, GP) et les réseaux de neurones monotones existants.
• Contrôle à double processus (RQ4) :
  • Le DT seul améliore le retour mais viole parfois les contraintes budgétaires.
  • Le PID seul respecte les contraintes mais est myope.
  • La fusion des deux améliore les deux métriques simultanément.
  • Tests en ligne : Sur la plateforme réelle, l'ajout de IEFormer a amélioré le taux d'épuisement du budget de 8,44 %, et l'ajout du module DT a apporté une amélioration supplémentaire de 2,3 % sur le GMV, même lors de promotions et de lancements de produits.

5. Signification et Conclusion

L'article démontre que l'intégration explicite de l'expertise humaine dans les modèles d'apprentissage automatique, couplée à une architecture de contrôle à double processus, permet de surmonter les limites des approches purement basées sur les données.

• Signification pratique : KBD offre une solution viable pour les plateformes publicitaires où les changements de distribution sont fréquents et où la confiance dans les décisions automatisées est cruciale.
• Avancée théorique : L'article valide l'efficacité du paradigme IML et de la théorie du double processus dans un contexte industriel complexe, montrant que l'hybridation de règles interprétables et de modèles profonds améliore la généralisation et la robustesse.

En résumé, KBD représente une avancée majeure vers des agents d'enchères plus intelligents, capables de raisonner comme des experts humains tout en exploitant la puissance de l'apprentissage profond pour l'optimisation à long terme.