Résumé Technique : Enchère Automatique Contrainte par Modélisation de Réponse Générative

1. Énoncé du Problème

Les plateformes de publicité en ligne font face à un problème complexe d'optimisation sous contraintes : maximiser la valeur pour les annonceurs (par exemple, les conversions ou les revenus) sur un horizon de campagne long tout en respectant des limites budgétaires strictes et des objectifs d'efficacité (tels que le Coût par Acquisition, CPA, ou le Retour sur Dépenses Publicitaires, ROAS).

Les défis principaux identifiés dans l'article sont :

• Non-stationnarité et Incertitude : Les volumes de trafic futurs et les dynamiques d'enchères sont incertains et évoluent dans le temps.
• Contraintes Couplées : Les contraintes budgétaires et d'efficacité s'étendent sur tout l'horizon, pourtant les décisions d'enchère sont prises impression par impression (ou tick par tick).
• Limites des Approches Existantes :
  • Rythmisation basée sur le contrôle : Réagit aux écarts (par exemple, la surconsommation) mais ne peut pas anticiper les conditions futures.
  • Apprentissage par Renforcement (RL) et Modèles Génératifs : Intègrent souvent les contraintes dans les signaux de récompense (par exemple, le Retour à Aller), ce qui obscurcit les violations de contraintes et conduit à des performances fragiles sous des décalages de distribution.
  • Modèles de paysage d'enchères : Prédisent les taux de victoire par enchère mais traitent les enchères comme des instantanés, manquant d'un mécanisme pour faire respecter directement les contraintes au niveau de l'horizon.

Les auteurs soutiennent que les méthodes existantes peinent à équilibrer l'anticipation des conditions futures avec une application explicite et transparente des contraintes.

2. Méthodologie : Modèle de Réponse Générative (GRM)

L'article propose un changement de paradigme : au lieu d'apprendre l'action optimale (le multiplicateur d'enchère), le système apprend la réponse de l'environnement à une action donnée.

2.1 Concept Central : Prédiction de Réponse

Le Modèle de Réponse Générative (GRM) est un modèle de séquence conditionné par l'historique. Au lieu de prédire un seul multiplicateur d'enchère pour le tick actuel, il prédit un ensemble de réponses agrégées sur l'horizon conditionné par l'historique pré-décisionnel $H_t$. Cet ensemble se compose de :

1. Volume de Trafic Futur ($\hat{I}_{t:T}$) : Le nombre total d'opportunités d'enchère restantes sur l'horizon.
2. Courbe de Coût Agrégée ($\hat{\bar{C}}_{t:T}(\alpha)$) : Le coût attendu par opportunité en fonction d'un multiplicateur d'enchère unique $\alpha$ sur le reste de l'horizon.
3. Courbe de Valeur Agrégée ($\hat{\bar{V}}_{t:T}(\alpha)$) : La valeur attendue par opportunité en fonction de $\alpha$.

2.2 Architecture du Modèle et Entraînement

• Architecture : Le GRM utilise un encodeur Transformer causal pour traiter l'historique des caractéristiques contextuelles ($s_{1:t}$) et des multiplicateurs exécutés ($\alpha_{1:t-1}$). Un décodeur produit un vecteur de paramètres de faible dimension qui définit la prévision de trafic et les paramètres des courbes de coût et de valeur.
• Paramétrisation des Courbes : Les courbes de coût et de valeur sont paramétrées à l'aide d'une famille log-sigmoïde (basée sur la fonction de répartition normale). Ce choix reflète les réalités économiques :
  • Saturation aux multiplicateurs élevés (rendements décroissants).
  • Monotonie (des multiplicateurs plus élevés génèrent plus de dépenses/valeur).
  • Conditions aux limites (dépenses nulles à $\alpha=0$).
• Entraînement (Supervision par Échantillonnage Futur) : Puisque les données hors ligne ne contiennent que les résultats pour les multiplicateurs enregistrés (et non les contrefactuels), le GRM est entraîné à l'aide d'une stratégie d'échantillonnage futur. Pour un tick ancre $t$, le modèle échantillonne des ticks futurs $k$ à partir des données enregistrées et ajuste la courbe agrégée prédite aux résultats réalisés à ces ticks futurs. La fonction de perte est une régression pondérée par le trafic, garantissant que les périodes à fort trafic contribuent davantage à l'ajustement de la courbe.

2.3 Contrôleur Analytique de Rythmisation Minimale

Une fois que le GRM prédit les courbes de réponse, un contrôleur analytique léger détermine le multiplicateur d'enchère $\alpha_t$ pour le tick actuel. Ce contrôleur n'apprend pas ; il résout pour la faisabilité :

1. Rythmisation Budgétaire ($\alpha_B$) : Résout pour $\alpha$ tel que le coût total prédit égale le budget restant ($\hat{C}_{t:T}(\alpha) = B_t$).
2. Rythmisation CPA ($\alpha_C$) : Résout pour $\alpha$ tel que le coût total prédit satisfasse la contrainte d'efficacité ($\hat{C}_{t:T}(\alpha) - \tau \hat{V}_{t:T}(\alpha) = \Delta_t$).
3. Exécution : Le multiplicateur final est le minimum conservateur : $\alpha_t = \min\{\alpha_B, \alpha_C\}$.

Ce processus est répété à chaque tick (horizon glissant), mettant à jour l'état et résolvant à nouveau sur la base des dernières prédictions.

3. Contributions Clés et Résultats Théoriques

L'article fournit trois garanties théoriques principales qui lient la qualité de la prédiction au respect des contraintes :

1. Écart d'Approximation à $\alpha$ Unique (Théorème 5.2) : Les auteurs prouvent que l'écart entre la solution optimale utilisant un multiplicateur unique pour tout l'horizon par rapport à une solution optimale par tick est borné par la dispersion d'efficacité (la variance de la valeur marginale par coût par tick). Si l'efficacité est relativement uniforme, l'approximation par courbe unique est quasi-optimale.
2. Exactitude de la Rythmisation Minimale (Théorème 5.3) : Sous des hypothèses de monotonie légères, la règle de rythmisation minimale ($\min\{\alpha_B, \alpha_C\}$) est prouvée comme étant la solution exacte du problème d'optimisation sous contraintes à multiplicateur unique.
3. Bornes de Violation de Contraintes (Théorème 5.4) : L'article prouve que sous une replanification à horizon glissant, les violations de contraintes évoluent linéairement avec l'erreur de prédiction. Plus précisément, les violations totales de budget et de CPA sont bornées par des termes impliquant les erreurs de prédiction de courbe ($\epsilon_C, \epsilon_V$) et l'erreur de prédiction de trafic ($\epsilon_I$). Cela établit une propriété de « dégradation gracieuse » : de meilleures prédictions conduisent directement à un respect plus sûr des contraintes.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant l'environnement de simulation AuctionNet (issu du Défi d'Enchère Automatique NeurIPS 2024).

• Performance : Le GRM a obtenu un score moyen de 33,88, surpassant la meilleure référence (EBaReT, une approche générative) de 7,8 %. Il a également surpassé de manière significative les méthodes standard de RL hors ligne (CQL, IQL) et le Clonage Comportemental.
• Robustesse aux Décalages de Distribution :
  • Surge de Concurrence : Lorsque les budgets des concurrents ont augmenté de 1,1x, la performance du GRM s'est dégradée de seulement 7,2 %, contre 22,6 % pour la référence Decision Transformer (DT).
  • Resserrement du CPA : Lorsque le CPA cible a été resserré à 0,8x, le GRM s'est dégradé de 5,0 %, tandis que le DT s'est dégradé de 13,9 %.
  • Les auteurs attribuent cette robustesse à la capacité du GRM de réprédire les courbes de réponse à chaque tick, lui permettant de s'adapter au paysage concurrentiel changé, alors que le DT repose sur des distributions hors ligne statiques.
• Corrélation Prédiction-Performance : Une forte corrélation négative ($r = -0,78$) a été observée entre la perte de validation du modèle et son score de test. Cela valide empiriquement le Théorème 5.4, confirmant que les améliorations de la qualité de prédiction se traduisent directement par de meilleures performances d'enchère.
• Études d'Ablation : La famille de courbes log-sigmoïde s'est avérée supérieure aux paramétrisations linéaires, linéaires par morceaux et sigmoïdes standard, car elle capture correctement la saturation et les rendements décroissants inhérents aux paysages d'enchères.

5. Signification et Revendications

L'article revendique une importance dans le déplacement de l'objectif d'apprentissage des actions vers les réponses. En prédisant les courbes de réponse agrégées de l'environnement plutôt que l'action optimale elle-même, les auteurs atteignent :

• Gestion Explicite des Contraintes : Les contraintes sont appliquées via une recherche de racine analytique sur les courbes prédites, rendant les violations de contraintes transparentes et traçables jusqu'à des erreurs de prédiction spécifiques. Cela contraste avec les méthodes RL où les contraintes sont souvent cachées dans la mise en forme des récompenses.
• Stabilité sous Décalage : La séparation entre prédiction (GRM) et contrôle (Rythmisation Minimale) permet au système de s'adapter plus efficacement aux décalages de distribution que les modèles génératifs de bout en bout qui reposent sur des signaux de conditionnement fixes.
• Fondement Théorique : Ce travail fournit des bornes formelles sur la manière dont les erreurs de prédiction se propagent aux violations de contraintes, offrant une garantie théorique de « dégradation gracieuse » qui fait souvent défaut dans les systèmes d'enchère basés sur l'apprentissage profond.

Les auteurs positionnent le GRM comme une approche pratique et théoriquement fondée qui comble le fossé entre la modélisation prédictive et l'optimisation sous contraintes dans des environnements à haut risque et non stationnaires comme la publicité en temps réel.