🤖 machine learning

DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation

Le document propose DRIVE, un cadre unifié basé sur les Transformers pour l'enchère automatique hors ligne qui découple la génération d'actions candidates de la prise de décision en combinant la modélisation distributionnelle, l'augmentation par récupération d'exemples historiques et l'évaluation de la valeur afin de surmonter les limites des méthodes paramétriques traditionnelles et d'améliorer les performances sous contraintes budgétaires.

Auteurs originaux : Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un parieur professionnel essayant de remporter une série d'enchères chaque jour. Vous avez un budget strict et vous devez décider exactement de combien vous allez enchérir sur des milliers d'articles en temps réel. Si vous misez trop bas, vous perdez l'article. Si vous misez trop haut, vous épuisez votre argent avant la fin de la journée.

C'est le monde de l'enchères automatiques (Auto-bidding) dans la publicité en ligne. Les entreprises utilisent des programmes informatiques pour prendre ces décisions en une fraction de seconde. Cependant, enseigner ces programmes est extrêmement risqué. On ne peut pas simplement les laisser « apprendre en faisant » dans le monde réel car une seule mauvaise estimation pourrait coûter des milliers de dollars à une entreprise. C'est pourquoi, au lieu de cela, nous les enseignons en utilisant un « livre d'histoire » de décisions passées (données hors ligne).

L'article présente un nouveau système appelé DRIVE pour résoudre deux problèmes majeurs auxquels ces ordinateurs sont actuellement confrontés lorsqu'ils apprennent de l'histoire.

Les deux grands problèmes

1. Le piège de la « moyenne »
Imaginez que vous regardiez la photo d'une foule. Certaines personnes portent des chemises rouges et d'autres des chemises bleues. Si vous demandez à un ordinateur standard de décrire la personne « moyenne » dans cette foule, il pourrait inventer une personne portant une chemise violette.
Dans le monde réel, il faut parfois miser de manière agressive (chemise rouge), et parfois de manière conservatrice (chemise bleue). Les anciens modèles informatiques tentent de trouver le « juste milieu » et finissent par miser un montant « violet » qui est trop élevé pour une journée conservatrice et trop bas pour une journée agressive. Ils font s'effondrer toutes les bonnes stratégies en une seule mauvaise stratégie moyenne.

2. L'aveuglement face à la « longue traîne »
Imaginez que vous êtes un chef qui a cuisiné 10 000 repas. 9 900 d'entre eux étaient des plats de pâtes simples, mais 100 étaient des festins complexes et raffinés. Si vous ne regardez que les plats les plus courants, vous oubliez comment cuisiner les plus sophistiqués.
Dans la publicité, la plupart du trafic est commun, mais les opportunités les plus précieuses surviennent souvent dans des situations rares, dites de la « longue traîne ». Les anciens modèles s'embrouillent dans ces moments rares car ils n'ont pas vu assez d'exemples, ce qui les amène à faire des suppositions peu fiables.

La solution DRIVE

Les auteurs ont construit DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation) pour corriger ces problèmes. Voyez cela comme un processus en trois étapes pour prendre une décision intelligente :

Étape 1 : Le générateur d'« options multiples » (Modélisation distributionnelle)
Au lieu de deviner un seul montant moyen, DRIVE demande à l'ordinateur d'imaginer plusieurs enchères possibles à la fois. C'est comme demander à un chef de réfléchir à cinq façons différentes de cuire un steak (bleu, saignant, à point, etc.) au lieu de simplement deviner une température. Cela garantit que le système garde vivantes toutes les stratégies valides, plutôt que de les moyenner en une « chemise violette » inutile.

Étape 2 : Le « pense-bête » (Augmentation par recherche/retrieval)
Lorsque l'ordinateur est confronté à une situation rare ou délicate, il ne se contente pas de deviner. Il ouvre un « Pense-bête » (une base de données de décisions passées de haute qualité). Il cherche des situations passées qui ressemblent exactement à la situation actuelle et se dit : « Hé, dans cette situation spécifique, nous avons réussi à miser 50 $ auparavant ! ». Cela donne à l'ordinateur un exemple concret et réel sur lequel s'appuyer, évitant ainsi qu'il n'hallucine de mauvaises idées lorsque les données sont rares.

Étape 3 : Le « arbitre » (Évaluation de la valeur)
L'ordinateur dispose maintenant de deux listes d'idées : celles qu'il a générées lui-même (Étape 1) et celles qu'il a trouvées dans le Pense-bête (Étape 2). Avant de faire un mouvement, un « Arbitre » (un critique de valeur) vérifie chaque option. Il demande : « Si je choisis cette enchère, resterai-je dans mon budget et obtiendrai-je le meilleur résultat ? ». Il choisit la meilleure option de toute la liste, ignorant les mauvaises.

Les résultats

Les auteurs ont testé DRIVE sur un ensemble de données réelles massif appelé AuctionNet (simulant un vrai marché publicitaire) et sur certains tests standards de contrôle de robots (D4RL).

Meilleure performance : DRIVE a systématiquement généré plus d'argent (ou de « valeur ») que les méthodes précédentes.
Résolution du piège : Il a réussi à éviter le piège de la « moyenne », en choisissant la bonne stratégie, qu'elle soit agressive ou conservatrice, selon le moment.
Gestion des événements rares : Il a été bien plus performant dans les situations « creuses » où les données sont rares, grâce à la fonctionnalité du « Pense-bête ».
Vitesse : Même s'il réfléchit davantage (génération d'options, consultation du pense-bête, interrogation de l'arbitre), il reste assez rapide pour les enchères en temps réel (prenant moins de 50 millisecondes).

L'essentiel

DRIVE est comme passer d'un conducteur qui utilise simplement le « pilote automatique » (en moyennant la route) à un conducteur professionnel qui :

Envisage plusieurs trajectoires de conduite (rapide ou sûre).
Consulte une carte pour voir où d'autres bons conducteurs sont passés dans des situations similaires.
A un copilote qui vérifie la meilleure route avant de tourner le volant.

Cela donne un conducteur plus sûr, plus intelligent et qui gagne plus de courses, surtout quand la route devient technique ou inconnue.

Résumé Technique : DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation)

1. Énoncé du Problème

Le papier traite des limitations critiques de l'application de l'apprentissage par renforcement hors ligne (offline RL) et de la modélisation de séquences basée sur les Transformers (par exemple, le Decision Transformer) aux systèmes d'enchères automatiques du monde réel. Bien que l'apprentissage par renforcement hors ligne soit nécessaire en raison des risques et des coûts prohibitifs de l'exploration en ligne dans les enchères publicitaires, les méthodes existantes font face à deux défis principaux :

Le Piège de l'« Action Moyenne » : Les approches classiques basées sur les Transformers emploient généralement des objectifs de régression unimodaux (par exemple, l'erreur quadratique moyenne ou MSE). Dans les environnements d'enchères, des états de marché similaires admettent souvent plusieurs stratégies distinctes mais efficaces (par exemple, des enchères agressives élevées versus des enchères conservatrices basses). La modélisation unimodale réduit ces comportements divers en une action moyenne unique et sous-optimale, qui n'est ni assez agressive pour gagner les enchères, ni assez conservatrice pour contrôler les coûts.
Manque de Fiabilité dans les Données Creuses ou de Longue Traîne : Les modèles purement paramétriques manquent de mécanismes explicites pour conserver les décisions historiques de haute qualité. Par conséquent, ils génèrent des actions peu fiables dans les régions de faible densité ou lors de conditions de trafic de longue traîne, malgré la présence de décisions de haute qualité dans l'ensemble de données enregistrées.

2. Méthodologie : Le Cadre DRIVE

Les auteurs proposent DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation), un cadre unifié basé sur les Transformers qui découple la génération de l'action candidate de la prise de décision. Le cadre intègre trois composants clés :

A. Modélisation d'Action Distributionnelle (Tête GMM)

Au lieu d'une tête de régression déterministe, DRIVE emploie un Modèle de Mélange Gaussien (GMM) pour modéliser l'espace des actions.

Mécanisme : La politique prédit un ensemble de $M$ composantes de mélange, chacune définie par des coefficients de mélange ( $\alpha_m$ ), des moyennes ( $\mu_m$ ) et des variances ( $\sigma^2_m$ ).
Objectif : Le modèle est entraîné en maximisant la log-vraisemblance des actions historiques. Cela permet à la politique de représenter une densité multi-pics, capturant simultanément divers modes d'enchères plutôt que de les réduire à une estimation ponctuelle unique.
Inférence : Lors de l'inférence, le modèle échantillonne de manière stochastique un ensemble d'actions candidates ( $A_{gen}$ ) à partir de la distribution de mélange apprise, préservant ainsi les motifs d'enchères multimodaux.

B. Génération de Candidats Augmentée par la Récupération (Retrieval)

Pour atténuer le manque de fiabilité des modèles paramétriques dans les régimes de données creuses, DRIVE incorpore un mécanisme de récupération fondé sur des trajectoires historiques de haute qualité.

Construction de l'Index : Un index de récupération ( $I$ ) est construit à partir de l'ensemble de données hors ligne en utilisant des plongements (embeddings) d'états contextuels générés par un encodeur Transformer léger.
Stratégie de Récupération : Au moment de l'inférence, l'état actuel est encodé, et le système récupère les $K_{pool}$ plus proches voisins basés sur la similitude cosinus. Ces candidats sont ensuite filtrés et classés par leurs valeurs de Retour-à-Venir (Return-to-Go ou RTG) stockées afin de sélectionner les $K$ meilleures actions de haute qualité ( $A_{ret}$ ).
Rôle : Cela fournit un support non paramétrique explicite, ancrant les décisions à des comportements éprouvés et performants issus de l'ensemble de données.

C. Évaluation de l'Action Basée sur la Valeur

Pour sélectionner de manière robuste l'enchère finale parmi le pool combiné de candidats générés et récupérés, DRIVE utilise un critique basé sur la valeur.

Architecture du Critique : Le cadre adopte le paradigme de l'Apprentissage Q Implicite (IQL). Il apprend deux fonctions Q et une fonction de valeur d'état ( $V(s)$ ) strictement à l'intérieur du support de l'ensemble de données hors ligne en utilisant la régression par quantiles (expectile regression).
Conscience des Contraintes : Pour les tâches d'enchères contraintes (par exemple, le Coût Par Action - CPA), la fonction de récompense est façonnée pour inclure des termes de pénalité. Cela garantit que le paysage de valeur appris reflète intrinsèquement les contraintes de sécurité, guidant l'agent vers des régions réalisables.
Sélection : L'action finale ( $a^*$ ) est sélectionnée en évaluant tous les candidats ( $A_{cand} = A_{gen} \cup A_{ret}$ ) via le critique :
$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$

3. Contributions Clés

Cadre Unifié : La proposition de DRIVE, qui synergise la modélisation distributionnelle GMM, le contexte augmenté par la récupération et l'évaluation basée sur la valeur pour traiter le piège de l'« Action Moyenne » et la parcité des données dans les enchères automatiques.
Validation Empirique sur AuctionNet : Des expériences approfondies sur AuctionNet, un benchmark industriel à grande échelle présentant une dynamique stochastique et des contraintes strictes de budget/CPA, démontrent que DRIVE surpasse systématiquement les bases de référence de l'état de l'art (incluant CQL, IQL, BCQ, DT et les méthodes basées sur la diffusion).
Généralisabilité : Le cadre s'avère largement applicable, s'intégrant de manière transparente dans de multiples architectures de Transformers (DT, CDT, PDiT, BC) et améliorant systématiquement les performances sur les benchmarks standards de l'apprentissage par renforcement hors ligne (D4RL Gym-MuJoCo et Maze2D).

4. Résultats Expérimentaux

Performance sur AuctionNet : DRIVE atteint une performance supérieure pour toutes les contraintes budgétaires (de 50 % à 150 %). Notamment, sur le jeu de données AuctionNet-Sparse, où les bases de référence purement génératives (comme DT et DiffBid) se dégradent considérablement en raison de la parcité des données, DRIVE maintient une performance robuste en utilisant la récupération pour ancrer les décisions.
Benchmarks D4RL : DRIVE obtient les scores normalisés moyens les plus élevés sur les tâches de locomotion Gym et démontre des avantages significatifs dans le domaine Maze2D (par exemple, un score de 136,8 sur maze2d-medium, surpassant tous les concurrents).
Études d'Ablation :
- Supprimer la tête GMM (retour à un modèle déterministe) ou le module de récupération entraîne des chutes de performance substantielles.
- Comparer les têtes GMM et Diffusion montre que le GMM atteint des performances comparables ou meilleures avec une latence d'inférence nettement inférieure (11ms contre 223ms), ce qui le rend plus adapté aux enchères en temps réel.
- L'analyse de la multimodalité des fonctions Q révèle que 17,6 % des états sont multimodaux, là où les politiques DT standard présentent un taux de sous-optimalité de 54,7 %, confirmant la nécessité d'une modélisation distributionnelle.
Efficacité : Bien que DRIVE entraîne une utilisation supplémentaire de la mémoire (principalement pour l'index de récupération FAISS), sa latence d'inférence totale reste inférieure à 50ms, satisfaisant les exigences strictes des systèmes d'enchères en temps réel industriels.

5. Signification et Revendications

Le papier affirme que DRIVE fournit un paradigme robuste pour le déploiement de l'apprentissage par renforcement hors ligne dans les environnements d'enchères. En découplant la génération de candidats de la prise de décision, il atténue efficacement le piège de l'« Action Moyenne » et assure une prise de décision fiable dans les régimes de données creuses et de longue traîne. Les auteurs soulignent que leur approche ne repose pas sur une modélisation complexe de l'environnement ou sur l'exploration en ligne, ce qui en fait une solution pratique pour les systèmes publicitaires du monde réel où la sécurité et les contraintes budgétaires sont primordiales. La capacité du cadre à se généraliser à travers différents backbones de Transformers suggère qu'il offre une solution générale au problème de l'effondrement de mode (mode collapse) et de l'instabilité d'échantillonnage dans la modélisation de séquences pour l'apprentissage par renforcement hors ligne.