SEGB: Self-Evolved Generative Bidding with Local Autoregressive Diffusion

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous êtes le capitaine d'un navire de commerce (votre entreprise) qui doit naviguer dans une mer très agitée (le marché de la publicité en ligne). Votre objectif est d'acheter des places sur des îles (les espaces publicitaires) au meilleur prix possible pour vendre vos marchandises, tout en ne dépassant jamais votre budget de carburant.

Le problème ? La météo change à chaque seconde, et les autres capitaines (vos concurrents) ajustent leurs prix en temps réel. Si vous réagissez trop lentement, vous perdez la place. Si vous réagissez trop vite sans réfléchir, vous gaspillez votre carburant.

C'est là qu'intervient SEGB, une nouvelle méthode intelligente développée par l'équipe de JD.com. Voici comment cela fonctionne, expliqué simplement avec des images du quotidien.

1. Le Problème : Conduire dans le brouillard

Les anciennes méthodes d'enchères automatiques étaient comme des conducteurs qui ne regardent que dans le rétroviseur. Elles regardaient ce qui s'est passé hier (les clics passés, les dépenses passées) pour décider quoi faire maintenant.

Le défaut : Elles ne voyaient pas la route devant. Si le brouillard (le marché) changeait soudainement, elles continuaient tout droit et finissaient par se crasher ou gaspiller du carburant. De plus, elles apprenaient seulement à imiter les conducteurs passés, sans jamais inventer de nouvelles manœuvres plus intelligentes.

2. La Solution SEGB : Le Capitaine avec une "Boussole du Futur"

SEGB change la donne en trois étapes magiques.

Étape 1 : Le "Prédicteur de Météo" (Le Diffusion Autoregressif Local)

Imaginez que vous avez un assistant très doué qui ne se contente pas de regarder le passé, mais qui simule le futur.

L'analogie : C'est comme si vous aviez un cristal magique qui vous montre exactement à quoi ressemblera votre budget et vos ventes dans les 10 prochaines minutes.
La particularité : Contrairement aux autres cristaux qui font des prédictions globales et parfois incohérentes (comme prédire que vous avez plus d'argent que vous n'en avez), ce cristal (appelé LAD) prédit le futur pas à pas, en respectant les règles de la physique (votre budget ne peut qu'augmenter ou diminuer, jamais sauter). Il vous dit : "Attention, dans 5 minutes, il va pleuvoir des enchères chères, prépare-toi."

Étape 2 : Le "Pilote Proactif" (Le Decision Transformer)

Maintenant que vous savez ce qui va arriver, vous ne conduisez plus au hasard.

L'analogie : Au lieu de simplement réagir quand vous voyez un trou sur la route, votre voiture (le modèle d'enchère) sait qu'il y a un trou dans 100 mètres grâce au cristal. Elle commence à freiner et à tourner avant même d'arriver au trou.
Le résultat : L'agent ne se contente plus d'imiter les anciens conducteurs. Il utilise cette vision du futur pour prendre des décisions tactiques immédiates (comme baisser son enchère maintenant pour économiser pour plus tard).

Étape 3 : L'"Entraînement en Solitaire" (L'Évolution de la Stratégie)

C'est la partie la plus géniale. Habituellement, pour devenir un meilleur capitaine, il faut naviguer dans la vraie mer (ce qui est risqué et coûteux). SEGB, lui, s'entraîne entièrement dans un simulateur sans jamais toucher à l'eau réelle.

L'analogie : Imaginez un joueur d'échecs qui joue des milliers de parties contre lui-même dans sa tête, analysant chaque coup pour trouver une stratégie meilleure que celle de ses maîtres.
Comment ? Le système utilise une technique appelée GRPO. Il prend ses meilleures stratégies passées, imagine des variations, et se dit : "Si j'avais fait ça au lieu de ça, j'aurais gagné plus." Il s'améliore tout seul, sans avoir besoin de tester des idées folles sur le vrai marché et de perdre de l'argent.

3. Le Résultat : Un Vainqueur sur l'Océan

Les chercheurs ont testé cette méthode sur de vraies données de JD.com (un géant du e-commerce chinois).

Le verdict : SEGB a non seulement battu tous les autres systèmes existants, mais il a aussi généré +10,19% de valeur en plus pour les annonceurs lors de tests réels en ligne.
Pourquoi ? Parce qu'il ne subit pas le marché, il le devance. Il sait ce qui va arriver, il s'adapte en conséquence, et il a appris à être plus malin que n'importe quel humain ou algorithme précédent, le tout sans risquer un seul euro en essais réels.

En résumé

SEGB, c'est comme donner à un vendeur de voitures un GPS qui prédit le trafic dans 10 minutes et un coach qui l'entraîne dans un simulateur de conduite pour qu'il devienne le meilleur conducteur du monde, le tout avant même qu'il ne touche le volant d'une vraie voiture.

C'est une révolution qui transforme l'enchère automatique d'une simple réaction en une stratégie de prévoyance intelligente.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Dans le domaine de la publicité en ligne, l'enchère automatisée (auto-bidding) est cruciale pour permettre aux annonceurs de capturer des opportunités d'impressions en temps réel tout en respectant des contraintes budgétaires et des objectifs de performance (KPIs). Bien que l'apprentissage par renforcement (RL) et les modèles génératifs aient montré des promesses, les approches existantes souffrent de limitations majeures :

Manque de prévision à court terme : Les politiques génératives entraînées hors ligne (offline) manquent souvent de la capacité à anticiper les états futurs immédiats, ce qui est essentiel dans des marchés dynamiques.
Dépendance aux simulateurs : L'amélioration des politiques repose souvent sur des simulateurs externes ou des experts, ce qui introduit des biais et des coûts de calcul élevés.
Limites de l'apprentissage hors ligne (Offline RL) : Les méthodes traditionnelles peinent à explorer au-delà de la couverture des données statiques (problème de dérive de distribution) et les modèles génératifs globaux (comme les modèles de diffusion standards) peuvent violer les contraintes causales temporelles (ex. : un budget ne peut pas augmenter avec le temps).

L'objectif est de concevoir un cadre capable de planifier de manière proactive, de prendre des décisions éclairées par la prévision et d'évoluer vers des stratégies supérieures uniquement à partir de données statiques, sans interaction en ligne ni simulateur.

2. Méthodologie : Le Cadre SEGB

Les auteurs proposent SEGB (Self-Evolved Generative Bidding), un cadre synergique en trois étapes qui combine la planification générative et l'évolution de politique hors ligne.

A. Planification d'État Haute Fidélité via Diffusion Autoregressive Locale (LAD)

Pour pallier le manque de prévision et respecter les contraintes temporelles :

Concept : Au lieu de générer des trajectoires entières de manière globale (ce qui brise la causalité), le modèle LAD (Local Autoregressive Diffusion) prédit chaque état futur $s_{t+1}$ localement, conditionné par l'historique $s_{\le t}$ .
Fonctionnement : Il utilise un processus de diffusion (ajout de bruit et débruitage) appliqué de manière autoregressive. Cela garantit que les états générés sont cohérents avec les contraintes du monde réel (ex. : décroissance monotonique du budget).
Résultat : Une prédiction haute fidélité de l'état suivant, servant de « boussole » pour l'agent.

B. Génération d'Actions Pilotée par la Prévision (Next-State-Aware DT)

Pour transformer l'agent d'un imitateur réactif en un planificateur proactif :

Architecture : Une variante du Decision Transformer (DT) est utilisée. Contrairement au DT standard qui ne conditionne l'action que sur l'historique et un retour à long terme (Return-to-Go), le modèle SEGB intègre explicitement l'état futur prédit $\hat{s}_{t+1}$ (fourni par le module LAD) dans son contexte de décision.
Avantage : Cela crée une double signalisation : un objectif stratégique à long terme (le retour final) et un objectif tactique immédiat (l'état suivant prédit). Cela permet à l'agent de prendre des décisions tactiques (ex. : réduire une enchère si le budget prédit est épuisé) bien avant que la contrainte ne soit violée.

C. Évolution de Politique Hors Ligne (Offline Policy Evolution)

Pour dépasser les limites des données d'entraînement sans exploration en ligne :

Approche Hybride IQL-GRPO :
1. Critic (IQL) : Un critique (fonction de valeur) est entraîné via Implicit Q-Learning (IQL) pour estimer la valeur des paires état-action sans évaluer les actions hors distribution (OOD).
2. Optimisation (GRPO) : La politique est affinée via Group Relative Policy Optimization (GRPO). Guidée par le critique IQL (qui sert d'oracle de valeur fixe), la politique explore et découvre des stratégies supérieures à celles présentes dans le jeu de données original.
Innovation : Cette étape permet à la politique d'évoluer entièrement hors ligne, évitant ainsi le besoin de collecter des données en ligne ou d'utiliser des simulateurs imparfaits.

3. Contributions Clés

Cadre SEGB End-to-End : Une intégration unique de la diffusion autoregressive locale (LAD) pour la planification causale et de l'apprentissage par renforcement conscient de l'état futur.
Évolution de Politique Purement Hors Ligne : Utilisation d'une stratégie de fine-tuning GRPO guidée par IQL, permettant de découvrir des stratégies supérieures sans interaction en ligne ni simulateur, résolvant ainsi le dilemme de l'exploration.
Validation Industrielle à Grande Échelle : Démonstration de l'efficacité du modèle non seulement sur des benchmarks académiques, mais aussi via un déploiement réel sur la plateforme publicitaire de JD.com.

4. Résultats Expérimentaux

Benchmarks Officiels (AuctionNet)

Performance Globale : SEGB surpasse systématiquement les state-of-the-art (baselines comme IQL, CQL, DiffBid, DT, GAS) sur les jeux de données AuctionNet et AuctionNet-Sparse.
Améliorations : Gain de performance allant de 1,65 % à 12,25 % par rapport aux meilleures baselines.
Scénarios Épars : L'amélioration est particulièrement marquée sur les données éparses (AuctionNet-Sparse), prouvant que la prédiction d'état futur dense (LAD) est cruciale lorsque les récompenses sont rares.
Ablation : L'ablation montre que chaque composant est vital :
- Sans GRPO : -9,6 points (incapacité à dépasser les données).
- Sans prévision d'état futur : -10,5 points.
- Sans LAD (remplacé par diffusion globale) : -14,5 points (violation des contraintes temporelles).

Déploiement en Ligne (A/B Test sur JD.com)

Configuration : Test A/B à grande échelle comparant SEGB au modèle de production actuel (basé sur le Behavior Cloning).
Résultats Business :
- +10,19 % d'augmentation du coût cible (Target Cost).
- +15,32 % de coût, +8,13 % de conversions, +3,26 % de ROI.
Efficacité : Latence P99 inférieure à 0,0375 s, respectant la contrainte temps réel (<100 ms). L'étape GRPO n'ajoute aucun coût en ligne car elle est purement hors ligne.
Robustesse : Le modèle a démontré une excellente généralisation sur des campagnes « Cold-Start » (sans historique), avec une amélioration de +18,03 % par rapport à la baseline.

5. Signification et Impact

Le papier SEGB représente une avancée significative dans le domaine de l'enchère automatisée et de l'apprentissage par renforcement hors ligne :

Paradigme de Planification : Il démontre que la combinaison de la génération d'états futurs (via LAD) et de la prise de décision proactive est supérieure aux approches purement réactives.
Viabilité Industrielle : Il prouve qu'il est possible d'entraîner des agents complexes et évolutifs entièrement hors ligne, éliminant le besoin coûteux et risqué de simulateurs ou d'exploration en ligne.
Généralisation : La capacité à performer sur des données non vues (Cold-Start) et à s'adapter aux changements de distribution de trafic valide la robustesse de l'approche face aux dynamiques de marché non stationnaires.

En résumé, SEGB offre une nouvelle feuille de route pour les problèmes de décision séquentielle complexes, en intégrant harmonieusement la planification générative, la prévision d'état et l'évolution de politique pour créer des agents d'enchère plus intelligents, proactifs et performants.