Technische Samenvatting: DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation)

1. Probleemstelling

Het artikel behandelt kritieke beperkingen bij het toepassen van offline reinforcement learning (RL) en Transformer-gebaseerde sequentiemodellering (bijv. Decision Transformer) op real-world auto-bidding systemen. Hoewel offline RL noodzakelijk is vanwege de prohibitieve risico's en kosten van online exploratie in advertentieveilingen, worden bestaande methoden geconfronteerd met twee primaire uitdagingen:

1. De "Gemiddelde Actie" Valstrik: Standaard Transformer-gebaseerde benaderingen maken doorgaans gebruik van unimodale regressiedoelen (bijv. Mean Squared Error). In biedomgevingen kunnen vergelijkbare marktomstandigheden vaak meerdere verschillende doch effectieve strategieën toelaten (bijv. agressief hoog bieden versus conservatief laag bieden). Unimodale modellering laat deze diverse gedragingen samenvallen in een enkele suboptimale gemiddelde actie, die noch agressief genoeg is om veilingen te winnen, noch conservatief genoeg om kosten te beheersen.
2. Onbetrouwbaarheid in Spaarse/Long-Tail Data: Puur parametrische modellen missen expliciete mechanismen om hoogwaardige historische beslissingen vast te houden. Bijgevolg genereren ze onbetrouwbare acties in regio's met een lage dichtheid of onder long-tail verkeersomstandigheden, ondanks de aanwezigheid van hoogwaardige beslissingen in de gelogde dataset.

2. Methodologie: Het DRIVE-framework

De auteurs stellen DRIVE voor (Distributional and Retrieval-Augmented Bidding with Value Evaluation), een verenigd Transformer-gebaseerd framework dat de generatie van kandidaat-acties ontkoppelt van de besluitvorming. Het framework integreert drie kerncomponenten:

A. Distributional Action Modeling (GMM Head)

In plaats van een deterministische regressie-head gebruikt DRIVE een Gaussian Mixture Model (GMM) om de actieruimte te modelleren.

• Mechanisme: Het beleid voorspelt een set van $M$ mengcomponenten, elk gedefinieerd door mengcoëfficiënten ($\alpha_m$), gemiddelden ($\mu_m$) en varianties ($\sigma^2_m$).
• Doel: Het model wordt getraind door de log-likelihood van historische acties te maximaliseren. Dit stelt het beleid in staat om een multi-peaked dichtheid te representeren, waardoor diverse biedmodi simultaan worden gevangen in plaats van te imploderen tot een enkele puntinschatting.
• Inference: Tijdens inference samplet het model stochastisch een set kandidaat-acties ($A_{gen}$) uit de geleerde mengverdeling, waardoor multimodale biedpatronen behouden blijven.

B. Retrieval-Augmented Candidate Generation

Om de onbetrouwbaarheid van parametrische modellen in regimes met schaarse data te mitigeren, incorporeert DRIVE een retrieval-mechanisme dat gebaseerd is op hoogwaardige historische trajecten.

• Index Constructie: Een retrieval-index ($I$) wordt opgebouwd uit de offline dataset met behulp van contextuele state-embeddings gegenereerd door een lichtgewicht Transformer-encoder.
• Retrieval Strategie: Tijdens inference wordt de huidige state gecodeerd, en het systeem haalt de $K_{pool}$ dichtstbijzijnde buren op basis van cosine similarity op. Deze kandidaten worden vervolgens gefilterd en gerangschikt door hun opgeslagen Return-to-Go (RTG) waarden om de top-$K$ hoogwaardige acties ($A_{ret}$) te selecteren.
• Rol: Dit biedt expliciete non-parametrische ondersteuning, waardoor beslissingen worden verankerd aan bewezen hoogpresterende gedragingen uit de dataset.

C. Value-Based Action Evaluation

Om de uiteindelijke bieding robuust te selecteren uit de gecombineerde pool van gegenereerde en opgehaalde kandidaten, maakt DRIVE gebruik van een value-gebaseerde critic.

• Critic Architectuur: Het framework adopteert het Implicit Q-Learning (IQL) paradigma. Het leert twee Q-functies en een state value functie ($V(s)$) strikt binnen de support van de offline dataset met behulp van expectile regressie.
• Constraint Bewustzijn: Voor gebonden biedingsopdrachten (bijv. Cost Per Action - CPA) wordt de reward functie gevormd door straftermen toe te voegen. Dit zorgt ervoor dat het geleerde value-landschap inherent de veiligheidsrestricties reflecteert, waardoor de agent naar haalbare regio's wordt geleid.
• Selectie: De uiteindelijke actie ($a^*$) wordt geselecteerd door alle kandidaten ($A_{cand} = A_{gen} \cup A_{ret}$) te evalueren met de critic:
  $$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$$

3. Belangrijkste Bijdragen

1. Verenigd Framework: De voorstel van DRIVE, die distributional GMM-modellering, retrieval-augmented context en value-gebaseerde evaluatie samenbrengt om de "Gemiddelde Actie" valstrik en data-schaarsheid in offline auto-bidding aan te pakken.
2. Empirische Validatie op AuctionNet: Uitgebreide experimenten op AuctionNet, een grootschalige industriële benchmark met stochastische dynamiek en strikte budget/CPA-restricties, tonen aan dat DRIVE consequent beter presteert dan state-of-the-art baselines (inclusclusief CQL, IQL, BCQ, DT en diffusie-gebaseerde methoden).
3. Generaliseerbaarheid: Het framework blijkt breed toepasbaar te zijn, waarbij het naadloos kan worden geïntegreerd in meerdere Transformer-architecturen (DT, CDT, PDiT, BC) en consistent de prestaties verbetert over standaard offline RL-benchmarks (D4RL Gym-MuJoCo en Maze2D).

4. Experimentele Resultaten

• AuctionNet Prestaties: DRIVE bereikt superieure prestaties over alle budgetrestricties (50% tot 150%). Met name op de AuctionNet-Sparse dataset, waar puur generatieve baselines (zoals DT en DiffBid) significant degraderen door data-schaarsheid, behoudt DRIVE een robuuste prestatie door retrieval te gebruiken om beslissingen te verankeren.
• D4RL Benchmarks: DRIVE behaalt de hoogste gemiddelde genormaliseerde scores op Gym locomotion taken en vertoont significante voordelen in het Maze2D domein (bijv. een score van 136.8 op maze2d-medium, waarmee het alle concurrenten overtreft).
• Ablatie Studies:
  • Het verwijderen van de GMM-head (terugkeren naar deterministisch) of de retrieval-module leidt tot substantiële prestatiedalingen.
  • Vergelijking van GMM vs. Diffusion heads laat zien dat GMM vergelijkbare of betere prestaties bereikt met aanzienlijk lagere inference latency (11ms vs. 223ms), wat het geschikter maakt voor real-time bidding.
  • Analyse van Q-functie multimodality onthult dat 17,6% van de states multimodal is, waarbij standaard DT-policies een suboptimale rate van 54,7% vertonen, wat de noodzaak van distributional modeling bevestigt.
• Efficiëntie: Hoewel DRIVE extra geheugengebruik met zich meebrengt (voornamelijk voor de FAISS retrieval index), blijft de totale inference latency onder de 50ms, wat voldoet aan de strikte eisen van industriële real-time bidding systemen.

5. Betekenis en Claims

Het artikel claimt dat DRIVE een robuust paradigma biedt voor de inzet van offline RL in biedomgevingen. Door de generatie van kandidaten te ontkoppelen van de besluitvorming, mitigeert het effectief de "Gemiddelde Actie" valstrik en zorgt het voor betrouwbare besluitvorming onder schaarse en long-tail data-regimes. De auteurs benadrukken dat hun aanpak niet vertrouwt op complexe omgeving-modellering of online exploratie, wat het een praktische oplossing maakt voor real-world advertentiesystemen waar veiligheid en budgetrestricties van cruciaal belang zijn. Het vermogen van het framework om te generaliseren over verschillende Transformer-backbones suggereert dat het een algemene oplossing biedt voor mode collapse en sampling instabiliteit in sequentiemodellering voor offline RL.