Technische Samenvatting: HOBA – Hiërarchische On-Policy Bidding Agents voor Adaptieve Online Advertentiebelegging

1. Probleemstelling

Systemen voor biedingen in online advertenties opereren in niet-stationaire veilingmarkten waar concurrentiestrategieën, gebruikersgedrag en platformdynamiek continu evolueren. De huidige industriële praktijken vertrouwen op offline getrainde expertmodellen (bijv. PID-regelaars, Model Predictive Control en offline Reinforcement Learning-policies), maar kampen met twee kritieke beperkingen:

1. Gebrek aan Online Adaptiviteit: Expertparameters blijven na implementatie vaststaan, wat een reactie op marktverschuivingen verhindert zonder kostbare hertraining.
2. Handmatige Hyperparameter-afstemming: Systemen vereisen arbeidsintensieve, campagnespecifieke afstemming van biedgrenzen, budgettempo (pacing rates) en exploratiecoëfficiënten.

Het mogelijk maken van veilige online leerprocessen is uitdagend. On-policy methoden (bijv. PPO, A3C) riskeren catastrofale exploratie die budgetten snel kan uitputten, terwijl off-policy methoden lijden onder actie-instorting (action collapse) en distributieverschuiving wanneer ze worden ingezet in omgevingen die verschillen van hun trainingsdata. Bovendien verwarren bestaande benaderingen strategische planning vaak met tactische uitvoering, wat een gebrek aan interpreteerbaarheid tot gevolg heeft.

2. Methodologie: HOBA-framework

De auteurs stellen HOBA (Hierarchical On-Policy Bidding Agents) voor, een framework dat het biedingsprobleem deelt op in drie hiërarchische lagen die opereren op verschillende tijdschalen. Dit ontwerp beperkt online leren tot discrete expertselectie in plaats van continue biedoptimalisatie, wat het risico op exploratie aanzienlijk vermindert terwijl de adaptiviteit behouden blijft.

2.1 Hoog niveau: Strategische Redenering (Uurcyclus)

• Agent: Een Large Language Model (LLM) agent.
• Functie: Concludeert optimale hyperparameters ($\theta_t$) uit de campagnecontext via een Think-Act-Observe-Reflect loop.
• Mechanisme:
  • Think: De LLM haalt vergelijkbare historische ervaringen op uit een geheugenbank middels semantische gelijkenis en voert gestructureerde redenering uit om de grondoorzaken van prestatieafwijkingen te identificeren.
  • Act: Genereert hyperparameters inclusief biedgrenzen, responstypen (conservatief/agressief), controletargets (CPA, pacing rate) en exploratiebonussen.
  • Observe & Reflect: Na een uitvoeringstermijn van één uur aggregeert het systeem observaties, berekent afwijkingen van voorspellingen, en evalueert de LLM de kwaliteit van de beslissingen om gestructureerde lessen voor toekomstige retrieval te genereren.
• Veiligheid: Outputs worden strikt afgekapt binnen vooraf gedefinieerde veilige marges, en JSON-schemaafdwinging garandeert geldige outputs.

2.2 Middenniveau: Tactische Selectie (2-minuten cyclus)

• Agent: Een SARSA (State-Action-Reward-State-Action) agent.
• Functie: Selecteert dynamisch de beste expertmodellen uit een pool van vooraf gevalideerde experts op basis van de huidige marktcontext.
• Causale Aanpassing: Om de confounding bias in historische data aan te pakken (waarbij experts bij voorkeur in gunstige contexten werden geselecteerd), gebruikt de agent een Doubly Robust Estimator. Deze combineert een outcome model (XGBoost) en een propensity model (Logistische Regressie) om het causale effect van het selecteren van een specifieke expert te schatten, waardoor het Q-learning proces geen spuria-correlaties overneemt.
• Exploratie: Maakt gebruik van Upper Confidence Bound (UCB) exploratie, gemoduleerd door de exploratiebonus van de hoog niveau LLM.

2.3 Laag niveau: Operationele Uitvoering (Per Veiling)

• Componenten: Een dynamische expertpool bestaande uit offline getrainde modellen:
  • PID: Voor snelle foutcorrectie.
  • MPC: Voor expliciete budgetplanning over een toekomstige horizon.
  • Offline RL Modellen: CQL (Conservative Q-Learning), IQL (Implicit Q-Learning) en DT (Decision Transformer) voor het leren van gelogde data.
• Functie: Voert biedingen per veiling uit onder restricties opgelegd door de hogere laag.
• Veiligheidsmechanisme: Biedingen zijn onderworpen aan dubbele afkapregels (double-clipping): eerst tegen strategische grenzen (van de LLM) en tweede tegen volatiliteitslimieten (bijv. $\pm 20\%$ van het vorige bod). Dit garandeert dat alle biedingen voldoen aan budget- en kosten-per-conversie (CPA) restricties, ongeacht het gedrag van de geselecteerde expert.
• Adaptatie: De pool breidt zich dynamisch uit met verfijnde varianten van top-presterende experts en verwijdert onderpresterende experts, hoewel de kern van het online leren in de selectielaag blijft.

3. Belangrijkste Bijdragen

1. Hiërarchisch Multi-Agent Framework: Het eerste framework dat strategische redenering, expertselectie en bieduitvoering ontkoppelt over verschillende tijdschalen (uur, minuut, per veiling), waarbij elke laag als een autonome agent binnen een gedeelde omzetrestrictie wordt behandeld.
2. Veilige Online Adaptatie: Introduceert LLM-gestuurde hyperparameteroptimalisatie met natuurlijke taalredenering en causaal-gecorrigeerde on-policy expertselectie. Deze aanpak bereikt veiligheid door online leren te beperken tot discrete modelselectie (5–10 gevalideerde modellen) in plaats van continue biedoptimalisatie.
3. Causale Debiasing: Integreert doubly robust causale aanpassing in de middenniveau agent om selectiebias uit historische data te elimineren, wat zorgt voor robuuste expertselectie in niet-stationaire markten.
4. Empirische Validatie: Demonstreert praktische levensvatbaarheid door middel van grootschalige A/B-tests, waarbij significante verbeteringen in de bedrijfswaarde worden behaald.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de AuctionNet benchmark en via een grootschalige online A/B-test op een groot advertentieplatform.

4.1 Offline Benchmarks (AuctionNet)

• Prestaties: HOBA presteerde consequent beter dan state-of-the-art baselines (inclusief PID, MPC, BCQ, CQL, IQL, DT en HRL-Bid) in zowel standaard als sparse settings.
• Verbeteringen: Behaalde scoreverbeteringen variërend van +3,0% (standaard, 50% budget) tot +12,1% (sparse, 100% budget).
• Ablatie Studies:
  • Het verwijderen van de SARSA-gebaseerde expertselectie veroorzaakte de grootste prestatiedaling (-10,7%), wat bevestigt dat geen enkele expert alle marktomstandigheden domineert.
  • Het verwijderen van de hoog niveau LLM degradeerde de prestaties met 7,1%, wat de waarde van adaptieve hyperparameterinferentie onderstreept.
  • Het vervangen van SARSA door off-policy DQN leidde tot een verlies van 6,4% en verhoogde instabiliteit in de wisseling, wat de stabiliteit van on-policy leren in niet-stationaire omgevingen valideert.
  • Het verwijderen van de causale aanpassing leidde tot een verlies van 4,9%, wat de noodzaak van debiasing van historische data aantoont.

4.2 Online A/B-testen

Geïmplementeerd over 100.000+ campagnes met een gefaseerde uitrol (5% $\to$ 20% $\to$ 100% verkeer), demonstreerde HOBA:

• Target Cost Bereik: +3,6% verbetering (90,0% $\to$ 93,2%), wat wijst op een betere naleving van de CPA-doelstellingen van adverteerders.
• Conversiewaarde: +8,1% toename ($1,50M extra waarde over 7 dagen).
• ROI: +3,3% verbetering (2,15 $\to$ 2,22).
• Budget Voltooiing: +3,8% verbetering (94,2% $\to$ 97,8%), wat verspilling door onderbesteding vermindert.
• Adverteerderstevredenheid: Gestegen met 7,6%.
• Efficiëntie: Het systeem behield een P99-latentie van 38ms (ruim binnen de 100ms eis) en verminderde de operationele kosten met 96% vergeleken met handmatige hyperparameter-afstemming.

5. Betekenis en Claims

Het artikel claimt dat HOBA succesvol de fundamentele veiligheid-adaptiviteit trade-off in online advertenties aanpakt. Door het probleem te deconstrueren in een hiërarchische structuur, beperkt het systeem online leren tot discrete, veilige beslissingen (het selecteren van een expert) in plaats van risicovolle continue optimalisatie (het genereren van een bod).

De auteurs benadrukken dat dit ontwerp zorgt voor:

• Interpreteerbaarheid: Strategisch toezicht wordt geboden via LLM-redeneringssporen, en de bijdragen van experts worden gekwantificeerd via causale analyse.
• Robuustheid: Het systeem behoudt prestaties over variërende verkeersvolumes, gebruikersdemografieën en concurrentielandschappen, inclusclusief cold-start scenario's waarin het de baselines met 48% verbeterde in ROI.
• Schaalbaarheid: Het framework is gevalideerd in productie bij het bedienen van miljarden dagelijkse veilingen, wat bewijst dat hiërarchische multi-agent biedingen een levensvatbaar paradigma is voor adaptieve online advertentiebelegging.

De studie concludeert dat hoewel toekomstige richtingen meta-learning voor zeldzame campagnetypes en multi-objective optimalisatie omvatten, het huidige framework een robuuste, interpreteerbare en zeer effectieve oplossing biedt voor real-world biedingsuitdagingen.