🤖 AI

HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising

Il documento propone HOBA, un framework di apprendimento per rinforzo gerarchico che integra un grande modello linguistico per la sintonizzazione adattiva degli iperparametri, un agente SARSA corretto dal bias per la selezione dinamica del modello esperto e un pool diversificato di esperti per l'esecuzione delle offerte, superando così i limiti dei sistemi di bidding addestrati offline attraverso una significativa adattabilità online e un valore commerciale dimostrato in implementazioni su larga scala.

Autori originali: Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

Pubblicato 2026-07-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate una gigantesca casa d'aste ad alta velocità dove milioni di persone cercano di acquistare minuscole fette di attenzione ogni secondo. Questo è il mondo della pubblicità online. Gli inserzionisti vogliono mostrare i loro annunci alle persone giuste senza spendere l'intero budget in un singolo minuto. Per farlo, utilizzano dei "bidding agent" (agenti di offerta): programmi informatici che decidono quanto pagare per uno slot pubblicitario. Pensate a questi agenti come a piloti di auto da corsa. Alcuni piloti sono molto prudenti e seguono un rigido regolamento (come un controllore PID), mentre altri sono come grandi maestri che hanno studiato miglia di gare passate per imparare le mosse migliori (come il Reinforcement Learning offline).

Il problema è che la pista cambia costantemente. Il meteo cambia, altri piloti diventano più veloci e le regole del gioco si evolvono. Un pilota che segue solo un regolamento statico potrebbe schiantarsi quando la pista diventa scivolosa. Un pilota che cerca di imparare nuove mosse mentre corre a 320 chilometri orari potrebbe finire fuori controllo e rimanere senza carburante (budget) in pochi secondi. Gli scienziati hanno cercato di costruire un pilota che fosse sia sicuro che abbastanza intelligente da adattarsi in tempo reale, ma è un delicato equilibrio. Se si lascia che il computer impari troppo liberamente, potrebbe commettere un errore disastroso. Se non lo si lascia affatto imparare, rimarrà indietro quando il mercato cambia.

È qui che entra in gioco il paper "HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising". I ricercatori di Kuaishou Technology propongono un nuovo modo per gestire questi piloti di gara chiamato HOBA. Invece di cercare di insegnare a un singolo pilota come fare tutto, costruiscono una squadra a tre livelli che lavora insieme come un muretto dei box, un stratega e un pilota.

Al vertice della squadra c'è uno "Stratega" alimentato da un Large Language Model (LLM). Immaginate questo come un coach saggio che osserva il quadro generale una volta ogni ora. Questo coach non decide la velocità esatta per ogni curva; invece, osserva il meteo, i livelli di carburante e la competizione, poi scrive un nuovo set di istruzioni per la squadra. Potrebbe dire: "Oggi, sii un po' più aggressivo" oppure "Mantieni la spesa lenta e costante". Questo coach impara da un archivio di gare passate, utilizzando un ciclo "Pensa-Agisci-Osserva-Rifletti" per diventare sempre più intelligente nel tempo.

Nel mezzo c'è un "Manager Tattico", un agente intelligente che controlla la situazione ogni due minuti. Il suo compito è scegliere il "pilota" migliore da un garage di esperti pre-addestrati. Il garage contiene diversi tipi di piloti: uno è bravo nelle correzioni rapide (PID), un altro è bravo nella pianificazione a lungo termine (MPC), e altri sono esperti che hanno imparato da enormi dataset (come IQL o Decision Transformers). Il Manager Tattico non indovina casualmente; utilizza uno speciale strumento di "aggiustamento causale" per assicurarsi di non essere ingannato dalla fortuna. Ad esempio, se un pilota ha vinto una gara solo perché il meteo era perfetto, il manager sa di non dover attribuire quel successo al pilota. Sceglie il pilota che è veramente il più adatto per il momento attuale.

In fondo ci sono i "Piloti" stessi. Questi sono gli esperti che effettuano effettivamente le offerte per ogni singola asta pubblicitaria, che avviene in millisecondi. Essi seguono le regole stabilite dallo Stratega e la scelta fatta dal Manager Tattico. Fondamentalmente, questi piloti non cambiano il proprio cervello mentre corrono. Sono strumenti sicuri e pre-testati. L'"apprendimento" avviene solo nello strato intermedio, dove la squadra decide quale pilota utilizzare. Questo mantiene il sistema al sicuro da errori folli che potrebbero esaurire il budget, pur permettendogli di adattarsi rapidamente a un mercato mutevole.

I ricercatori hanno testato questo sistema in due modi. Primo, lo hanno eseguito in un ambiente simulato chiamato AuctionNet, che è come una versione videoludica del mercato pubblicitario. In questi test, HOBA ha costantemente superato i migliori metodi esistenti, migliorando le prestazioni fino al 12% in scenari difficili e imprevedibili. Secondo, e cosa più importante, lo hanno provato nel mondo reale. Hanno eseguito un test massiccio su una piattaforma pubblicitaria live con miglia로 di campagne e milioni di dollari di budget.

I risultati sono stati impressionanti. Nel test nel mondo reale, HOBA ha aiutato gli inserzionisti a raggiungere i loro obiettivi di costo il 3,6% in più rispetto al vecchio sistema. Ciò significa che hanno ottenuto più valore per il loro denaro senza spendere troppo. Il sistema ha anche aumentato il valore totale delle conversioni dell'8,1% e migliorato il ritorno sull'investimento (ROI) del 3,3%. Forse la cosa più importante è che ha fatto tutto questo senza far saltare il budget o causare il caos. Il sistema ha dimostrato che, dividendo il lavoro in un coach strategico, un manager tattico e una squadra di piloti specializzati, è possibile creare un sistema pubblicitario che sia sia sicuro che incredibilmente adattabile. È un promemoria del fatto che, a volte, il modo più intelligente per vincere una gara non è avere un super-pilota, ma avere una squadra perfetta che lavora insieme.

Riepilogo Tecnico: HOBA – Agenti di Bidding Gerarchici On-Policy per la Pubblicità Online Adattiva

1. Definizione del Problema

I sistemi di bidding per la pubblicità online operano in mercati d'asta non stazionari in cui le strategie dei concorrenti, i comportamenti degli utenti e le dinamiche della piattaforma evolvono continuamente. Le attuali pratiche del settore si affidano a modelli esperti addestrati offline (ad es. controllori PID, Model Predictive Control ed esperti di policy offline Reinforcement Learning), ma affrontano due criticità fondamentali:

Mancanza di Adattabilità Online: I parametri degli esperti rimangono fissi dopo il deployment, impedendo la risposta ai cambiamenti del mercato senza costosi riaddestramenti.
Tuning Manuale degli Iperparametri: I sistemi richiedono un lavoro laborioso di tuning specifico per ogni campagna, relativo ai limiti di offerta (bid bounds), ai tassi di pacing del budget e ai coefficienti di esplorazione.

Abilitare l'apprendimento online sicuro è complesso. I metodi on-policy (ad es. PPO, A3C) rischiano un'esplorazione catastrofica che può esaurire rapidamente i budget, mentre i metodi off-policy soffrono di collasso delle azioni (action collapse) e shift distribuzionale quando vengono implementati in ambienti diversi da quelli di addestramento. Inoltre, gli approcci esistenti spesso confondono la pianificazione strategica con l'esecuzione tattica, mancando di interpretabilità.

2. Metodologia: Framework HOBA

Gli autori propongono HOBA (Hierarchical On-Policy Bidding Agents), un framework che decompone il problema del bidding in tre livelli gerarchici che operano su scale temporali distinte. Questo design confina l'apprendimento online alla selezione discreta di esperti piuttosto che all'ottimizzazione continua dell'offerta, riducendo significativamente il rischio di esplorazione pur mantenendo l'adattabilità.

2.1 Livello Superiore: Ragionamento Strategico (Ciclo Orario)

Agente: Un agente basato su Large Language Model (LLM).
Funzione: Inferisce gli iperparametri ottimali ( $\theta_t$ ) dal contesto della campagna tramite un ciclo Think-Act-Observe-Reflect (Pensa-Agisci-Osserva-Rifletti).
Meccanismo:
- Think (Pensa): L'LLM recupera esperienze storiche simili da un archivio di memoria utilizzando la somiglianza semantica e svolge un ragionamento strutturato per identificare le cause profonde delle deviazioni dalle prestazioni.
- Act (Agisci): Genera iperparametri che includono limiti di offerta, modalità di risposta (conservativa/aggressiva), obiettivi di controllo (CPA, tasso di pacing) e bonus di esplorazione.
- Observe & Reflect (Osserva e Rifletti): Dopo una finestra di esecuzione di un'ora, il sistema aggrega le osservazioni, calcola le deviazioni dalle previsioni e l'LLM valuta la qualità delle decisioni per generare lezioni strutturate per il recupero futuro.
Sicurezza: Gli output sono strettamente limitati (clipped) a intervalli sicuri predefiniti e l'applicazione di uno schema JSON garantisce la validità degli output.

2.2 Livello Intermedio: Selezione Tattica (Ciclo di 2 Minuti)

Agente: Un agente SARSA (State-Action-Reward-State-Action).
Funzione: Seleziona dinamicamente il miglior modello esperto da un pool di esperti pre-validati in base al contesto di mercato attuale.
Regolazione Causale: Per affrontare il bias di confondimento nei dati storici (dove gli esperti venivano selezionati preferenzialmente in contesti favorevoli), l'agente utilizza un Estimatore Doubly Robust. Questo combina un modello di esito (XGBoost) e un modello di propensione (Logistic Regression) per stimare l'effetto causale della selezione di un particolare esperto, garantendo che il processo di Q-learning non erediti correlazioni spurie.
Esplorazione: Utilizza l'esplorazione Upper Confidence Bound (UCB) modulata dal bonus di esplorazione dell'LLM di alto livello.

2.3 Livello Inferiore: Esecuzione Operativa (Per Ogni Asta)

Componenti: Un pool dinamico di esperti contenente modelli addestrati offline:
- PID: Per una rapida correzione dell'errore.
- MPC: Per una pianificazione esplicita del budget su un orizzonte futuro.
- Modelli di Offline RL: CQL (Conservative Q-Learning), IQL (Implicit Q-Learning) e DT (Decision Transformer) per apprendere dai dati registrati.
Funzione: Esegue le offerte per ogni asta sotto i vincoli imposti dal livello superiore.
Meccanismo di Sicurezza: Le offerte sono soggette a un doppio clipping: il primo rispetto ai limiti strategici (dall'LLM) e il secondo rispetto ai limiti di volatilità (ad es. $\pm 20\%$ dell'offerta precedente). Ciò garantisce che tutte le offerte soddisfino i vincoli di budget e di costo per acquisizione (CPA) indipendentemente dal comportamento dell'esperto selezionato.
Adattamento: Il pool si espande dinamicamente con varianti perfezionate degli esperti con le migliori prestazioni e rimuove quelli meno performanti, sebbene l'apprendimento online principale rimanga nel livello di selezione.

3. Contributi Chiave

Framework Multi-Agente Gerarchico: Il primo framework che decompone il ragionamento strategico, la selezione dell'esperto e l'esecuzione dell'offerta attraverso scale temporali (oraria, minuta, per asta), trattando ogni livello come un agente autonomo all'interno di un vincolo di ricavo condiviso.
Adattamento Online Sicuro: Introduce l'ottimizzazione degli iperparametri guidata da LLM con ragionamento in linguaggio naturale e selezione di esperti on-policy corretta causalmente. Questo approccio garantisce la sicurezza limitando l'apprendimento online alla selezione discreta di modelli (5–10 modelli validati) anziché all'ottimizzazione continua dell'offerta.
Debiasing Causale: Incorpora l'aggiustamento causale doubly robust nell'agente di livello intermedio per eliminare il bias di selezione dai dati storici, garantendo una selezione degli esperti robusta in mercati non stazionari.
Validazione Empirica: Dimostra la fattibilità pratica attraverso ampi test A/B su scala reale, ottenendo miglioramenti significativi del valore di business.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark AuctionNet e tramite un test A/B online su larga scala su una importante piattaforma pubblicitaria.

4.1 Benchmark Offline (AuctionNet)

Prestazioni: HOBA ha superato costantemente i baseline allo stato dell'arte (inclusi PID, MPC, BCQ, CQL, IQL, DT e HRL-Bid) sia in scenari standard che in quelli con scarsità di dati (sparse).
Miglioramenti: Ha ottenuto incrementi di punteggio compresi tra il +3,0% (standard, 50% budget) e il +12,1% (sparse, 100% budget).
Studi di Ablazione:
- La rimozione della selezione degli esperti basata su SARSA ha causato il calo di prestazioni più grande (-10,7%), confermando che nessun singolo esperto domina tutte le condizioni di mercato.
- La rimozione dell'LLM di alto livello ha degradato le prestazioni del 7,1%, evidenziando il valore dell'inferenza adattiva degli iperparametri.
- La sostituzione di SARSA con l'off-policy DQN ha causato una perdita del 6,4% e ha aumentato l'instabilità del passaggio (switching instability), validando la stabilità dell'apprendimento on-policy in ambienti non stazionari.
- La rimozione dell'aggiustamento causale ha portato a una perdita del 4,9%, dimostrando la necessità di debiasing dei dati storici.

4.2 Test A/B Online

Distribuito su oltre 100.000 campagne con un rilascio graduale (5% $\to$ 20% $\to$ 100% del traffico), HOBA ha dimostrato:

Raggiungimento del Costo Target: Miglioramento del +3,6% (90,0% $\to$ 93,2%), indicando una migliore aderenza ai target di CPA degli inserzionisti.
Valore di Conversione: Incremento dell'+8,1% ($1,50 milioni di valore aggiuntivo in 7 giorni).
ROI: Miglioramento del +3,3% (2,15 $\to$ 2,22).
Completamento del Budget: Miglioramento del +3,8% (94,2% $\to$ 97,8%), riducendo lo spreco dovuto alla mancata spesa.
Soddisfazione dell'Inserzionista: Aumentata del 7,6%.
Efficienza: Il sistema ha mantenuto una latenza P99 di 38ms (ben entro il requisito di 100ms) e ha ridotto i costi operativi del 96% rispetto al tuning manuale degli iperparametri.

5. Significato e Rivendicazioni

L'articolo sostiene che HOBA affronta con successo il fondamentale tradeoff tra sicurezza e adattabilità nella pubblicità online. Decomponendo il problema in una struttura gerarchica, il sistema restringe l'apprendimento online a decisioni discrete e sicure (selezione di un esperto) piuttosto che a un'ottimizzazione continua rischiosa (generazione di un'offerta).

Gli autori sottolineano che questo design permette:

Interpretabilità: La supervisione strategica è fornita tramite tracce di ragionamento dell'LLM, e il contributo degli esperti è quantificato tramite analisi causale.
Robustezza: Il sistema mantiene le prestazioni attraverso variazioni di volume di traffico, demografia degli utenti e paesaggi competitivi, inclusi gli scenari di cold-start dove ha superato i baseline con un miglioramento del ROI del 48%.
Scalabilità: Il framework è stato validato in produzione servendo miliardi di aste giornaliere, provando che il bidding multi-agente gerarchico è un paradigma valido per la pubblicità online adattiva.

Il lavoro conclude che, sebbene le direzioni future includano il meta-learning per tipi di campagne rari e l'ottimizzazione multi-obiettivo, l'attuale framework fornisce una soluzione robusta, interpretabile e altamente efficace per le sfide del bidding nel mondo reale.