Knowledge-informed Bidding with Dual-process Control for Online Advertising

Il paper propone KBD, un metodo innovativo per l'ottimizzazione delle offerte nella pubblicità online che integra l'esperienza umana e un controllo a doppio processo (unendo regole PID e Decision Transformer) per superare i limiti dei modelli black-box tradizionali, migliorando la coerenza globale e l'adattabilità in scenari complessi.

L'essenziale

Immagina di essere il capitano di una nave mercantile che deve attraversare un oceano in tempesta (il mercato della pubblicità online) per consegnare la massima quantità di merci (le vendite o GMV) entro un budget limitato e rispettando certe regole di sicurezza.

Il problema è che le mappe tradizionali (i vecchi algoritmi di intelligenza artificiale) sono spesso cieche: imparano solo guardando le foto delle tempeste passate. Se arriva una nuova, inaspettata ondata (una promozione di Natale o un nuovo prodotto), queste mappe si confondono e la nave rischia di naufragare o di sprecare carburante.

Questo paper presenta KBD, un nuovo sistema di navigazione che combina l'intelligenza artificiale con l'esperienza umana, ispirandosi a come funziona il nostro cervello. Ecco come funziona, spiegato con parole semplici:

1. Il Problema: L'AI che "dimentica" l'esperienza

I sistemi attuali sono come un pilota automatico che guarda solo i dati storici. Se il mercato cambia improvvisamente (es. tutti comprano di più perché c'è il Black Friday), il sistema va in tilt perché non ha mai visto quella situazione prima. Inoltre, spesso prende decisioni "miopi": guarda solo il prossimo minuto e dimentica che deve arrivare a destinazione tra 24 ore.

2. La Soluzione: KBD (Il Capitano con Due Cervelli)

Gli autori propongono un sistema che usa due "cervelli" che lavorano insieme, basandosi sulla Teoria del Doppio Processo (System 1 e System 2):

• Il Sistema 1 (L'Intuito Esperto - PID): È come il vecchio capitano esperto che guarda fuori dalla finestra. Non fa calcoli complessi, ma reagisce istantaneamente. Se la nave sta andando troppo veloce rispetto al budget, frena subito. È veloce, robusto e non sbaglia mai le regole di base, ma è un po' "stupido" e non pianifica il futuro.
• Il Sistema 2 (Il Pianificatore - Decision Transformer): È il navigatore con la mappa complessa e l'AI. Analizza le correnti, prevede le onde delle prossime 24 ore e cerca la rotta perfetta per massimizzare le merci consegnate. È intelligente e guarda lontano, ma se arriva una tempesta improvvisa che non è nelle sue mappe, potrebbe farsi prendere dal panico e sbagliare.

La magia di KBD: Non scegli uno dei due. Li fusi!

• Quando tutto va bene, ascolti il Pianificatore (Sistema 2) per trovare la rotta migliore.
• Quando le cose si fanno strane o l'AI è incerta (come durante una tempesta improvvisa), il Capitano Esperto (Sistema 1) prende il sopravvento per assicurarsi che la nave non affondi.
• Inoltre, durante l'addestramento, il Pianificatore impara a "ascoltare" il Capitano Esperto, diventando più prudente e meno propenso a rischiare.

3. La Fase Macro: La "Mappa" Giusta (IEFormer)

Prima di salpare, devi sapere quanto costa il viaggio. Il sistema usa un metodo speciale chiamato IEFormer per creare una mappa del rapporto tra "quanto spendi" e "quanto guadagni".

• Invece di usare una scatola nera magica che non capisci, questo sistema usa una mappa ibrida: una parte è fatta di matematica pura (che assicura che se spendi di più, guadagni di più, ma con rendimenti decrescenti, come in natura) e una parte è fatta di AI che impara dai dati.
• È come se avessi una mappa disegnata a mano da un esperto, ma aggiornata in tempo reale dai satelliti. Questo permette al sistema di funzionare bene anche quando i dati sono scarsi.

4. Risultati: Una Navigazione Perfetta

Hanno testato questo sistema su dati reali (come i log di un grande sito di e-commerce cinese) e su dati pubblici.

• Risultato: KBD ha battuto tutti i sistemi precedenti.
• Perché? Perché non si fida ciecamente dei dati passati (come fanno gli altri), ma integra l'esperienza umana (le regole di base) con la capacità di pianificazione a lungo termine dell'AI.
• Quando il mercato è cambiato improvvisamente (nuovi prodotti, promozioni), KBD non ha perso la rotta, mentre gli altri sistemi hanno fatto errori costosi.

In sintesi

Immagina di dover gestire un budget pubblicitario.

• I vecchi sistemi sono come un robot che segue ciecamente un manuale vecchio di 5 anni.
• KBD è come un equipaggio perfetto: hai un navigatore AI che pianifica il viaggio di 24 ore guardando le previsioni meteo, ma hai anche un capitano esperto che, se vede un'onda anomala, prende il timone per evitare il disastro. Insieme, arrivano a destinazione con più merci e meno carburante sprecato.

È un modo per rendere l'intelligenza artificiale più "umana", prudente e capace di adattarsi al mondo reale, dove le cose cambiano all'improvviso.

Sommario tecnico

1. Il Problema

L'ottimizzazione delle offerte (bid optimization) nella pubblicità online si basa attualmente su modelli di apprendimento automatico (ML) "black-box" che apprendono decisioni di offerta dai dati storici. Tuttavia, questi approcci presentano tre limiti fondamentali rispetto agli esperti umani:

1. Scarsa generalizzazione in scenari con pochi dati: I modelli faticano a gestire casi di sparsità dei dati a causa della mancanza di conoscenza strutturata.
2. Decisioni miopi: Tendono a ottimizzare il guadagno a un singolo passo decisionale, ignorando le interdipendenze temporali a lungo termine e gli effetti cumulativi.
3. Fragilità agli shift distributivi: Falliscono in scenari fuori distribuzione (Out-of-Distribution - OOD), come promozioni di vendita o lanci di nuovi prodotti, dove gli esperti umani riescono invece ad adattarsi rapidamente.

L'obiettivo è sviluppare un sistema di offerta automatica che integri l'esperienza umana, gestisca le dipendenze temporali a lungo termine e rimanga robusto durante i cambiamenti improvvisi del mercato.

2. Metodologia: KBD (Knowledge-informed Bidding with Dual-process Control)

KBD è un metodo di ottimizzazione delle offerte in due fasi che combina l'apprendimento automatico informato (Informed Machine Learning - IML) con la teoria dei processi duali (Dual-process Theory).

Fase Macro (Giornaliera): IEFormer

Questa fase stabilisce una linea di base robusta per il target CPA (Cost Per Action), utilizzando il paradigma Informed Machine Learning (IML) per incorporare l'esperienza umana a tre livelli:

• Livello Ipotetico (Architettura Ibrida): Viene utilizzata un'architettura cognitiva ibrida che combina:
  • Un modulo connectionist (Encoder Transformer) per estrarre caratteristiche dai dati storici.
  • Un modulo simbolico (Interprete Prezzo-Volume) basato su ragionamento lineare a tratti monotono. Questo modulo mappa i costi sul tCPA utilizzando pesi interpretabili.
  • Per evitare una distribuzione sbilanciata dei campioni negli intervalli di costo, viene introdotta una strategia di partizione adattiva guidata dall'entropia (risolta tramite l'algoritmo GLA).
• Livello Algoritmico (Vincoli di Dominio): Vengono imposti vincoli di regolarizzazione per riflettere l'esperienza del settore:
  • Monotonicità: Il tCPA non deve diminuire all'aumentare del costo.
  • Lisciatura: La relazione non deve avere discontinuità brusche.
  • Rendimento marginale decrescente: Un nuovo vincolo che penalizza l'aumento eccessivo del tCPA man mano che il costo cresce.
• Livello Dati (Trasferimento di Conoscenza): Per mitigare la scarsità di dati, le conoscenze da altre strategie di offerta (es. tROI, tCPC) vengono convertite in valori tCPA equivalenti tramite una formula unificata eCPM, arricchendo il set di dati di addestramento.

Fase Micro (Oraria): Controllo a Doppio Processo

Questa fase esegue aggiustamenti orari del tCPA per massimizzare il GMV (Gross Merchandise Volume) nel lungo termine, affrontando il problema come un Processo Decisionale di Markov (MDP) a 24 passi.

• Sistema 2 (Decision Transformer - DT): Un modello basato su trasformatori addestrato con Reinforcement Learning Offline per ottimizzare le sequenze di offerte future, superando la miopia delle ottimizzazioni passo-passo.
• Sistema 1 (Controller PID): Un controller basato su regole (PID) derivato da euristiche esperte, che regola le offerte in base alla deviazione del tasso di spesa rispetto al budget. È robusto, a bassa latenza e affidabile in scenari imprevisti.
• Fusione Dual-Process:
  • Durante l'addestramento: Il DT viene regolarizzato verso il comportamento del PID (usando un prior MDL - Minimum Description Length) per imparare a emulare la cautela del sistema 1.
  • Durante l'inferenza: Le decisioni vengono fuse dinamicamente in base all'incertezza del modello DT. Se l'errore di previsione del DT è alto (alta incertezza), il sistema si affida maggiormente al PID robusto, garantendo un degrado elegante (graceful degradation).

3. Contributi Chiave

1. Framework KBD: Un metodo a due stadi che combina la calibrazione giornaliera guidata dagli esperti (IEFormer) con il controllo sequenziale orario (DT+PID) per ottimizzare i ricavi a lungo termine.
2. Controllo a Doppio Processo: Un'architettura innovativa che fonde un controller PID (Sistema 1) con un Decision Transformer (Sistema 2). Il PID guida l'addestramento del DT e funge da rete di sicurezza durante l'inferenza, migliorando la robustezza agli shift distributivi.
3. Integrazione della Conoscenza (IML): Dimostrazione pratica di come incorporare vincoli di dominio (monotonicità, rendimenti decrescenti) e conoscenza esperta a livello ipotetico, algoritmico e dei dati per migliorare le prestazioni in scenari con dati scarsi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: il dataset pubblico iPinYou e un dataset privato di e-commerce (ECA) con 200 inserzionisti.

• Prestazioni Generali (RQ1): KBD supera tutti i metodi state-of-the-art (inclusi PUROS, GCB-safe, ARTEO) sia nel rapporto di ritorno normalizzato ($R/R^*$) che nel rispetto dei vincoli. Su iPinYou, KBD ottiene un $R/R^*$ di 0.730 contro lo 0.723 di PUROS.
• Impatto dell'IML (RQ2): Gli studi di ablazione sul dataset ECA mostrano che la rimozione di qualsiasi componente IML (modulo IE, GLA, vincolo $L_{margin}$, dati tROI) porta a un immediato degrado delle prestazioni. In particolare, il modulo IE è cruciale per l'architettura ibrida.
• Robustezza (RQ3): IEFormer dimostra robustezza rispetto al numero di segmenti ($N$), mantenendo prestazioni superiori rispetto ai modelli black-box tradizionali anche al variare di $N$ da 6 a 15.
• Controllo a Doppio Processo (RQ4):
  • Il DT da solo migliora il ritorno ma riduce il rispetto dei vincoli (offerte troppo aggressive).
  • Il PID da solo rispetta i vincoli ma è miopo.
  • La fusione KBD migliora entrambi i metrici di circa l'1% rispetto alle componenti singole.
  • Test Online: Su una piattaforma reale, l'implementazione di KBD ha portato a un aumento del 8.44% nel rapporto di esaurimento del budget e a un aumento del 6.14% nel GMV rispetto al gruppo di controllo, confermando l'efficacia in scenari reali con shift distributivi.

5. Significato e Impatto

Il lavoro KBD rappresenta un passo significativo verso sistemi di pubblicità automatizzata più affidabili e interpretabili.

• Superamento dei limiti del Black-Box: Dimostra che l'integrazione esplicita della conoscenza umana (attraverso vincoli euristiche e architetture ibride) è essenziale per gestire la scarsità di dati e la complessità del mercato.
• Robustezza Operativa: L'approccio a doppio processo risolve il dilemma tra l'adattabilità dei modelli complessi (DT) e la sicurezza dei sistemi basati su regole (PID), rendendo il sistema adatto a scenari dinamici e imprevedibili come le promozioni stagionali.
• Scalabilità: La metodologia è applicabile a diverse strategie di offerta (tCPA, tROI, tCPC) e ha dimostrato successo sia su dati pubblici che in produzione su larga scala.

In sintesi, KBD non solo migliora le metriche di business (GMV, ROI), ma offre un framework teorico e pratico per rendere l'intelligenza artificiale nelle pubblicità più trasparente, robusta e allineata con l'intuito degli esperti umani.