Uncertainty Quantification of Click and Conversion Estimates for the Autobidding

Il paper propone il metodo DenoiseBid, un approccio bayesiano che corregge le stime incerte di CTR e CVR nei sistemi di autobidding per e-commerce, sostituendo i valori rumorosi con distribuzioni recuperate per migliorare l'efficienza delle aste, come dimostrato da esperimenti su dataset sintetici e reali.

L'essenziale

Immagina di essere il capo di un'agenzia di pubblicità che deve comprare spazi pubblicitari su internet. Ogni giorno, il tuo computer partecipa a milioni di aste (come quelle di eBay, ma in frazioni di secondo) per mostrare un annuncio a un potenziale cliente.

Il Problema: Il "Veggente" Incerto

Per decidere quanto offrire per vincere un'asta, il tuo computer si basa su due previsioni fatte da un'intelligenza artificiale:

1. CTR (Click-Through Rate): "Quante probabilità c'è che l'utente clicchi sull'annuncio?"
2. CVR (Conversion Rate): "Quante probabilità c'è che l'utente compri il prodotto dopo aver cliccato?"

Il problema è che queste previsioni non sono mai perfette. Sono come le previsioni del tempo: a volte il veggente (l'IA) dice "pioverà al 90%", ma in realtà è solo una nuvola. Se il tuo sistema di offerta (il "bidding") si fida ciecamente di queste previsioni sbagliate, rischia di:

• Spendere troppo: Offrendo cifre esagerate per annunci che nessuno cliccherà.
• Spendere troppo poco: Non vincendo aste che avrebbe potuto vincere facilmente.
• Violare il budget: Finendo i soldi prima della fine della giornata.

La Soluzione: "DenoiseBid" (Il Filtro Magico)

Gli autori del paper hanno creato un metodo chiamato DenoiseBid. Immaginalo non come un semplice calcolatore, ma come un filtro anti-rumore o un detective esperto.

Invece di prendere la previsione "grezza" e incerta dell'IA (es. "Probabilità di acquisto: 5%"), DenoiseBid fa questo:

1. Guarda la storia: Analizza migliaia di dati passati per capire come si comportano realmente le probabilità di acquisto (la "distribuzione a priori").
2. Ascolta il rumore: Capisce quanto è "rumorosa" (incerta) la previsione attuale.
3. Corregge il tiro: Usa la matematica bayesiana (un modo intelligente di aggiornare le credenze con nuove prove) per "pulire" la previsione. Trasforma quel "5% incerto" in una stima più solida e realistica, tenendo conto del fatto che l'IA potrebbe aver sbagliato.

L'Analogia della Scommessa

Immagina di dover scommettere su una partita di calcio.

• Il metodo vecchio (Non-Robust): Il tuo amico ti dice: "La squadra A vince al 90%". Tu scommetti tutto. Se il tuo amico si è sbagliato (e la squadra perde), perdi tutto.
• Il metodo Robust (esistente): Il tuo amico dice: "Non so, potrebbe essere tutto o niente". Tu, per sicurezza, scommetti pochissimo. Non perdi molto, ma non vinci nemmeno quasi nulla.
• Il metodo DenoiseBid: Il tuo amico ti dice: "La squadra A vince al 90%, ma so che oggi è molto stanco e il suo storico dice che sbaglia spesso quando è stanco". Tu, usando questa informazione extra, aggiusti la tua scommessa: non scommetti tutto, ma nemmeno poco. Trovi il punto perfetto dove massimizzi le vincite senza rischiare il disastro.

Cosa hanno scoperto?

Gli autori hanno testato questo metodo su dati reali e simulati. I risultati sono stati chiari:

• Meno sprechi: Rispetto ai metodi attuali, DenoiseBid rispetta meglio i limiti di spesa (il budget non viene mai superato).
• Più vendite: Riesce a ottenere più conversioni (vendite reali) perché non si fida ciecamente delle stime sbagliate, ma le "depura".
• Adattabilità: Funziona bene sia quando l'errore è piccolo sia quando l'IA è molto confusa.

In sintesi

DenoiseBid è come dare al tuo sistema di pubblicità un "senso comune" matematico. Invece di reagire ciecamente a ogni numero che l'IA gli dà, il sistema capisce che quei numeri hanno un margine di errore, corregge la mira basandosi sull'esperienza passata e fa offerte più intelligenti, risparmiando soldi e guadagnando più clienti.

È un passo avanti fondamentale per rendere l'automazione delle pubblicità non solo veloce, ma anche saggia.

Sommario tecnico

1. Il Problema

Le moderne piattaforme di e-commerce utilizzano meccanismi di asta automatizzati (autobidding) per allocare milioni di spazi pubblicitari al giorno. Questi sistemi ottimizzano le offerte (bid) degli inserzionisti basandosi su stime di CTR (Click-Through Rate) e CVR (Conversion Rate) fornite da modelli di machine learning pre-addestrati.

Il problema centrale identificato dagli autori è l'incertezza intrinseca di queste previsioni. In un'asta al secondo prezzo (Second-Price Auction - SPA), la formula per l'offerta ottimale è una funzione lineare di CTR e CVR. Di conseguenza:

• Gli errori di stima nei modelli ML si propagano direttamente nel valore dell'offerta.
• Questo porta a un'allocazione del budget subottimale e, soprattutto, alla violazione dei vincoli di costo per clic (CPC) imposti dagli inserzionisti.
• I metodi esistenti spesso trattano le stime come deterministiche o utilizzano approcci di ottimizzazione robusta che non sfruttano appieno le distribuzioni di probabilità delle stime, risultando troppo conservativi o inefficienti.

2. Metodologia: DenoiseBid

Gli autori propongono DenoiseBid, un metodo di autobidding bayesiano che trasforma il problema da deterministico a stocastico. L'obiettivo non è massimizzare le conversioni attese basandosi sui valori rumorosi osservati, ma massimizzare l'aspettativa condizionata delle conversioni reali date le osservazioni rumorose.

A. Formulazione del Problema

Invece di risolvere un problema di programmazione lineare (LP) standard con valori fissi, DenoiseBid risolve un problema di ottimizzazione stocastica:

• Obiettivo: Massimizzare $E[\sum x_t \cdot CTR_t \cdot CVR_t | O]$, dove $O$ sono le osservazioni rumorose.
• Vincoli: Rispettare il budget totale e il limite medio di CPC, calcolati sulle aspettative posteriori.
• Soluzione: Derivando il duale di Lagrange, si ottiene una formula di offerta in forma chiusa che dipende dalle aspettative posteriori di CTR e CVR, non dai valori grezzi.

B. Stima delle Aspettative Posteriori

Per calcolare queste aspettative, il metodo combina due componenti:

1. Modello del Rumore (Likelihood): Si assume che gli errori di stima siano additivi e distribuiti normalmente nello spazio logit (trasformazione log-odds). Questo è particolarmente adatto per i predittori CTR/CVR che usano funzioni sigmoide.
2. Distribuzione A Priori (Prior): Poiché le distribuzioni reali di CTR/CVR sono complesse e multimodali, il metodo modella la distribuzione a priori nello spazio logit come una Miscela di Gaussiane (Gaussian Mixture Model - GMM).

C. Recupero della Distribuzione (XDGMM)

Un aspetto cruciale è che non si conoscono i valori veri (ground truth), ma solo le stime rumorose. Per recuperare i parametri della distribuzione a priori (pesi, medie, varianze delle componenti della GMM) partendo dai dati rumorosi, il paper utilizza la tecnica Extreme Deconvolution (XDGMM).

• A differenza dell'algoritmo EM standard, XDGMM tiene conto delle varianze del rumore specifiche per ogni campione ($\sigma_t^2$), permettendo di "denoisare" la distribuzione osservata per stimare quella reale.

D. Gestione dell'Incertezza Congiunta

Il metodo gestisce due scenari:

1. Incertezza solo su CTR: Si assume indipendenza tra CTR e CVR. L'aspettativa si calcola con approssimazioni probit.
2. Incertezza Congiunta (CTR-CVR): Si modella la distribuzione congiunta nello spazio logit bivariato. Per calcolare l'aspettativa del prodotto $CTR \times CVR$ su una distribuzione correlata, si utilizza la decomposizione di Cholesky e la quadratura di Gauss-Hermite, mantenendo il calcolo efficiente per sistemi in tempo reale.

3. Contributi Chiave

1. Formulazione Teorica: Definizione formale del problema di autobidding con CTR/CVR rumorosi e derivazione di una regola di offerta in forma chiusa basata sulle aspettative bayesiane.
2. Algoritmo DenoiseBid: Sviluppo di un metodo pratico che recupera la distribuzione a priori dai dati rumorosi tramite XDGMM e calcola offerte "denoisate" in tempo reale.
3. Validazione Empirica: Sperimentazione estesa su quattro dataset (Synthetic, iPinYou, BAT, Criteo Attribution) con rumore sintetico e rumore empirico, dimostrando guadagni consistenti rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti confrontano DenoiseBid con due baseline:

• Non-Robust: Offre basate su stime ML dirette (senza correzione).
• RobustBid: Approccio di ottimizzazione robusta basato su insiemi di incertezza (quantili).

Risultati principali:

• Stabilità sotto rumore: Mentre la strategia "Non-Robust" viola frequentemente i vincoli di CPC all'aumentare del rumore, e "RobustBid" mantiene i vincoli ma sacrifica drasticamente il volume di conversioni (basso $R/R^*$), DenoiseBid mantiene un volume di conversioni vicino all'ottimo teorico rispettando quasi rigorosamente i vincoli di costo.
• Performance su dati reali: Nel dataset Criteo Attribution, utilizzando ensemble virtuali per stimare l'incertezza, DenoiseBid ha mostrato:
  • Riduzioni statisticamente significative della deviazione del CPC rispetto al target.
  • Guadagni significativi nelle conversioni (uplift) rispetto alla baseline non robusta, specialmente in scenari di alta incertezza (es. rimozione di feature o riduzione dei dati di training).
• Efficienza: L'uso di approssimazioni analitiche e quadrature numeriche rende il metodo computazionalmente efficiente, adatto per il bidding in tempo reale.

5. Significato e Impatto

Il lavoro di Zhigalskii et al. è significativo perché colma il divario tra la teoria dell'ottimizzazione stocastica e la pratica dell'autobidding industriale.

• Model-Free: A differenza di approcci precedenti che richiedevano modelli parametrici specifici (es. regressione logistica bayesiana), DenoiseBid è flessibile e può essere applicato a qualsiasi modello ML (GBDT, Deep Learning) fornendo stime di incertezza.
• Gestione dell'Incertezza: Dimostra che incorporare esplicitamente l'incertezza delle previsioni, invece di ignorarla o trattarla in modo troppo conservativo, porta a decisioni di offerta più efficienti.
• Scalabilità: La capacità di recuperare distribuzioni complesse da dati rumorosi e calcolare offerte in forma chiusa rende la soluzione praticabile per piattaforme che gestiscono milioni di aste al giorno.

In sintesi, DenoiseBid offre un framework matematicamente rigoroso e praticamente efficace per trasformare le stime incerte dei modelli ML in offerte pubblicitarie robuste, massimizzando il ritorno sull'investimento (ROI) degli inserzionisti in condizioni di incertezza.