Exploiting Similarities in A/B Testing with Off-Policy Estimation

Sintesi Tecnica: Sfruttare le Somiglianze nei Test A/B con la Stima Off-Policy

Definizione del Problema
Il test A/B è il protocollo standard per misurare il guadagno di prestazione di un nuovo sistema decisionale ($\pi_A$) rispetto a un baseline ($\pi_B$). Tradizionalmente, ciò viene eseguito tramite un estimatore della differenza delle medie, che tratta entrambi i sistemi come scatole nere. Sebbene sia non distorto, questo estimatore è statisticamente subottimale perché ignora le potenziali somiglianze strutturali tra le policy. Nelle moderne applicazioni online (ad esempio, pubblicità, raccomandazioni), i sistemi decisionali sono spesso stocastici e condividono una struttura significativa, il che significa che hanno "propensioni" simili nel prendere decisioni specifiche. Il documento sostiene che, quando le policy si sovrappongono, l'estimatore classico soffre di una varianza non necessaria, mentre i metodi standard di stima off-policy (OPE), che si basano sul weighting dell'importanza (importance weighting), sono spesso troppo distorti o instabili per sostituire direttamente il test A/B.

Metodologia
Gli autori propongono una famiglia di stimatori per i test A/B che sfruttano le tecniche di stima off-policy per capitalizzare la sovrapposenza tra $\pi_A$ e $\pi_B$ senza alterare il protocollo sperimentale standard.

1. Framework: Il problema è modellato all'interno di un framework esteso di Processo Decisionale Non Markoviano (NMDP) dove gli utenti interagiscono con il sistema attraverso traiettorie $\tau$. L'obiettivo è stimare il miglioramento $I(\pi_A, \pi_B) = V(\pi_A) - V(\pi_B)$.
2. Costruzione dell'Estimatore: L'estimatore proposto $\hat{I}_f$ combina due componenti:
   • Un termine di Inverse Propensity Scoring (IPS) $f$-regolarizzato utilizzando i dati della policy di baseline ($D_B$).
   • Un termine di correzione del bias utilizzando i dati della policy target ($D_A$).
   • La funzione $f: \mathbb{R}_+ \to \mathbb{R}$ trasforma i pesi di importanza $w(\tau) = \pi_{target}(\tau) / \pi_{source}(\tau)$.
3. Condizioni Teoriche:
   • Non distorsione (Unbiasedness): L'estimatore è non distorto se $f(0) = -1$. Questa condizione assicura che, quando le policy hanno supporti disgiunti (nessuna sovrapposizione), l'estimatore ritorni naturalmente al classico estimatore della differenza delle medie.
   • Riduzione della Varianza: Per ridurre la varianza, gli autori definiscono un surrogato della varianza $S_f$. Derivano condizioni su $f$ (specificamente $f(1)=0$ e limiti su $f(x)$) che garantiscono una varianza inferiore rispetto all'estimatore della differenza delle medie quando le policy sono simili.
4. Trasformazioni Ottimali:
   • Surrogato-Ottimale ($f^*_{n_r}$): Gli autori derivano una funzione in forma chiusa $f^*_{n_r}(x) = \frac{x-1}{n_r x + 1}$ (dove $n_r = n_A/n_B$) che minimizza il surrogato della varianza. Questo estimatore ripesa efficacemente i dati di entrambe le popolazioni per tenere conto dello squilibrio del campione.
   • Consapevole della Misspecification ($f^*_{\lambda, \Delta}$): Riconoscendo che le propensioni sono spesso stimate dai dati piuttosto che note, gli autori introducono un parametro di regolarizzazione $\lambda$ per bilanciare bias e varianza sotto misspecification della propensione. Ciò produce un estimatore robusto che degrada gradualmente verso l'estimatore della differenza delle medie all'aumentare della misspecification.

Contributi Chiave

• Nuova Famiglia di Estimatori: Introduzione di una flessibile famiglia di stimatori per i test A/B basati sul weighting dell'importanza che sfrutta esplicitamente la sovrapposizione delle policy.
• Garanzie Teoriche: Dimostrazione che gli estimatori sono non distorti sotto specifiche condizioni su $f$ e dimostrazione di proprietà di concentrazione migliorate (minore varianza) quando le policy sono simili.
• Robustezza: Sviluppo di varianti consapevoli della misspecification che rimangono robuste quando le propensioni sono stimate dai dati, evitando l'alta varianza o il bias tipici dei metodi OPE standard.
• Degradazione Graduale: Gli estimatori sono progettati per tornare automaticamente all'estimatore standard della differenza delle medie quando le policy sono distinte (nessuna sovrapposizione) o quando la misspecification è severa, garantendo l'assenza di perdite di performance in scenari sfavorevoli.

Risultati Sperimentali
Gli autori validano il loro approccio attraverso tre setting sperimentali:

1. Policy Sovrapposte e Squilibrio dei Dati: In un setting semplificato di bandit, i stimatori proposti hanno ottenuto una riduzione della varianza sostanziale (fino a 27x in scenari specifici) quando le policy erano vicine. La riduzione è stata particolarmente efficace nel gestire allocazioni di utenti sbilanciate ($n_A \neq n_B$), dove l'estimatore standard della differenza fatica.
2. Sensibilità alla Misspecification: In scenari con errori indotti nella stima della propensione, l'IPS standard e gli estimatori regolarizzati ingenui ($h_1$) hanno mostrato un alto Mean Squared Error (MSE). Al contrario, gli estimatori proposti consapevoli della misspecification hanno costantemente superato il baseline della differenza delle medie, mantenendo un MSE inferiore anche sotto livelli moderati o elevati di misspecification.
3. Problema di Raccomandazione Realistico: Simulando un ambiente di raccomandazione non markoviano con noia dell'utente (user boredom), gli autori hanno testato orizzonti temporali $T \in \{1, \dots, 32\}$. L'estimatore ottimale per la varianza ($f^*_1$) ha ridotto significativamente l'MSE per orizzonti brevi o moderati. Tuttavia, per orizzonti lunghi, l'errore cumulativo nella stima della propensione ha degradato le prestazioni. L'estimatore consapevole della misspecification ha fornito guadagni stabili e modesti attraverso tutti gli orizzonti, superando sia lo standard estimatore della differenza che altri approcci OPE come DiffQ.

Significatività e Rivendicazioni
Il documento sostiene che le idee della stima off-policy non debbano servire solo come sostituto del test A/B, ma come uno strumento per migliorare l'efficienza statistica del test A/B stesso. Sfruttando le propensioni note o stimate dei sistemi testati, i professionisti possono ottenere stime di miglioramento più accurate con lo stesso numero di campioni. Il metodo proposto è significativo perché:

• Non richiede modifiche al protocollo di raccolta dati del test A/B standard.
• È robusto alla realtà pratica delle propensioni stimate.
• Offre uno scenario "il meglio di entrambi i mondi": fornisce una riduzione sostanziale della varianza quando le policy sono simili (il caso comune negli aggiornamenti iterativi dei sistemi) garantendo al contempo la sicurezza (non peggiore del test A/B standard) quando non lo sono.

Gli autori concludono che, sebbene il loro approccio affronti il problema della varianza nelle policy sovrapposte, rimangono sfide per gli orizzonti temporali molto lunghi dove il drift della propensione è significativo, suggerendo che il lavoro futuro debba esplorare le strutture sequenziali e i metodi doubly robust.