Blending Proxy Metrics with a North Star

Sintesi Tecnica: Combinazione di Metriche Proxy con una North Star

Problema
Nell'ambito della sperimentazione digitale (A/B testing), gli sperimentatori affrontano frequentemente un compromesso tra precisione e allineamento con gli obiettivi di business a lungo termine. Le metriche "north star" (ad es., la ritenzione dei clienti, il fatturato) misurano direttamente il successo aziendale ma sono spesso statisticamente poco sensibili agli interventi di prodotto, richiedendo campioni di dimensioni proibitive per rilevare effetti. Al contrario, le metriche "proxy" (ad es., l'engagement degli utenti, i clic) sono più sensibili agli interventi e consentono esperimenti più rapidi e piccoli, ma possono non allinearsi perfettamente con l'obiettivo di business finale.

Ciò crea un dilemma pratico: quando dovrebbero gli sperimentatori fidarsi della proxy sensibile e quando dovrebbero fidarsi della north star rumorosa? Nello specifico, il documento affronta tre domande:

1. Le proxy dovrebbero essere utilizzate anche in esperimenti grandi e infrequenti, progettati per rilevare effetti sulla vera north star?
2. Come dovrebbero essere prese le decisioni quando la proxy e la north star producono segnali contrastanti?
3. In che modo la qualità di una metrica proxy influenza il design ottimale dei programmi di sperimentazione (ad es., dimensione del campione e frequenza)?

Metodologia
L'autore propone un framework di "combinazione" (blending) ottimale che costruisce una metrica decisionale come una combinazione lineare pesata degli effetti del trattamento stimati sulla proxy ($\hat{P}$) e sulla north star ($\hat{Y}$). La statistica combinata è definita come:
$$\hat{Z}(A) = A^\top \hat{X} = a \hat{P} + (1-a) \hat{Y}$$
dove $A = (a, 1-a)^\top$ rappresenta i pesi di combinazione.

Il nucleo della metodologia è la derivazione dei pesi ottimali $A^*$ che massimizzano i rendimenti attesi della metrica north star ($Y$) sotto una regola decisionale che "lancia" un trattamento se $\hat{Z}(A)$ supera una soglia di significatività.

• Framework Teorico: Il documento assume che i veri effetti del trattamento $X = (P, Y)$ seguano una distribuzione Gaussiana con media zero e covarianza $\Sigma_X$. Gli effetti stimati $\hat{X}$ sono osservati con rumore di campionamento, modellato come $\hat{X} | X \sim N(X, 2\Omega/n)$, dove $\Omega$ è la varianza di campionamento a livello di unità e $n$ è la dimensione del campione per braccio.
• Pesi Ottimali: I pesi ottimali $A^*$ sono derivati risolvendo un problema di ottimizzazione vincolata per massimizzare i rendimenti attesi. La Proposizione 1 fornisce un'approssimazione in forma chiusa per esperimenti sufficientemente grandi:
  $$\tilde{A} \propto (\Sigma_X + (1 + z^2)2\Omega/n)^{-1}\Gamma$$
  dove $\Gamma = \text{Cov}(X, Y)$ e $z$ è il valore critico per il livello di significatività. Questa formula rivela che i pesi agiscono come una regressione lineare penalizzata, dove il termine di penalità dipende dal rapporto tra la varianza di campionamento intra-esperimento e la varianza strutturale tra gli esperimenti.
• Stima: Il documento delinea una procedura per stimare questi pesi partendo dai dati storici degli esperimenti, stimando $\Sigma_X$ (utilizzando metodi non parametrici, empirici bayesiani o gerarchici) e $\Omega$, applicando poi lo stimatore plug-in.
• Implicazioni sul Design del Programma: L'analisi si estende al design dei programmi di sperimentazione. Dimostra che il rendimento medio per unità di allocazione è decrescente rispetto alla dimensione del campione $n$. Di conseguenza, se una proxy è di alta qualità (eccellente rapporto segnale-rumore), gli sperimentatori dovrebbero eseguire esperimenti più piccoli e più frequenti. Se la proxy è scarsa, dovrebbero eseguire esperimenti più grandi e meno frequenti per fare affidamento maggiormente sulla north star.

Risultati Chiave

• Prestazioni nelle Simulazioni: Attraverso le simulazioni, l'approccio combinato produce costantemente rendimenti cumulativi superiori rispetto alle strategie basate esclusivamente sulla north star ($a=0$) o sulla proxy ($a=1$).
  • A dimensioni di campione ridotte, il peso ottimale si sposta pesantemente verso la proxy grazie al suo superiore rapporto segnale-rumore.
  • All'aumentare della dimensione del campione, il peso ottimale si sposta gradualmente verso la north star, concentrandosi esclusivamente su quest'ultima quando $n \to \infty$.
• Potenza Statistica e Falsi Positivi:
  • Potenza: La metrica combinata mantiene un'alta potenza attraverso diverse correlazioni ($\rho$) tra proxy e north star. Al contrario, una strategia basata solo sulla proxy soffre di bassa potenza quando la correlazione strutturale è bassa, anche con ampie dimensioni del campione.
  • Falsi Positivi: Una strategia basata solo sulla proxy presenta un rischio di falsi positivi che aumenta con la dimensione del campione quando la proxy è disallineata con la north star. La metrica combinata controlla il tasso di errore di Tipo I, interpolando tra le regole della proxy e della north star e convergendo al controllo dell'errore della north star al crescere di $n$.
• Robustezza: Le scoperte principali rimangono valide anche quando gli effetti del trattamento seguono distribuzioni a code pesanti (ad es., distribuzione t di multivariate con $\nu=3$), sebbene l'assunzione Gaussiana faciliti la derivazione in forma chiusa.

Applicazione Empirica
La metodologia è stata applicata a un reale programma di sperimentazione presso Netflix, utilizzando i "clic" come proxy ($P$) e le "riproduzioni" (plays) come north star ($Y$).

• Dati: Analisi di 15 test A/B e 50 bracci di trattamento.
• Risultati: È stato scoperto che i clic sono circa sei volte più sensibili delle riproduzioni (rapporto SE superiore). Tuttavia, i pesi di combinazione ottimali sono dinamici:
  • Per esperimenti piccoli ($n \lesssim 2$ milioni), la strategia ottimale assegna il 100% del peso ai clic.
  • Per la dimensione mediana dell'esperimento ($n \approx 5$ milioni), la combinazione ottimale assegna circa il 52% ai clic e il 48% alle riproduzioni.
  • Per esperimenti molto grandi ($n = 25$ milioni), il peso si sposta a circa il 90% sulle riproduzioni.
• Esito: La regola decisionale combinata ha dominato entrambe le regole a metrica singola in tutto l'intervallo osservato, dimostrando che l'integrazione delle informazioni della north star migliora i rendimenti anche quando la proxy è altamente sensibile.

Significatività e Rivendicazioni
Il documento sostiene di fornire un rigoroso framework decisionale per integraare le metriche proxy nella sperimentazione A/B quando è disponibile una north star contemporanea ma poco sensibile. I suoi principali contributi sono:

1. Combinazione Ottimale: Stabilisce che la regola decisionale ottimale non è statica ma dipende dalla potenza dell'esperimento (dimensione del campione). Il peso sulla north star deve aumentare man mano che l'esperimento diventa più grande.
2. Design del Programma: Offre una guida azionabile per il design dei programmi di sperimentazione, suggerendo che la qualità della metrica proxy determina la scala e la frequenza ottimali degli esperimenti.
3. Implementazione Pratica: Fornisce un metodo concreto e stimabile per calcolare questi pesi utilizzando dati storici, validato da un'applicazione nel mondo reale presso Netflix.

L'autore osserva che il lavoro assume che gli esperimenti siano indipendenti e identicamente distribuiti (i.i.d.) e si basa su assunzioni gaussiane per gli effetti del trattamento, sebbene le simulazioni suggeriscano robustezza rispetto alle code pesanti. Si suggerisce che il lavoro futuro esplori contesti non i.i.d. e l'uso di dati osservazionali quando i dati storici degli esperimenti non sono disponibili.