Multi-Experiment Analysis

Titolo: Multi-Experiment Analysis (MEA): Stima congiunta coerente per esperimenti sovrapposti

1. Il Problema: Le Sfide degli Esperimenti Sovrapposti

Nelle grandi aziende tecnologiche, migliaia di esperimenti controllati online (A/B test) vengono eseguiti simultaneamente su popolazioni di utenti condivise. Questo scenario crea due problemi principali:

• Collisioni: Quando esperimenti incompatibili vengono eseguiti sugli stessi utenti, l'esperienza utente (UX) si rompe. Le soluzioni tradizionali (split del traffico, layering, esecuzione sequenziale) mitigano il problema ma introducono un elevato overhead di coordinamento e riducono la velocità di sperimentazione (experimentation velocity).
• Interazioni (Bias): Quando esperimenti sovrapposti non rompono l'UX ma interagiscono tra loro, le stime naive degli effetti individuali diventano distorte. L'analisi univariata (analizzare ogni esperimento separatamente) produce stime che non corrispondono a nessuno scenario di lancio reale (es. "lancio solo A", "lancio solo B", o "lancia entrambi"). Inoltre, le interazioni possono nascondere la combinazione ottimale di funzionalità.

Le soluzioni esistenti come i disegni fattoriali richiedono una pianificazione preventiva, un'allocazione bilanciata e un'intersezione completa della popolazione, il che è spesso impraticabile quando i team lanciano esperimenti indipendentemente con condizioni di attivazione (triggering) diverse.

2. Metodologia: Multi-Experiment Analysis (MEA)

MEA è un framework post-hoc (dopo la raccolta dati) progettato per fornire stime coerenti e congiunte di esperimenti sovrapposti, senza richiedere restrizioni sul traffico o esecuzione sequenziale.

Concetti Chiave:

• Partizionamento basato sull'Attivazione (Triggering): Invece di guardare solo l'intersezione completa, MEA partiziona la popolazione in regioni mutuamente esclusive basate su quali esperimenti hanno attivato l'utente.
  • Per due esperimenti ($E_1, E_2$), le regioni sono: $R_{10}$ (solo $E_1$), $R_{01}$ (solo $E_2$), $R_{11}$ (entrambi), $R_{00}$ (nessuno).
  • L'impatto di un lancio combinato è una media ponderata degli effetti osservati in tutte le regioni attivate, non solo nell'intersezione.
• Stima Ponderata Coerente: L'effetto di una combinazione di varianti è stimato come una media ponderata delle differenze specifiche per regione:
  $$\hat{\tau} = \sum_{r} w_r (\bar{Y}_{t,r} - \bar{Y}_{c,r})$$
  dove $w_r$ sono proporzionali alle dimensioni delle regioni di attivazione.

Assunzioni Causali:
Il metodo si basa su due condizioni fondamentali:

1. Invarianza Arm-Trigger (Arm-Trigger Invariance): L'assegnazione del trattamento (arm) in un esperimento non deve alterare la probabilità che un utente attivi un altro esperimento. Se il trattamento di $E_1$ cambia il comportamento dell'utente in modo che attivi $E_2$ più spesso, l'assunzione è violata.
2. Stima Non Distorta all'interno degli Strati: All'interno di ogni regione di attivazione, le assegnazioni degli esperimenti devono essere indipendenti (garantito dall'hashing ortogonale).

Diagnostica Automatizzata:
Il paper introduce un test statistico automatizzato (chi-quadro con effetto size di Cramér's $V$) per verificare l'Invarianza Arm-Trigger. Se il trattamento di un esperimento sposta la distribuzione di attivazione degli altri, il sistema genera un flag per avvisare gli analisti.

Estensioni:

• Metriche di Rapporto: MEA si estende a metriche come CTR o Conversion Rate applicando la stima ponderata separatamente a numeratore e denominatore, utilizzando il metodo Delta o il bucketed jackknife per la varianza.
• Analisi Condizionale: Permette di stimare l'effetto di un esperimento dato che un altro è già stato lanciato (scenario-based analysis).

3. Contributi Chiave

1. Framework Post-Hoc per Sovrapposizioni: È il primo lavoro che applica sistematicamente la post-stratificazione e la media ponderata per stimare effetti causali in esperimenti online sovrapposti con pattern di attivazione complessi e non controllati.
2. Indipendenza dalla Progettazione Fattoriale: Non richiede una progettazione fattoriale preventiva. Sfrutta le sovrapposizioni "naturali" che si verificano quando team diversi lanciano esperimenti indipendenti.
3. Stima di Scenari di Lancio Flessibili: Fornisce tre tipi di stime:
   • Effetti individuali corretti (tenendo conto degli esperimenti sovrapposti).
   • Effetti combinati di qualsiasi combinazione di varianti desiderata.
   • Effetti condizionali (es. "Cosa succede se lancio A, dato che B è già attivo?").
4. Validazione e Scalabilità: Il metodo è stato validato tramite simulazioni (confermando coerenza e corretta copertura degli intervalli di confidenza) e implementato in produzione su scala industriale (LinkedIn).

4. Risultati e Casi d'Uso

• Caso Studio Reale: In un esperimento su una pagina di prodotto, l'analisi univariata suggeriva un miglioramento del +26,2% per una variante di redesign. Tuttavia, MEA ha rivelato che questo effetto era una media di scenari non lanciabili. L'analisi congiunta ha identificato una combinazione specifica (Contenuto v4 + Redesign v2) con un miglioramento del +96%, che l'analisi univariata non avrebbe mai potuto individuare.
• Efficienza Statistica: Le simulazioni mostrano che la varianza di MEA è al massimo pari a quella di un disegno fattoriale coordinato, ma spesso inferiore. Con l'aumentare del numero di esperimenti ($k$), i guadagni di efficienza crescono esponenzialmente (es. per esperimenti binari, il rapporto di varianza scala come $(3/4)^k$).
• Adozione in Produzione: LinkedIn ha implementato MEA come strumento self-serve. L'audit di circa 50 analisi ha mostrato che:
  • Il 35% è stato usato per identificare combinazioni ottimali.
  • Il 30% per analisi condizionali.
  • L'80-85% delle analisi ha portato a decisioni cambiate o informate.
  • Solo il 4% ha attivato il flag di violazione dell'indipendenza, dimostrando che la maggior parte delle sovrapposizioni è gestibile.

5. Significato e Impatto

Il lavoro di Hosseini risolve un collo di bottiglia critico nell'esperimentazione online: la necessità di rallentare i lanci o frammentare il traffico per evitare interazioni.

• Velocità: Permette di eseguire esperimenti in parallelo senza sacrificare la validità statistica, accelerando il time-to-market.
• Decisioni Data-Driven: Trasforma dati "sporca" (esperimenti sovrapposti non pianificati) in insight azionabili, permettendo di scegliere la combinazione di funzionalità ottimale invece di basarsi su medie ingannevoli.
• Generalità: Sebbene focalizzato sulle piattaforme tecnologiche, il metodo è applicabile a trial clinici, sanità pubblica e manifattura, ovunque più interventi vengano testati su popolazioni sovrapposte.

In sintesi, MEA trasforma il problema delle interazioni tra esperimenti da un ostacolo da evitare in un'opportunità di analisi, fornendo uno strumento robusto, non parametrico e scalabile per la causalità in ambienti di sperimentazione complessi.