Randomization Inference in Two-Sided Market Experiments

1. Il Problema: Sperimentazione in Mercati a Due Facce

Il paper affronta le sfide statistiche legate alla valutazione degli effetti causali delle politiche in mercati a due facce (es. piattaforme buyer-seller, streaming video, micro-prestiti). In questi ambienti, l'unità di analisi non è un singolo individuo, ma una coppia (es. un acquirente e un venditore).

• Interferenza e Spillover: A differenza degli esperimenti tradizionali che assumono l'indipendenza delle unità (SUTVA), nei mercati a due facce esiste un'interferenza strutturale. Il trattamento applicato a un acquirente può influenzare l'esito di una transazione con un venditore non trattato, e viceversa.
• Limiti dei Metodi Esistenti: I disegni sperimentali tradizionali falliscono nel gestire queste complessità. I recenti "Multiple Randomization Designs" (MRD) introducono una randomizzazione indipendente su entrambi i lati del mercato (es. randomizzare metà acquirenti e metà venditori), ma la letteratura esistente si concentra principalmente su stime puntuali Neymaniane (asintotiche) e stime della varianza conservative, spesso trascurando l'inferenza esatta in campioni finiti e la validità asintotica sotto ipotesi nulle deboli.

2. Metodologia Proposta

Gli autori sviluppano un quadro di Inferenza di Randomizzazione (Randomization Inference) basato sul approccio Fisheriano, adattato specificamente alla struttura a due facce.

A. Disegno Sperimentale e Ipotesi

Il modello considera $I$ acquirenti e $J$ venditori. L'assegnazione del trattamento $W$ è definita come il prodotto esterno di due vettori di assegnazione indipendenti: $W = w^B (w^S)^\top$. Un'interazione $(i, j)$ è trattata solo se entrambi sono trattati.
Vengono formulate tre ipotesi nulle principali:

1. Spillover Acquirente ($H_0^{buyer}$): Nessun effetto dello stato di trattamento degli acquirenti sugli esiti quando i venditori sono controllati.
2. Spillover Venditore ($H_0^{seller}$): Nessun effetto dello stato di trattamento dei venditori sugli esiti quando gli acquirenti sono controllati.
3. Effetto Totale ($H_0^{total}$): Nessun differenza tra coppie dove entrambi sono trattati e coppie dove nessuno è trattato.

B. Test di Randomizzazione Condizionata (Sharp Null)

Per le ipotesi nulle "sharp" (dove tutti i potenziali esiti sono noti sotto l'ipotesi nulla), gli autori propongono procedure di test basate sulla permutazione condizionale:

• Condizionamento: Si restringe l'analisi a un sottoinsieme di unità "focali" e assegnazioni tali da rendere le ipotesi nulle sharp. Ad esempio, per testare lo spillover degli acquirenti, si condiziona sugli venditori non trattati (controllo) e si permutano solo gli assegnamenti degli acquirenti.
• Simmetria del Disegno: Se il disegno è simmetrico (scambiabile), il test può essere implementato efficientemente tramite permutazioni. Se la simmetria non vale, si propone un metodo di campionamento dalla distribuzione condizionata (più complesso computazionalmente ma valido in generale).
• Effetto Totale: Per testare l'effetto totale, si introduce un evento di condizionamento a "k-Block". Le unità focali sono raggruppate in blocchi diagonali dove gli stati di trattamento sono allineati, permettendo permutazioni a livello di blocco.

C. Inferenza per Ipotesi Nulle Deboli (Weak Null)

Per le ipotesi nulle deboli (effetti medi nulli), i test basati sulla semplice permutazione non sono validi. Gli autori analizzano l'uso della studentizzazione (uso di statistiche t):

• Problema della Studentizzazione Standard: Viene dimostrato che la studentizzazione di Neyman (basata sulla varianza a due campioni) non garantisce la validità asintotica per l'ipotesi nulla globale (popolazione media) a causa della varianza aggiuntiva introdotta dalla randomizzazione del secondo lato (venditori).
• Soluzione: Stimatori di Varianza "Two-Way": Gli autori propongono un nuovo stimatore di varianza che combina la varianza dovuta alla randomizzazione degli acquirenti con un termine aggiuntivo che cattura la varianza dovuta alla randomizzazione dei venditori. Questo stimatore "two-way" (simile a un errore robusto a cluster bidirezionale) ripristina la validità asintotica per le ipotesi nulle globali.

3. Contributi Chiave

1. Quadro Fisheriano per Mercati a Due Facce: Estensione dei test di randomizzazione esatti a disegni con interferenza strutturata, fornendo p-value esatti in campioni finiti.
2. Analisi della Validità Asintotica: Dimostrazione teorica che la studentizzazione standard fallisce per le ipotesi nulle globali in contesti a due facce a causa della dipendenza incrociata, e proposta di un correttivo di varianza specifico.
3. Guida alla Potenza (Power): Analisi del compromesso (trade-off) nella scelta della dimensione del blocco ($k$) per i test sull'effetto totale. Viene proposto un approccio euristico per massimizzare la potenza statistica bilanciando la dimensione del campione e lo spazio di randomizzazione.
4. Validazione Empirica e Simulazioni: Conferma delle proprietà teoriche attraverso simulazioni estese e applicazione a un dataset reale.

4. Risultati Principali

• Simulazioni (Sharp Null): I test proposti (FRT) mantengono il livello di significatività nominale (es. 5%) in campioni finiti, superando i metodi Neymaniani conservativi in termini di potenza per gli effetti di spillover.
• Simulazioni (Weak Null):
  • Sotto l'ipotesi nulla specifica per venditore, la studentizzazione standard funziona.
  • Sotto l'ipotesi nulla globale (media di popolazione), la studentizzazione standard porta a un tasso di rifiuto eccessivo (over-rejection).
  • La proposta di studentizzazione two-way corregge efficacemente il problema, controllando il tasso di errore di Tipo I anche sotto eterogeneità complessa.
• Applicazione Empirica: Il metodo è stato applicato a un esperimento di campo in Nepal (Comola & Prina, 2021) riguardante l'accesso ai conti di risparmio e le reti di prestito informale.
  • I risultati mostrano che l'offerta di conti di risparmio non ha un effetto significativo sulle connessioni finanziarie tra le famiglie, né per gli acquirenti (chi ha subito shock), né per i venditori, né congiuntamente. Questo suggerisce che l'accesso al credito formale non altera immediatamente i comportamenti di condivisione del rischio in questo contesto.

5. Significato e Implicazioni

Questo lavoro è fondamentale per la crescente letteratura sulla sperimentazione nelle piattaforme digitali e nei mercati online.

• Rigidità vs. Flessibilità: Fornisce strumenti rigorosi per analisi che non possono basarsi su grandi campioni asintotici (dove i metodi asintotici potrebbero fallire o essere conservativi).
• Correzione di Bias: Identifica e risolve un problema sottile ma critico nell'inferenza causale a due facce: l'errata stima della varianza quando si generalizzano effetti medi a livello di popolazione.
• Impatto Pratico: Offre linee guida pratiche (come la scelta di $k$) per i ricercatori e i data scientist che progettano esperimenti A/B in ambienti complessi come Amazon, Uber, o Airbnb, dove l'interferenza tra utenti è la norma e non l'eccezione.

In sintesi, il paper stabilisce un nuovo standard per l'inferenza causale in mercati a due facce, combinando la robustezza dei test esatti di randomizzazione con la potenza necessaria per rilevare effetti medi in presenza di interferenza complessa.