Prior-Free Sample Size Design for Test-and-Roll Experiments

Riepilogo Tecnico: Progettazione della Dimensione Campionaria Senza Priori per Esperimenti Test-and-Roll

Formulazione del Problema
Questo articolo affronta il problema della progettazione della dimensione campionaria per esperimenti "test-and-roll" condotti all'interno di una popolazione finita di dimensione $N$. In questo contesto, un decisore conduce inizialmente un esperimento controllato randomizzato (RCT) su un sottoinsieme di $m$ unità (con $m/2$ assegnate al trattamento e $m/2$ al controllo). Sulla base dei risultati osservati, il decisore assegna le rimanenti $N-m$ unità al braccio di trattamento che ha ottenuto risultati migliori nell'esperimento.

L'obiettivo è massimizzare il benessere totale atteso sull'intera popolazione, $E[\sum_{i=1}^N Y_i]$. Ciò crea un fondamentale compromesso tra esplorazione e sfruttamento:

1. Costo dell'Esplorazione: Aumentare $m$ migliora l'accuratezza nell'identificare il trattamento superiore, ma impone perdite di benessere sulle unità sperimentali, poiché la metà viene inevitabilmente assegnata al trattamento inferiore ex post.
2. Rischio di Sfruttamento: Diminuire $m$ riduce la perdita immediata di benessere sulle unità sperimentali, ma aumenta il rischio di prendere una decisione di rollout errata, assegnando di conseguenza il trattamento inferiore alla più ampia popolazione rimanente ($N-m$).

La sfida centrale è che gli effetti reali del trattamento sono sconosciuti ex ante. L'articolo cerca una regola di progettazione che sia senza priori, evitando la sensibilità a priori bayesiani soggettivi o iperparametri arbitrari che caratterizzano gli approcci esistenti basati sul benessere.

Metodologia e Critica dei Criteri Esistenti
Gli autori analizzano inizialmente il criterio standard di Minimax Regret Assoluto, che seleziona la dimensione campionaria $m$ per minimizzare il rimorso nel caso peggiore rispetto a un oracolo che conosce gli effetti reali del trattamento.

• Limitazione: L'articolo dimostra che questo criterio porta a dimensioni campionarie sperimentali implausibilmente piccole (ad esempio, $m/N \approx 2,3\%$ per $N=10.000$).
• Meccanismo di Fallimento: L'avversario nel caso peggiore nel quadro del minimax assoluto si concentra su valori parametrici che massimizzano l'effetto del trattamento assoluto ($|\tau|$). In tali casi estremi, il costo dell'esplorazione ($m/2 \cdot |\tau|$) domina la funzione di rimorso, causando al criterio una sovrappenalizzazione dell'esplorazione e sopprimendo la dimensione campionaria fino a valori prossimi allo zero.

Per risolvere ciò, gli autori propongono la regola del Beneficio Marginale nel Caso Peggiore (WMB).

• Concetto Chiave: Invece di minimizzare il rimorso totale nel caso peggiore, la regola WMB valuta il compromesso al margine. Confronta il beneficio marginale nel caso peggiore di aggiungere una coppia abbinata in più all'esperimento con il corrispondente costo marginale di esplorazione.
• Regola di Arresto: L'esperimentazione continua finché il beneficio marginale nel caso peggiore di una coppia aggiuntiva supera il costo marginale. La dimensione campionaria ottimale $\hat{m}_{WMB}$ è il più piccolo $m$ pari tale che il rapporto del beneficio marginale nel caso peggiore $\eta(m, \mu_1, \mu_0)$ scenda a o sotto 1.
• Definizione:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  dove $\eta$ misura la riduzione degli errori di rollout attesi (unità salvate) per unità di costo di esplorazione aggiunto.

Risultati Chiave

1. Il Benchmark della Regola dei Terzi:
   L'articolo stabilisce un semplice benchmark senza priori per la dimensione campionaria ottimale:
   $$\hat{m} \approx \frac{N}{3}$$
   Questo risultato vale in due condizioni distinte:

   • Esiti Bernoulliani: Attraverso un'approssimazione gaussiana, il criterio WMB produce $\hat{m} \approx N/3$. Gli autori dimostrano rigorosamente che il problema esatto di Bernoulli richiede l'esclusione di una "patologia di evento raro al confine" (dove un braccio ha varianza zero e l'altro ha una probabilità di successo vanescente dell'ordine di $O(1/N)$). In questo caso patologico, la dimensione campionaria ottimale si avvicina a $N/2$. Tuttavia, per stati interni regolari (dove gli effetti del trattamento sono non degeneri), i parametri meno favorevoli si localizzano vicino alla diagonale ($\mu_1 \approx \mu_0$), e l'approssimazione gaussiana diventa valida, portando alla regola $N/3$.
   • Esiti Gaussiani (Varianza Nota): Per esiti che seguono una distribuzione gaussiana con una varianza comune nota, il benchmark $N/3$ sorge esattamente senza approssimazione asintotica o la necessità di escludere casi al confine. Il rilassamento continuo della funzione del rapporto marginale produce una soluzione in forma chiusa in cui il beneficio marginale nel caso peggiore è $\leq 1$ se e solo se $m \geq N/3$.

2. Comportamento dell'Avversario:
   Sotto la regola WMB, l'avversario nel caso peggiore si comporta diversamente rispetto al rimorso minimax assoluto. Invece di scegliere effetti del trattamento estremi per massimizzare il rimorso totale, l'avversario sceglie valori parametrici che massimizzano il beneficio marginale dell'esperimentazione continua. Nel regime interno, questi stati meno favorevoli si concentrano vicino alla diagonale ($\mu_1 \approx \mu_0$), dove distinguere tra i trattamenti è più difficile.

3. Validazione Numerica:
   Studi numerici confermano che per piccoli $N$, gli effetti al confine possono spingere la dimensione campionaria verso $N/2$. All'aumentare di $N$, i parametri meno favorevoli si allontanano dal confine e la dimensione campionaria ottimale si stabilizza vicino a $N/3$.

Significato e Contributo
L'articolo afferma di fornire una guida praticamente implementabile e senza priori per la progettazione della dimensione campionaria basata sul benessere.

• Praticità: La regola risultante ($m \approx N/3$) dipende solo dalla dimensione totale della popolazione $N$. Non richiede al decisore di specificare priori soggettivi, varianze prioritarie o altri parametri di sintonizzazione, che sono spesso difficili da giustificare nella pratica.
• Robustezza Teorica: Spostandosi dalla minimizzazione del rimorso totale all'analisi del beneficio marginale, l'articolo evita la "sovrappenalizzazione" dell'esplorazione intrinseca nei criteri standard di rimorso minimax.
• Focus sul Benessere: A differenza dell'analisi di potenza convenzionale (che controlla gli errori di Tipo I/II per i test di ipotesi), questo approccio ottimizza direttamente l'obiettivo di benessere della popolazione finita, bilanciando esplicitamente il costo dell'esperimentazione contro il rischio di un rollout subottimale.

Gli autori concludono che la regola WMB offre una soluzione robusta al compromesso esplorazione-sfruttamento negli esperimenti test-and-roll su popolazioni finite, fornendo una chiara regola di arresto fondata teoricamente che è indipendente dalle credenze prioritarie soggettive.