Sintesi Tecnica: I Limiti del Design Sperimentale – Bilanciamento dei Covariati Oltre la Bassa Dimensionalità

1. Definizione del Problema

Il documento affronta una tensione fondamentale nel design sperimentale: il compromesso tra il raggiungimento dell'efficienza semiparametrica (minimizzazione della varianza dello stimatore dell'Effetto Medio del Trattamento) e la maledizione della dimensionalità nei campioni finiti.

Sebbene recenti lavori teorici (ad esempio, Bai et al., 2022, 2026b) abbiano stabilito che i design a stratificazione fine come le coppie appaiate (matched pairs) possano raggiungere asintoticamente il limite di efficienza semiparametrica di Hahn (1998), questi risultati si basano su ipotesi forti. Nello specifico, richiedono che le differenze tra i covariati all'interno dei gruppi appaiati svaniscano asintoticamente. Il documento sostiene che, in campioni finiti con un numero elevato di dimensioni dei covariati ($d$), ciò è praticamente impossibile. La distanza tra i vicini più prossimi in $d$ dimensioni diminuisce a un tasso di $n^{-1/d}$, implicando che ottenere appaiamenti quasi perfetti attraverso "diverse decine" di covariati con migliaia di unità è impraticabile.

Il problema centrale è quantificare la velocità con cui i design sperimentali possono avvicinarsi al limite di efficienza $V^*$ in modo uniforme su classi di modelli di esito, e determinare i limiti di questa convergenza in funzione della dimensione del campione $n$, della dimensione dei covariati $d$ e della regolarità (smoothness) dell'esito.

2. Metodologia e Framework

2.1 L'Eccesso di Varianza come Squilibrio

L'autore definisce la metrica di performance come l'eccesso di varianza $V_n$, ovvero il divario tra la varianza in campione finito dello stimatore di Horvitz-Thompson non corretto e il limite di efficienza semiparametrica $V^*$:
$$V_n \equiv n \text{Var}(\hat{\theta}) - V^*$$
Utilizzando la Proposizione 2.3, il documento stabilisce che l'eccesso di varianza è determinato esattamente dallo squilibrio in-sample del modello di esito $m(\psi) = E[(Y(1) + Y(0))/2 | \psi]$:
$$V_n = 4n \cdot E\left[ \left( \frac{1}{n} \sum_{i=1}^n Z_i m(\psi_i) \right)^2 \right]$$
dove $Z_i \in \{-1, 1\}$ è l'assegnazione del trattamento centrata. Questo inquadra l'efficienza come un problema di bilanciamento di funzioni.

2.2 Strumenti Analitici

• Analisi Minimax: Il documento deriva limiti superiori e inferiori su $V_n$ su specifiche classi di funzioni (classi Hölder, spazi Sobolev e classi non parametriche a complessità ristretta).
• Gram-Schmidt Walk (GSW): La metodologia sfrutta l'algoritmo di bilanciamento vettoriale di Bansal et al. (2019) e Harshaw et al. (2024). L'autore "kernelizza" questo algoritmo, utilizzando un kernel di design $K$ per costruire una matrice di input semidefinita positiva $\Gamma_n$. Ciò consente all'algoritmo di bilanciare le funzioni all'interno di uno Spazio di Hilbert Riproducente (RKHS) piuttosto che solo funzioni lineari.
• Classi di Funzioni:
  • Classi Hölder ($\mathcal{P}_\beta$): Per esiti ruvidi, non regolari.
  • Spazi Sobolev ($H^s$): Per esiti regolari (smooth), parametrizzati dall'ordine di regolarità $s$.
  • Classi a Complessità Ristretta: Modelli additivi ($g(\psi) = a + \sum g_j(\psi_j)$) e modelli di interazione bivariata, progettati per essere bilanciati anche quando $d$ è elevato.

3. Contributi Chiave e Risultati

3.1 L'Impossibilità dell'Efficienza Uniforme in Alta Dimensionalità

Il documento dimostra un teorema centrale di impossibilità (Teorema 3.1, Corollario 3.2, Teorema 4.9):

• Coppie Appaiate (Matched Pairs): Nessun schema di matching può garantire che l'eccesso di varianza svanisca più velocemente di $n^{-2/d}$, anche per modelli di esito lineari (infinitamente regolari).
• Design Generali: Nessun design sperimentale ammissibile può garantire l'efficienza asintotica uniforme (convergenza a $V^*$) al di fuori del regime in cui $d = o(\log n)$.
• Implicazione: Per esperimenti con migliaia di unità, le garanzie di efficienza standard valgono solo per una "manciata" di covariati. Oltre questo punto, la maledizione della dimensionalità impedisce a qualsiasi design di avvicinarsi uniformemente al classico limite di efficienza, indipendentemente dalla regolarità del modello di esito.

3.2 Ottimalità del Matching per Modelli Ruvidi

Sebbene il matching sia inefficiente per modelli regolari in alta dimensionalità, il documento stabilisce che esso è minimax ottimale per modelli di esito ruvidi (classi Hölder con $\beta \in (0, 1]$) in dimensioni fisse basse (Teorema 3.4, Corollario 3.6). I matching stabili raggiungono il tasso $V_n \asymp n^{-2\beta/d}$. Questo tasso lento è il "prezzo della robustezza" sotto ipotesi deboli; il matching non può sfruttare la regolarità oltre il limite Lipschitz ($\beta=1$).

3.3 GSW Non Parametrico e Adattamento alla Regolarità

Per sfruttare la regolarità, l'autore propone i design Kernelized GSW:

• Tassi Adattivi: Una singola sequenza di design GSW, utilizzando un kernel di Matérn con un parametro di tuning $\nu_n = c/\log n$, si adatta alla regolarità Sobolev ignota $s > 0$ senza conoscenza pregressa.
• Tassi di Convergenza: Il design raggiunge un tasso di eccesso di varianza $V_n \asymp (\frac{\log n}{n})^{(2s/d) \wedge 1}$.
  • Quando $2s \leq d$, il tasso è $n^{-2s/d}$.
  • Quando $2s > d$, il tasso è quasi parametrico ($n^{-1}$), salvo fattori logaritmici.
• Limitazione: Anche questi design adattivi non possono superare la barriera $d = o(\log n)$ per la piena efficienza.

3.4 Design Efficienti Oltre le Basse Dimensioni (Complessità Ristretta)

Motivato dal risultato di impossibilità, il documento propone di bilanciare classi non parametriche a complessità ristretta (ad esempio, modelli additivi o bivariati) piuttosto che l'intero spazio delle funzioni.

• Design Additivi e Bivariati: Mirando a classi di funzioni come $g(\psi) = a + \sum g_j(\psi_j)$, i design possono accomodare dimensioni molto più elevate:
  • Modelli additivi: Consentono $d = o(n)$ covariati.
  • Modelli di interazione bivariata: Consentono $d = o(\sqrt{n})$ covariati.
• Target di Varianza: Questi design si avvicinano a un target $V^* + \Delta_G$, dove $\Delta_G$ è il divario di varianza dovuto alla variazione non modellata. Se il modello di lavoro è una buona approssimazione, questo target è vicino a $V^*$ ma raggiungibile a tassi molto più rapidi.

3.5 Robustizzazione tramite Matched GSW

L'autore combina il GSW strutturato con il matching per proteggere contro la variazione non modellata (Sezione 5.2).

• Meccanismo: Il matching controlla la variazione locale all'interno delle coppie ($m - m_G$), mentre il GSW controlla lo squilibrio globale della componente strutturata ($m_G$).
• Risultato: Il design "Matched GSW" risultante mantiene i rapidi tassi di convergenza per la componente strutturata fornendo al contempo robustezza contro il residuo. Il Teorema 5.6 mostra che se il residuo è continuo secondo Hölder, l'eccesso di varianza totale è limitato dalla somma del tasso di matching per il residuo e del tasso GSW per la parte strutturata.

3.6 Applicazione Empirica

Il documento valuta questi design utilizzando simulazioni Monte Carlo calibrate su 12 esperimenti randomizzati pubblicati in economia (dimensioni del campione $n \in [96, 1200]$, dimensioni $d \in [7, 51]$).

• Risultati:
  • I design GSW additivi e bivariati non parametrici riducono la varianza dello stimatore rispetto ai classici matched pairs in ogni scenario empirico.
  • Il GSW a piena dimensionalità performa in modo simile ai matched pairs in media.
  • Il Matched Additive GSW è il migliore in assoluto, offrendo la maggiore riduzione della varianza e intervalli di confidenza più stretti, mantenendo al contempo una copertura nominale (circa 94,8%).
• Inferenza: L'autore sviluppa un nuovo stimatore della varianza basato sul design e corretto per i covariati, che è conservativo per il Sample Average Treatment Effect (SATE) e asintoticamente non conservativo per l'ATE.

4. Significato e Rivendicazioni

Il documento sostiene di fornire la prima teoria dell'efficienza in campioni finiti per il design sperimentale che caratterizza esplicitamente la dipendenza dalla dimensione del campione, dalla dimensione dei covariati e dalla complessità dell'esito.

• Svolta Teorica: Sfida la visione prevalente secondo cui i design a stratificazione fine siano universalmente efficienti, dimostrando che tale efficienza è strettamente limitata a regimi a bassa dimensionalità ($d \ll \log n$).
• Raccomandazione Pratica: L'autore suggerisce ai professionisti di abbandonare la ricerca del classico limite di efficienza in alta dimensionalità. Inveve, dovrebbero adottare design di minimizzazione della discrepanza (GSW) mirati a classi non parametriche a minore complessità (specificamente modelli additivi) combinati con il matching.
• Robustezza: Questo approccio offre una soluzione "il meglio di entrambi i mondi": raggiunge tassi di convergenza rapidi per le componenti modellate dell'esito, mantenendo al contempo la robustezza del matching contro la variazione non modellata.
• Validazione Empirica: Le simulazioni suggeriscono che questi guadagni teorici si traducono in contesti reali, superando costantemente i classici matched pairs in una varietà di esperimenti economici.

Il documento conclude che, sebbene la maledizione della dimensionalità imponga limiti rigidi all'efficienza uniforme, la minimizzazione della discrepanza strutturata fornisce una via percorribile per una sostanziale riduzione della varianza in contesti sperimentali ad alta dimensionalità.