On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

Riepilogo Tecnico: Sull'Impossibilità del Test di Specificazione dei Modelli di Interferenza Basati su Mappature di Esposizione

Enunciato del Problema
Negli esperimenti randomizzati in cui si sospettano effetti di spillover (interferenza), gli analisti devono ipotizzare un modello di interferenza per stimare gli effetti causali. L'approccio dominante nella pratica empirica utilizza le mappature di esposizione (Aronow & Samii, 2017), che riducono il vettore di trattamento ad alta dimensionalità a un riassunto a bassa dimensionalità per ogni unità. Sorge una sfida critica poiché la natura reale degli spillover è raramente nota, portando i ricercatori a impiegare test di specificazione per determinare se un modello di interferenza scelto sia correttamente specificato.

Sebbene la letteratura esistente abbia sviluppato test di specificazione (spesso basati su test di randomizzazione di tipo Fisher) che controllano l'errore di Tipo I (rifiutare un modello corretto), l'errore di Tipo II (accettare un modello errato) di questi test rimane scarsamente compreso. La domanda centrale affrontata da questo articolo è se sia possibile costruire un test di specificazione in grado di distinguere in modo affidabile tra un modello di mappatura di esposizione correttamente specificato e uno specificato in modo errato, in particolare quando la specificazione errata è "ben separata" dall'ipotesi nulla.

Metodologia e Quadro Teorico
Gli autori adottano un quadro basato sul disegno per gli esperimenti randomizzati. Formalizzano il problema utilizzando i seguenti componenti:

• Modelli: Il modello nullo ($M_0$) e il modello alternativo ($M_1$) sono insiemi di funzioni di potenziale risultato. Entrambi sono vincolati da un limite uniforme dei momenti ($\|y\|_\infty \le 1$) per garantire risultati ben comportati.
• Modelli di Esposizione: L'articolo si concentra su modelli in cui il potenziale risultato dell'unità $i$ dipende solo da una mappatura di esposizione $h_i(z)$. Un modello è correttamente specificato se il risultato è invariante rispetto alle variazioni del vettore di trattamento $z$ che non modificano l'esposizione $h_i(z)$.
• Separazione: Per valutare la potenza, gli autori definiscono un funzionale di separazione $g(y)$ che misura la deviazione di una funzione di potenziale risultato dal modello nullo. Un'alternativa è $\delta$-separata se $g(y) \ge \delta$.
• Metrica di Performance: L'articolo valuta i test utilizzando l'errore complessivo di test $R(D, \phi, \delta)$, definito come la somma dell'errore di Tipo I nel caso peggiore e dell'errore di Tipo II nel caso peggiore per alternative $\delta$-separate.
• Criterio di Impossibilità: Un problema di test è considerato impossibile se l'errore di test minimax $R^*(\delta) = 1$. Ciò implica che nessuna procedura di test performa meglio di una procedura ingenua che scarta tutti i dati e rifiuta l'ipotesi nulla in modo casuale.

Contributi e Risultati Chiave

1. Teorema di Impossibilità per le Mappature di Esposizione:
   Il risultato principale dell'articolo (Teorema 3.1) stabilisce un forte risultato di impossibilità: Il test di specificazione dei modelli di mappatura di esposizione è impossibile.

   • Nello specifico, per qualsiasi modello di esposizione nullo $M_0$ e qualsiasi modello di esposizione alternativo $M_1$ (dove $M_0 \subseteq M_1$), l'errore di test minimax è esattamente 1 per tutti i valori di separazione non banali $\delta$.
   • Questo risultato vale per tutte le dimensioni campionarie ($n$), per risultati uniformemente limitati e per alternative che sono massimamente separate dall'ipotesi nulla.
   • Schema della Dimostrazione: Gli autori costruiscono esplicitamente distribuzioni di miscela $\Pi_0$ (supportate su $M_0$) e $\Pi_1$ (supportate su $M_1$ $\delta$-separata) tali che la distanza di variazione totale tra le distribuzioni dei risultati osservati sia zero ($d_{TV}(Q_0(z), Q_1(z)) = 0$) per qualsiasi assegnazione di trattamento $z$. Poiché le distribuzioni dei dati osservati sono indistinguibili sotto qualsiasi disegno sperimentale, nessun test può raggiungere una potenza migliore di un semplice indovinare a caso.

2. Corollario sulle Ipotesi Nulle Precise:
   L'impossibilità si estende a casi comuni specifici, come distinguere tra "nessun effetto del trattamento" e "nessuna interferenza" (SUTVA). Anche se l'effetto del trattamento è massimamente grande (separato dal limite dei momenti), le distribuzioni dei dati sotto le miscele nulle e alternative sono identiche, rendendo i modelli empiricamente indistinguibili.

3. Test Coerente per Alternative Non di Esposizione:
   Gli autori dimostrano che il risultato di impossibilità è specifico per la classe dei modelli di mappatura di esposizione. Limitando il modello alternativo a una struttura che non è una mappatura di esposizione, diventa possibile un test informativo.

   • Costruiscono un test uniformemente coerente per l'ipotesi nulla di assenza di interferenza (SUTVA) contro l'alternativa di un modello lineare-in-medie di rete (dove i risultati sono lineari nella frazione di vicini trattati).
   • Questo test utilizza un stimatore coerente di un funzionale quadratico dei potenziali risultati sotto un disegno Bernoulli.
   • Il test è coerente a condizione che il grado massimo della rete ($d_{max}$) soddisfi $d_{max} = o(n^{1/5})$.

Significato e Affermazioni
L'articolo afferma che l'incapacità di validare i modelli di mappatura di esposizione utilizzando esclusivamente dati sperimentali è una limitazione fondamentale, non una mancanza di sofisticazione metodologica.

• Implicazione Epistemologica: Il problema della specificazione del modello non può essere risolto attraverso i dati sperimentali da soli. Gli autori sostengono che i ricercatori non possono affidarsi ai dati per escludere tutte le potenziali specificazioni errate dei modelli di esposizione.
• Guida Pratica: Gli autori affermano che i test di specificazione sono utili solo se i ricercatori impongono restrizioni a priori sul modello alternativo che vanno oltre i vincoli strutturali delle mappature di esposizione. Se un sperimentatore non è disposto a escludere a priori qualsiasi deviazione dall'ipotesi nulla, l'unica conclusione valida è che l'ipotesi nulla potrebbe essere specificata in modo errato.
• Cambio di Focalizzazione: L'articolo suggerisce che il campo dovrebbe allontanarsi dal tentativo di validare se un modello di esposizione specifico sia "corretto" (un compito dimostrato impossibile) e spostarsi verso la costruzione di test che mirano a tipi specifici e pre-specificati di deviazioni (come illustrato dall'esempio del modello lineare-in-medie).
• Ruolo dei Dati Esterni: Gli autori notano che la risoluzione della specificazione del modello potrebbe richiedere l'incorporazione di dati esterni o metodi qualitativi, sebbene ciò introduca nuove assunzioni, potenzialmente non verificabili.

In sintesi, l'articolo fornisce una prova formale che nessun test di specificazione può distinguere uniformemente tra modelli di mappatura di esposizione annidati, indipendentemente dalla dimensione campionaria o dall'entità della separazione. Di conseguenza, un test di specificazione informativo richiede di restringere l'ambito dell'ipotesi alternativa oltre la classe delle mappature di esposizione.