On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

Technische Samenvatting: Over de Onmogelijkheid van Specificatietests voor Interferentiemodellen Gebaseerd op Blootstellingsmappen

Probleemstelling
In gerandomiseerde experimenten waarbij spillovers (interferentie) worden vermoed, moeten analisten een model van interferentie postuleren om causale effecten te schatten. De dominante aanpak in empirische praktijk maakt gebruik van blootstellingsmappen (Aronow & Samii, 2017), die de hoogdimensionale behandelingsvector reduceren tot een laagdimensionale samenvatting voor elke eenheid. Een kritieke uitdaging ontstaat omdat de ware aard van spillovers zelden bekend is, wat onderzoekers ertoe brengt specificatietests toe te passen om te bepalen of een gekozen interferentiemodel correct is gespecificeerd.

Hoewel bestaande literatuur specificatietests heeft ontwikkeld (vaak gebaseerd op Fisher-stijl randomisatietests) die Type I-fouten controleren (het verwerpen van een correct model), blijft de Type II-fout (het accepteren van een incorrect model) van deze tests slecht begrepen. De centrale vraag die dit artikel adresseert, is of het mogelijk is om een specificatietest te construeren die betrouwbaar kan onderscheiden tussen een correct gespecificeerd blootstellingsmapmodel en een verkeerd gespecificeerd model, vooral wanneer de verkeerde specificatie "goed gescheiden" is van de nulhypothese.

Methodologie en Kader
De auteurs hanteren een ontwerpgedreven kader voor gerandomiseerde experimenten. Ze formaliseren het probleem met behulp van de volgende componenten:

• Modellen: Het nulmodel ($M_0$) en het alternatiefmodel ($M_1$) zijn verzamelingen van potentiële uitkomstfuncties. Beide zijn beperkt door een uniforme momentgrens ($\|y\|_\infty \le 1$) om goed gedragde uitkomsten te waarborgen.
• Blootstellingsmodellen: Het artikel richt zich op modellen waarbij de potentiële uitkomst van eenheid $i$ alleen afhangt van een blootstellingsmap $h_i(z)$. Een model is correct gespecificeerd als de uitkomst invariant is ten opzichte van veranderingen in de behandelingsvector $z$ die de blootstelling $h_i(z)$ niet veranderen.
• Scheiding: Om de power te evalueren, definiëren de auteurs een scheidingsfunctionaal $g(y)$ die de afwijking van een potentiële uitkomstfunctie van het nulmodel meet. Een alternatief is $\delta$-gescheiden als $g(y) \ge \delta$.
• Prestatiemaatstaf: Het artikel evalueert tests aan de hand van de totale testfout $R(D, \phi, \delta)$, gedefinieerd als de som van de ergste Type I-fout en de ergste Type II-fout voor $\delta$-gescheiden alternatieven.
• Onmogelijkheidscriterium: Een testprobleem wordt onmogelijk geacht als de minimax-testfout $R^*(\delta) = 1$. Dit impliceert dat geen enkele testprocedure beter presteert dan een naïeve procedure die alle data verwierpt en de nulhypothese willekeurig verwerpt.

Belangrijkste Bijdragen en Resultaten

1. Onmogelijkheidstheorema voor Blootstellingsmappen:
   Het primaire resultaat van het artikel (Stelling 3.1) vestigt een sterk onmogelijkheidresultaat: Specificatietesten van blootstellingsmapmodellen is onmogelijk.

   • Specifiek geldt voor elk nul-blootstellingsmodel $M_0$ en elk alternatief blootstellingsmodel $M_1$ (waarbij $M_0 \subseteq M_1$) dat de minimax-testfout exact 1 is voor alle niet-triviale scheidingswaarden $\delta$.
   • Dit resultaat geldt voor alle steekproefgroottes ($n$), voor uniform begrenste uitkomsten, en voor alternatieven die maximaal gescheiden zijn van de nulhypothese.
   • Bewesschets: De auteurs construeren expliciete mengverdelingen $\Pi_0$ (ondersteund op $M_0$) en $\Pi_1$ (ondersteund op de $\delta$-gescheiden $M_1$) zodanig dat de totale variatieafstand tussen de verdelingen van waargenomen uitkomsten nul is ($d_{TV}(Q_0(z), Q_1(z)) = 0$) voor elke behandelingstoewijzing $z$. Omdat de verdelingen van de waargenomen data onder elk experimenteel ontwerp niet te onderscheiden zijn, kan geen enkele test een power bereiken die beter is dan raden.

2. Corollarium over Scherpe Nulhypothese:
   De onmogelijkheid strekt zich uit tot specifieke veelvoorkomende gevallen, zoals het onderscheiden tussen "geen behandelingseffect" en "geen interferentie" (SUTVA). Zelfs als het behandelingseffect maximaal groot is (gescheiden door de momentgrens), zijn de dataverdelingen onder de mengverdelingen van de nulhypothese en het alternatief identiek, waardoor de modellen empirisch niet te onderscheiden zijn.

3. Consistente Test voor Niet-Blootstellingsalternatieven:
   De auteurs demonstreren dat het onmogelijkheidresultaat specifiek is voor de klasse van blootstellingsmapmodellen. Door het alternatiefmodel te beperken tot een structuur die geen blootstellingsmap is, wordt informatief testen mogelijk.

   • Ze construeren een uniform consistente test voor de nulhypothese van geen interferentie (SUTVA) tegen het alternatief van een netwerk lineair-in-middelen-model (waarbij uitkomsten lineair zijn in het fractie van behandelde buren).
   • Deze test maakt gebruik van een consistente schatter van een kwadratische functionaal van de potentiële uitkomsten onder een Bernoulli-ontwerp.
   • De test is consistent mits het maximale graad van het netwerk ($d_{max}$) voldoet aan $d_{max} = o(n^{1/5})$.

Betekenis en Claims
Het artikel claimt dat het onvermogen om blootstellingsmapmodellen te valideren met uitsluitend experimentele data een fundamentele beperking is, en geen gebrek aan methodologische verfijning.

• Epistemologische Implicatie: Het probleem van modelspecificatie kan niet worden opgelost uitsluitend door middel van experimentele data. De auteurs betogen dat onderzoekers niet op data kunnen vertrouwen om alle potentiële verkeerde specificaties van blootstellingsmodellen uit te sluiten.
• Praktische Richtlijnen: De auteurs stellen dat specificatietests alleen nuttig zijn als onderzoekers a priori restricties opleggen aan het alternatiefmodel die verder gaan dan de structurele beperkingen van blootstellingsmappen. Als een experimentator niet bereid is om a priori afwijkingen van de nulhypothese uit te sluiten, is de enige geldige conclusie dat de nulhypothese verkeerd gespecificeerd kan zijn.
• Verschuiving in Focus: Het artikel suggereert dat het vakgebied moet afzien van het proberen te valideren of een specifiek blootstellingsmodel "correct" is (een taak die onmogelijk is gebleken) en zich moet richten op het construeren van tests die specifieke, vooraf gespecificeerde soorten afwijkingen targeten (zoals geïllustreerd door het lineair-in-middelen-voorbeeld).
• Rol van Externe Data: De auteurs merken op dat het oplossen van modelspecificatie mogelijk het integreren van externe data of kwalitatieve methoden vereist, hoewel dit nieuwe, potentieel niet-testbare aannames introduceert.

Kortom, het artikel levert een formeel bewijs dat geen enkele specificatietest geneste blootstellingsmapmodellen uniform kan onderscheiden, ongeacht de steekproefgrootte of de grootte van de scheiding. Bijgevolg vereist informatief specificatietesten het verkleinen van de reikwijdte van het alternatief voorbij de klasse van blootstellingsmappen.