On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

Résumé technique : Sur l'impossibilité des tests de spécification des modèles d'interférence basés sur les cartes d'exposition

Énoncé du problème
Dans les expériences randomisées où des débordements (interférences) sont suspectés, les analystes doivent postuler un modèle d'interférence pour estimer les effets causaux. L'approche dominante dans la pratique empirique utilise des cartes d'exposition (Aronow & Samii, 2017), qui réduisent le vecteur de traitement de haute dimension en un résumé de basse dimension pour chaque unité. Un défi critique surgit car la nature réelle des débordements est rarement connue, conduisant les chercheurs à employer des tests de spécification pour déterminer si un modèle d'interférence choisi est correctement spécifié.

Bien que la littérature existante ait développé des tests de spécification (souvent basés sur des tests de randomisation de style Fisher) qui contrôlent l'erreur de type I (rejet d'un modèle correct), l'erreur de type II (acceptation d'un modèle incorrect) de ces tests reste mal comprise. La question centrale abordée par cet article est de savoir s'il est possible de construire un test de spécification capable de distinguer de manière fiable un modèle de carte d'exposition correctement spécifié d'un modèle mal spécifié, en particulier lorsque la mauvaise spécification est « bien séparée » de l'hypothèse nulle.

Méthodologie et cadre
Les auteurs adoptent un cadre basé sur la conception pour les expériences randomisées. Ils formalisent le problème en utilisant les composants suivants :

• Modèles : Le modèle nul ($M_0$) et le modèle alternatif ($M_1$) sont des ensembles de fonctions de résultats potentiels. Tous deux sont restreints par une borne uniforme de moment ($\|y\|_\infty \le 1$) pour assurer des résultats bien comportés.
• Modèles d'exposition : L'article se concentre sur des modèles où le résultat potentiel de l'unité $i$ dépend uniquement d'une carte d'exposition $h_i(z)$. Un modèle est correctement spécifié si le résultat est invariant aux changements du vecteur de traitement $z$ qui ne modifient pas l'exposition $h_i(z)$.
• Séparation : Pour évaluer la puissance, les auteurs définissent un fonctionnel de séparation $g(y)$ qui mesure l'écart d'une fonction de résultat potentiel par rapport au modèle nul. Une alternative est $\delta$-séparée si $g(y) \ge \delta$.
• Métrique de performance : L'article évalue les tests en utilisant l'erreur globale de test $R(D, \phi, \delta)$, définie comme la somme de l'erreur de type I au pire cas et de l'erreur de type II au pire cas pour les alternatives $\delta$-séparées.
• Critère d'impossibilité : Un problème de test est jugé impossible si l'erreur minimax de test $R^*(\delta) = 1$. Cela implique qu'aucune procédure de test ne fonctionne mieux qu'une procédure naïve qui rejette toutes les données et rejette l'hypothèse nulle au hasard.

Contributions et résultats clés

1. Théorème d'impossibilité pour les cartes d'exposition :
   Le résultat principal de l'article (Théorème 3.1) établit un fort résultat d'impossibilité : Le test de spécification des modèles de cartes d'exposition est impossible.

   • Plus précisément, pour tout modèle d'exposition nul $M_0$ et tout modèle d'exposition alternatif $M_1$ (où $M_0 \subseteq M_1$), l'erreur minimax de test est exactement 1 pour toutes les valeurs de séparation non triviales $\delta$.
   • Ce résultat vaut pour toutes les tailles d'échantillon ($n$), pour des résultats uniformément bornés, et pour des alternatives qui sont maximalement séparées de l'hypothèse nulle.
   • Esquisse de la preuve : Les auteurs construisent des distributions de mélange explicites $\Pi_0$ (supportées sur $M_0$) et $\Pi_1$ (supportées sur le $M_1$ $\delta$-séparé) telles que la distance de variation totale entre les distributions des résultats observés est nulle ($d_{TV}(Q_0(z), Q_1(z)) = 0$) pour toute affectation de traitement $z$. Parce que les distributions de données observées sont indiscernables sous n'importe quelle conception expérimentale, aucun test ne peut atteindre une puissance meilleure qu'un pari au hasard.

2. Corollaire sur les hypothèses nulles précises :
   L'impossibilité s'étend à des cas communs spécifiques, tels que la distinction entre « aucun effet de traitement » et « aucune interférence » (SUTVA). Même si l'effet de traitement est maximal (séparé par la borne de moment), les distributions de données sous les mélanges nul et alternatif sont identiques, rendant les modèles empiriquement indiscernables.

3. Test consistant pour les alternatives non-exposition :
   Les auteurs démontrent que le résultat d'impossibilité est spécifique à la classe des modèles de cartes d'exposition. En restreignant le modèle alternatif à une structure qui n'est pas une carte d'exposition, un test informatif devient possible.

   • Ils construisent un test uniformément consistant pour l'hypothèse nulle d'absence d'interférence (SUTVA) contre l'alternative d'un modèle linéaire en moyennes sur réseau (où les résultats sont linéaires par rapport à la fraction de voisins traités).
   • Ce test utilise un estimateur consistant d'un fonctionnel quadratique des résultats potentiels sous un design de Bernoulli.
   • Le test est consistant à condition que le degré maximal du réseau ($d_{max}$) satisfasse $d_{max} = o(n^{1/5})$.

Signification et affirmations
L'article affirme que l'incapacité à valider les modèles de cartes d'exposition en utilisant uniquement des données expérimentales est une limitation fondamentale, et non un manque de sophistication méthodologique.

• Implication épistémologique : Le problème de la spécification du modèle ne peut être résolu par les données expérimentales seules. Les auteurs soutiennent que les chercheurs ne peuvent pas se fier aux données pour écarter toutes les mauvaises spécifications potentielles des modèles d'exposition.
• Conseil pratique : Les auteurs affirment que les tests de spécification ne sont utiles que si les chercheurs imposent a priori des restrictions sur le modèle alternatif qui vont au-delà des contraintes structurelles des cartes d'exposition. Si un expérimentateur n'est pas disposé à écarter a priori tout écart par rapport à l'hypothèse nulle, la seule conclusion valable est que l'hypothèse nulle peut être mal spécifiée.
• Changement de focalisation : L'article suggère que le domaine devrait s'éloigner de la tentative de valider si un modèle d'exposition spécifique est « correct » (une tâche démontrée comme impossible) pour se tourner vers la construction de tests ciblant des types spécifiques et pré-spécifiés de déviations (comme illustré par l'exemple linéaire en moyennes).
• Rôle des données externes : Les auteurs notent que la résolution de la spécification du modèle peut nécessiter l'intégration de données externes ou de méthodes qualitatives, bien que cela introduise de nouvelles hypothèses, potentiellement non testables.

En résumé, l'article fournit une preuve formelle qu'aucun test de spécification ne peut distinguer uniformément les modèles de cartes d'exposition imbriqués, quelle que soit la taille de l'échantillon ou l'ampleur de la séparation. Par conséquent, un test de spécification informatif nécessite de restreindre la portée de l'hypothèse alternative au-delà de la classe des cartes d'exposition.