Résumé technique : Fit CATE Once : Tests de randomisation assistés par modèle sans séparation d'échantillon

1. Énoncé du problème

Les expériences en panel randomisées génèrent des séquences de résultats adaptées à l'étude des effets causaux dynamiques. Bien que les tests de randomisation offrent une validité en échantillon fini fondée sur le mécanisme d'attribution connu, ils manquent souvent de puissance lorsque les effets du traitement sont hétérogènes. À l'inverse, des modèles flexibles d'effets de traitement (tels que les modèles d'Effet Moyen Conditionnel du Traitement, ou CATE) peuvent capturer une hétérogénéité complexe mais nécessitent généralement de fortes hypothèses de modélisation ou une séparation d'échantillon pour maintenir la validité dans l'inférence par randomisation.

Le défi central abordé est le compromis dans la construction de tests de randomisation assistés par modèle :

1. Validité : Le modèle de nuisance (par exemple, un estimateur CATE) doit être indépendant des attributions de traitement réalisées ($A[N]$) pour garantir que la distribution de randomisation reste valide. L'ajustement d'un modèle sur $A[N]$ et son utilisation dans la statistique de test brise la symétrie requise pour des valeurs p valides.
2. Puissance : Pour améliorer la puissance, la statistique de test doit utiliser des estimations précises de l'hétérogénéité des effets de traitement.
3. Limites actuelles : Les solutions existantes soit réajustent le modèle pour chaque attribution simulée (ce qui est computationnellement prohibitif), soit utilisent une séparation d'échantillon (sacrifiant la puissance statistique en jetant des données).

Cet article propose une méthode pour estimer les CATE sans utiliser les attributions réalisées, préservant ainsi la validité sans la perte d'efficacité liée à la séparation d'échantillon.

2. Méthodologie

L'approche proposée, Fit CATE Once, exploite la structure de covariance des résultats résiduels dans les données de panel pour estimer l'ampleur des effets de traitement, laissant uniquement le signe à déterminer.

2.1. Configuration et hypothèses

• Données : $N$ unités observées sur $T$ périodes de temps avec des covariables $X_i$, des résultats $Y_{i,t}$, et un temps de début de traitement $A_i$.
• Modèle de résultat additif : Le résultat observé suit $Y_{i,t} = \mu_{0,t}(X_i) + \sum_{l=0}^{t-1} \mathbb{1}\{A_i = t-l\}\tau_l(X_i) + \epsilon_{i,t}$.
• Absence d'anticipation : Un traitement commençant après le temps $t$ n'affecte pas $Y_{i,t}$.
• Résiduation : Les résultats sont résidus en soustrayant la moyenne conditionnelle $\mu_t(X_i)$, produisant des résidus $R_{i,t}$.

2.2. Estimation CATE sans signe

L'idée clé est que, sous le modèle additif, les moments d'ordre deux (covariances) des résultats résiduels encodent l'ampleur des effets de traitement, indépendamment des signes des attributions réalisées.

• Moments diagonaux (Effets invariants par rapport au décalage) : Si l'effet du traitement est constant à travers les décalages ($\tau_l(x) \equiv \tau^*(x)$), les entrées diagonales de la matrice de covariance résiduelle $\Sigma_R(x)$ dépendent de l'ampleur de l'effet au carré $\tau^{*2}(x)$ et d'un facteur de conception connu $v_t(x)$. En comparant les moments diagonaux à travers le temps, la variance de nuisance peut être éliminée par différenciation, identifiant $|\tau^*(x)|$.
• Moments hors diagonale (Effets variant par décalage) : Si les effets varient selon le décalage et que les erreurs résiduelles sont non corrélées sériellement (Hypothèse 4), les covariances résiduelles hors diagonale dépendent du vecteur CATE $\tau(x)$ via des formes quadratiques : $c(x) = F_x(\tau) = (\tau^\top H_{t,s}(x) \tau)_{(t,s)}$.
  • Cela crée un problème d'appariement de moments où les covariances hors diagonale identifient le vecteur $\tau(x)$ à un signe global près.
  • Les auteurs proposent une relaxation convexe (estimation de la matrice de rang un $B = \tau\tau^\top$ via la programmation semi-définie) et une approche de moindres carrés non linéaires (NLS) pour résoudre l'estimateur sans signe $\hat{\tau}_\pm(x)$.

2.3. Orientation du signe

Puisque les estimateurs basés sur les moments ne récupèrent que l'ampleur (ou la direction à un signe près), une étape finale est requise pour déterminer le signe.

• Orientation sans attribution : Le signe est choisi pour mieux ajuster la trajectoire de résultat résiduel observée pour chaque unité, en minimisant l'erreur quadratique entre les résidus observés et le modèle prédit par l'estimateur sans signe.
• Orientation partielle par attribution : Alternativement, un petit sous-ensemble d'attributions observées peut être utilisé uniquement pour apprendre le signe, laissant la majorité des unités pour le test de randomisation. Cela est computationnellement moins coûteux que de réajuster un modèle CATE complet.

2.4. Test de randomisation assisté par CATE

Une fois l'estimateur CATE signé $\hat{\tau}(X_i)$ obtenu, il est utilisé pour construire une statistique de test (par exemple, un score de rapport de vraisemblance ou un score AIPW) plus sensible aux effets hétérogènes.

• Validité : Parce que l'estimateur CATE est dérivé des covariances résiduelles (qui dépendent des covariables et des résultats mais non de $A[N]$ réalisé), la condition d'indépendance conditionnelle $\hat{\eta} \perp A[N] \mid X, Y$ est satisfaite.
• Procédure : Le test calcule une valeur p en comparant la statistique observée à la distribution des statistiques générées en permutant le vecteur d'attribution $A[N]$ tout en maintenant le modèle de nuisance fixe.

3. Contributions clés

1. Estimation CATE sans attribution : L'article établit que dans les expériences en panel, la structure de covariance des résultats résiduels permet l'identification des amplitudes CATE (et des vecteurs à un signe près) sans ajustement sur les attributions réalisées.
2. Garanties théoriques :
   • Identification : Prouve l'identification locale et globale du vecteur CATE sans signe à un signe global près sous des conditions de rang sur le jacobien de l'application des moments.
   • Consistance : Établit la consistance des estimateurs de relaxation convexe et NLS pour le CATE sans signe lorsque $N \to \infty$.
3. Tests assistés par modèle valides : Démontre que l'utilisation de ces estimateurs sans attribution dans les tests de randomisation préserve la validité en échantillon fini (contrôle de l'erreur de type I) tout en évitant la perte de puissance associée à la séparation d'échantillon.
4. Découverte de sous-groupes : Montre que les estimations CATE sans attribution peuvent être utilisées a posteriori pour découvrir des sous-groupes hétérogènes et conduire des tests de randomisation valides au sein de ces sous-groupes.

4. Résultats expérimentaux

Les auteurs évaluent la méthode à travers des expériences synthétiques, semi-synthétiques et de consistance :

• Contrôle de l'erreur de type I : À travers diverses tailles d'échantillon et structures de décalage (invariants par rapport au décalage et variant par décalage), le test de randomisation assisté par CATE proposé (RT CATE) contrôle l'erreur de type I au niveau nominal (0,1), de manière comparable aux tests non ajustés (RT DM) et aux tests ajustés par covariables (RT cDM).
• Puissance : RT CATE atteint systématiquement une puissance supérieure à :
  • Les tests non ajustés (RT DM).
  • Les tests ajustés par covariables utilisant uniquement les moyennes de résultats (RT cDM).
  • Les alternatives par séparation d'échantillon (RT SS), qui sacrifient des données pour la validité.
  • Ce gain est particulièrement prononcé lorsque les effets de traitement sont hétérogènes entre les unités ou les décalages.
• Consistance : L'estimateur sans signe converge vers l'ampleur réelle du CATE (à un signe près) à mesure que la taille de l'échantillon augmente.
• Démarrage à chaud : L'utilisation de l'estimateur sans signe comme « démarrage à chaud » permet une estimation précise du CATE signé avec significativement moins d'attributions révélées que l'apprentissage du vecteur CATE complet à partir de zéro.
• Validation semi-synthétique : En utilisant un ensemble de données sur l'emploi des adolescents au niveau du comté (basé sur Callaway et Sant'Anna, 2021), la méthode surpasse les régressions standard d'étude d'événements à effets fixes bidirectionnels (TWFE) tant dans le contrôle de la taille (évitant le rejet excessif) que dans la puissance.
• Analyse de sous-groupes : La méthode récupère avec succès des sous-groupes basés sur des seuils et soutient une inférence valide au sein de ces groupes découverts.

5. Importance et affirmations

L'article affirme que Fit CATE Once résout la tension fondamentale entre validité et puissance dans les tests de randomisation assistés par modèle pour les données de panel. En exploitant la structure des moments d'ordre deux des résidus, la méthode extrait des informations sur les effets de traitement qui sont « sans attribution », permettant aux chercheurs d'utiliser des statistiques de test flexibles et à haute puissance sans compromettre le cadre d'inférence par randomisation.

Les auteurs soulignent que cette approche n'est pas limitée aux conceptions de panel spécifiques étudiées, mais suggère une classe plus large de tests assistés par modèle où les résidus dépendent des attributions uniquement par le biais des effets de traitement. La méthode est présentée comme une solution pratique qui évite la charge computationnelle de réajuster les modèles pour chaque permutation et l'inefficacité statistique de la séparation d'échantillon.

Limites notées par les auteurs :

• L'estimateur hors diagonale suppose des erreurs résiduelles non corrélées sériellement ; des erreurs corrélées confondraient les effets de traitement avec la structure d'erreur.
• L'étape de récupération du signe dépend du rapport signal-sur-bruit et du moment du traitement ; des débuts de traitement précoces fournissent plus d'informations pour la récupération du signe que des débuts tardifs.
• L'identification globale repose sur des conditions de rang qui, bien que généralement satisfaites dans les conceptions standard, peuvent échouer dans des cas dégénérés spécifiques.