Résumé technique : Les limites de la conception expérimentale – L'équilibre des covariables au-delà de la faible dimension

1. Énoncé du problème

Le document traite d'une tension fondamentale dans la conception expérimentale : le compromis entre l'obtention de l'efficacité semi-paramétrique (minimisation de la variance de l'estimateur de l'effet moyen du traitement) et la malédiction de la dimensionnalité dans les échantillons finis.

Bien que des travaux théoriques récents (par exemple, Bai et al., 2022, 2026b) aient établi que les conceptions par stratification fine comme les paires appariées peuvent atteindre asymptotiquement la borne d'efficacité semi-paramétrique de Hahn (1998), ces résultats reposent sur des hypothèses fortes. Plus précisément, ils nécessitent que les différences de covariables au sein des groupes appariés s'annulent asymptotiquement. Le document soutient que dans les échantillons finis avec des covariables de haute dimension ($d$), cela est pratiquement impossible. La distance entre les plus proches voisins dans $d$ dimensions diminue à un taux de $n^{-1/d}$, ce qui implique que parvenir à des appariements quasi parfaits à travers "plusieurs dizaines" de covariables avec des milliers d'unités est irréalisable.

Le problème central est de quantifier la vitesse à laquelle les conceptions expérimentales peuvent approcher la borne d'efficacité $V^*$ uniformément sur des classes de modèles de résultats, et de déterminer les limites de cette convergence en fonction de la taille de l'échantillon $n$, de la dimension des covariables $d$ et de la régularité du résultat.

2. Méthodologie et cadre

2.1 L'excès de variance comme déséquilibre

L'auteur définit la métrique de performance comme l'excès de variance $V_n$, l'écart entre la variance en échantillon de l'estimateur de Horvitz-Thompson non ajusté et la borne d'efficacité semi-paramétrique $V^*$.
$$V_n \equiv n \text{Var}(\hat{\theta}) - V^*$$
En utilisant la Proposition 2.3, le document établit que l'excès de variance est déterminé exactement par le déséquilibre intra-échantillon du modèle de résultat $m(\psi) = E[(Y(1) + Y(0))/2 | \psi]$ :
$$V_n = 4n \cdot E\left[ \left( \frac{1}{n} \sum_{i=1}^n Z_i m(\psi_i) \right)^2 \right]$$
où $Z_i \in \{-1, 1\}$ est l'affectation de traitement centrée. Cela reformule l'efficacité comme un problème d'équilibrage de fonctions.

2.2 Outils analytiques

• Analyse minimax : Le document dérive des bornes supérieures et inférieures sur $V_n$ sur des classes de fonctions spécifiques (Hölder, Sobolev et classes non paramétriques à complexité restreinte).
• Gram-Schmidt Walk (GSW) : La méthodologie exploite l'algorithme de balancement de vecteurs de Bansal et al. (2019) et Harshaw et al. (2024). L'auteur "noyautise" cet algorithme, en utilisant un noyau de conception $K$ pour construire une matrice d'entrée semi-définie positive $\Gamma_n$. Cela permet de balancer des fonctions au sein d'un espace de Hilbert à noyau reproduisant (RKHS) plutôt que de simples fonctions linéaires.
• Classes de fonctions :
  • Classes de Hölder ($\mathcal{P}_\beta$) : Pour des résultats rugueux, peu lisses.
  • Espaces de Sobolev ($H^s$) : Pour des résultats lisses, paramétrés par l'ordre de régularité $s$.
  • Classes à complexité restreinte : Modèles additifs ($g(\psi) = a + \sum g_j(\psi_j)$) et modèles d'interactions bivariées, conçus pour être équilibrés même lorsque $d$ est élevé.

3. Contributions et résultats clés

3.1 L'impossibilité de l'efficacité uniforme en haute dimension

Le document prouve un théorème d'impossibilité central (Théorème 3.1, Corollaire 3.2, Théorème 4.9) :

• Paires appariées : Aucun schéma d'appariement ne peut garantir que l'excès de variance diminue plus vite que $n^{-2/d}$, même pour des modèles de résultat linéaires (infiniment lisses).
• Conceptions générales : Aucune conception expérimentale admissible ne peut garantir une efficacité asymptotique uniforme (convergence vers $V^*$) en dehors du régime où $d = o(\log n)$.
• Implication : Pour des expériences avec des milliers d'unités, les garanties d'efficacité standard ne tiennent que pour un "petit nombre" de covariables. Au-delà de cela, la malédiction de la dimensionnalité empêche toute conception d'approcher uniformément la borne d'efficacité classique, quelle que soit la régularité du modèle de résultat.

3.2 Optimalité de l'appariement pour les modèles rugueux

Bien que l'appariement soit inefficace pour les modèles lisses en haute dimension, le document établit qu'il est optimal au sens minimax pour les modèles de résultats rugueux (classes de Hölder avec $\beta \in (0, 1]$) dans des dimensions faibles fixes (Théorème 3.4, Corollaire 3.6). Les appariements stables atteignent le taux $V_n \asymp n^{-2\beta/d}$. Ce taux lent est le "prix de la robustesse" sous des hypothèses faibles ; l'appariement ne peut exploiter la régularité au-delà du point de Lipschitz ($\beta=1$).

3.3 GSW non paramétrique et adaptation à la régularité

Pour exploiter la régularité, l'auteur propose des conceptions GSW noyautées :

• Taux adaptatifs : Une séquence unique de conceptions GSW, utilisant un noyau de Matérn avec un paramètre de réglage $\nu_n = c/\log n$, s'adapte à la régularité de Sobolev inconnue $s > 0$ sans connaissance préalable.
• Taux de convergence : La conception atteint un excès de variance de $V_n \asymp (\frac{\log n}{n})^{(2s/d) \wedge 1}$.
  • Lorsque $2s \leq d$, le taux est $n^{-2s/d}$.
  • Lorsque $2s > d$, le taux est presque paramétrique ($n^{-1}$), à l'exclusion des facteurs logarithmiques.
• Limitation : Même ces conceptions adaptatives ne peuvent surmonter la barrière $d = o(\log n)$ pour une efficacité totale.

3.4 Conceptions efficaces au-delà des faibles dimensions (Complexité restreinte)

Motivé par le résultat d'impossibilité, le document propose de balancer des classes non paramétriques à complexité restreinte (par exemple, des modèles additifs ou bivariés) plutôt que l'espace de fonctions complet.

• Modèles additifs et bivariés : En ciblant des classes de fonctions comme $g(\psi) = a + \sum g_j(\psi_j)$, les conceptions peuvent accommoder des dimensions beaucoup plus élevées :
  • Modèles additifs : Permettent $d = o(n)$ covariables.
  • Modèles d'interaction bivariée : Permettent $d = o(\sqrt{n})$ covariables.
• Cible de variance : Ces conceptions approchent une cible $V^* + \Delta_G$, où $\Delta_G$ est l'écart de variance dû à la variation non modélisée. Si le modèle de travail est une bonne approximation, cette cible est proche de $V^*$ mais accessible à des taux beaucoup plus rapides.

3.5 Robustification via le Matched GSW

L'auteur combine le GSW structuré et l'appariement pour se protéger contre la variation non modélisée (Section 5.2).

• Mécanisme : L'appariement contrôle la variation locale au sein des paires ($m - m_G$), tandis que le GSW contrôle le déséquilibre global de la composante structurée ($m_G$).
• Résultat : La conception résultante "Matched GSW" conserve les taux de convergence rapides pour la composante structurée tout en offrant une robustesse contre le résidu. Le Théorème 5.6 montre que si le résidu est de classe Hölder continue, l'excès de variance total est borné par la somme du taux d'appariement pour le résidu et du taux GSW pour la partie structurée.

3.6 Application empirique

Le document évalue ces conceptions à l'aide de simulations de Monte Carlo calibrées sur 12 expériences randomisées publiées en économie (tailles d'échantillon $n \in [96, 1200]$, dimensions $d \in [7, 51]$).

• Résultats :
  • Les conceptions GSW non paramétriques additives et bivariées réduisent la variance de l'estimateur par rapport aux paires appariées classiques dans chaque contexte empirique.
  • Le GSW de pleine dimension performe de manière similaire aux paires appariées en moyenne.
  • Le Matched Additive GSW est le plus performant globalement, offrant la plus grande réduction de variance et des intervalles de confiance plus courts tout en maintenant une couverture nominale (environ 94,8 %).
• Inférence : L'auteur développe un nouvel estimateur de variance basé sur la conception et corrigé par les covariables pour le Matched GSW, qui est conservateur pour l'effet moyen de l'échantillon (SATE) et asymptotiquement non conservateur pour l'effet moyen de la population (ATE).

4. Signification et revendications

Le document affirme fournir la première théorie d'efficacité en échantillon fini pour la conception expérimentale qui caractérise explicitement la dépendance vis-à-vis de la taille de l'échantillon, de la dimension des covariables et de la complexité du résultat.

• Changement de paradigme : Il remet en question la vue prédominante selon laquelle les conceptions par stratification fine sont universellement efficaces, démontant que cette efficacité est strictement limitée aux régimes de faible dimension ($d \ll \log n$).
• Recommandation pratique : L'auteur soutient que les praticiens devraient abandonner la poursuite de la borne d'efficacité classique en haute dimension. Au lieu de cela, ils devraient adopter des conceptions de minimisation de la discrépance (GSW) ciblant des classes non paramétriques de complexité inférieure (spécifiquement les modèles additifs) combinées à l'appariement.
• Robustesse : Cette approche offre une solution "le meilleur des deux mondes" : elle atteint des taux de convergence rapides pour les composantes modélisées du résultat tout en conservant la robustesse de l'appariement contre la variation non modélisée.
• Validation empirique : Les simulations suggèrent que ces gains théoriques se traduisent par des résultats réels, surpassant systématiquement les paires appariées standards à travers un ensemble diversifié d'expériences économiques.

Le document conclut que bien que la malédiction de la dimensionnalité impose des limites strictes à l'efficacité uniforme, la minimisation de la discrépance structurée offre une voie viable pour une réduction substantielle de la variance dans les contextes expérimentaux de haute dimension.