📈 economics

Causal clustering: design of cluster experiments under network interference

Cet article propose un cadre pour la conception d'expériences par grappes sous interférence de réseau en formulant le partitionnement optimal comme un problème de coupe minimale pénalisée, soluble via la programmation semi-définie afin de minimiser l'erreur quadratique moyenne du pire cas de l'effet de traitement global.

Auteurs originaux : Davide Viviano, Lihua Lei, Guido Imbens, Brian Karrer, Okke Schrijvers, Liang Shi

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Davide Viviano, Lihua Lei, Guido Imbens, Brian Karrer, Okke Schrijvers, Liang Shi

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un scientifique essayant de déterminer si un nouvel engrais fait pousser les plantes plus haut. Vous avez un jardin géant avec des milliers de plantes, et vous voulez tester l'engrais sur certaines d'entre elles et laisser les autres tranquilles.

Dans un monde parfait, vous pourriez simplement choisir quelques plantes au hasard, leur donner de l'engrais, et comparer le résultat avec le reste. Mais dans le monde réel, les plantes ne vivent pas en isolation. Elles partagent le sol, l'eau et même les parasites. Si vous mettez de l'engrais sur la Plante A, les nutrims peuvent fuiter vers la Plante B située juste à côté. La Plante B pourrait grandir plus haut non pas grâce à l'engrais qu'elle a reçu, mais parce que sa voisine en a bénéficié. C'est ce que l'article appelle les « effets de débordement » (spillover effects) ou l'« interférence de réseau ».

Si vous ignorez cela, votre expérience vous donnera une mauvaise réponse. Vous pourriez penser que l'engrais fonctionne très bien, alors que vous mesurez simplement l'effet d'entraide entre les plantes.

Le Problème : Comment grouper les plantes ?

Pour corriger cela, les scientifiques utilisent souvent la « randomisation par grappes » (Cluster Randomization). Au lieu de choisir des plantes individuelles, ils les regroupent en grappes (comme des rangées ou des parcelles). Ils traitent la rangée entière comme une unité : soit toute la rangée reçoit de l'engrais, soit la rangée entière n'en reçoit pas. Cela empêche l'engrais de fuiter de la rangée traitée vers la rangée non traitée voisine.

Mais voici le piège : Quelle taille doivent faire les rangées ?

Si les rangées sont trop petites : L'engrais fuit encore de la rangée traitée vers la rangée non traitée adjacente. Vos résultats seront biaisés (faux).
Si les rangées sont trop grandes : Vous vous retrouvez avec très peu de rangées. Si une rangée possède par hasard un sol naturellement plus riche, vos résultats seront bruyants (peu fiables). Vous ne pourrez pas dire si l'engrais a fonctionné ou si cette rangée a simplement eu de la chance.

C'est un équilibre délicat. Vous voulez minimiser le « désordre » (le biais) et l'« incertitude » (la variance) en même temps.

La Solution de l'Article : Une « Carte Intelligente » pour les Expériences

Les auteurs de cet article ont construit un nouvel outil mathématique pour résoudre ce casse-tête. Ils traitent le jardin non pas comme une simple collection de plantes, mais comme une carte de connexions (un réseau). Certaines plantes sont des amis proches (voisins), d'autres sont des étrangers.

Ils proposent une méthode appelée « Clustering Causal » (Causal Clustering). Voyez cela comme un GPS pour votre expérience qui ne regarde pas seulement la géographie, mais aussi les relations.

Voici comment leur méthode fonctionne, en utilisant une analogie simple :

1. La « Coupe » et la « Pénalité »

Imaginez que vous avez un immense morceau de tissu avec un motif complexe de fils reliant différents points. Vous voulez couper ce tissu en patchs séparés (grappes) pour mener votre expérience.

L'Objectif : Vous voulez effectuer des coupes qui séparent les patchs « traités » des patchs « non traités » aussi proprement que possible.
La Pénalité : Chaque fois que vous coupez un fil qui relie une plante traitée à une plante non traitée, vous payez une « pénalité de biais ».
La Pénalité de Taille : Si vous créez des patchs trop inégaux (un patch géant et beaucoup de patchs minuscules), vous payez une « pénalité de variance » car vos données deviennent peu fiables.

L'algorithme de l'article trouve la façon parfaite de couper le tissu. Il résout un problème mathématique complexe (appelé « min-cut pénalisé ») pour trouver le regroupement qui résulte en la pénalité totale la plus faible. C'est comme trouver le chemin dans un labyrinthe qui évite le plus de pièges tout en prenant la route la plus courte.

2. Le « Chiffre Magique » (Le Bouton de Réglage)

La méthode utilise un « bouton de réglage » (un paramètre que les chercheurs appellent $\xi$ ). Ce bouton décide de l'importance que vous accordez au biais par rapport à la variance.

Si vous tournez le bouton pour accorder plus d'importance au biais, l'algorithme créera de nombreux petits groupes serrés pour garantir qu'aucun débordement ne se produise.
Si vous tournez le bouton pour accorder plus d'importance à la variance, il créera moins de groupes, plus larges, pour obtenir des données plus stables.
L'article montre comment régler ce bouton en fonction de la force que vous pensez attribuer à l'effet de « débordement » (ex : « Pensez-vous que l'engrais fuit un peu, ou beaucoup ? »).

Tests en Conditions Réelles : Facebook et les Villages Chinois

Les auteurs ont testé leur idée dans deux contextes très différents :

Facebook (Le Jardin Numérique) : Ils ont étudié le vaste réseau d'amitiات sur Facebook. Ils ont comparé leur « Clustering Causal » aux méthodes de regroupement que Facebook utilise déjà (comme « Louvain » ou le « Partage Équilibré »).
- Le Résultat : Leur méthode a montré que les regroupements actuels de Facebook étaient souvent trop désordonnés pour les expériences. Leur nouvelle méthode pouvait trouver de meilleurs regroupements qui donneraient des résultats plus précis pour des choses comme les campagnes publicitaires. Ils ont constaté que pour de nombreuses expériences en ligne, regrouper les gens par ces clusters intelligents est en fait préférable à la simple sélection d'individus aléatoires.
La Chine Rurale (Le Jardin Physique) : Ils ont utilisé les données d'une expérience réelle menée dans 185 villages en Chine, où l'on tentait de vendre des assurances.
- Le Problème : Les villages étaient les « groupes naturels ». Mais les habitants du Village A étaient amis avec des personnes du Village B. Les frontières « naturelles » des villages ne correspondaient pas aux frontières de l'« amitié ».
- Le Résultat : Leur algorithme a ignoré les frontières des villages et a créé de nouveaux groupes basés sur qui était réellement ami avec qui. Ce nouveau regroupement était bien meilleur pour mesurer le véritable effet de l'assurance que de s'en tenir aux lignes officielles des villages.

L'Essentiel à Retenir

Cet article ne dit pas simplement : « Regroupez les gens ensemble ». Il dit : « Regroupez les gens ensemble intelligemment en fonction de la manière dont ils sont connectés. »

Il fournit une recette permettant aux chercheurs de :

Observer le réseau de connexions.
Décider de l'importance qu'ils accordent aux effets de « fuite » (biais) par rapport aux données « bruyantes » (variance).
Exécuter un calcul qui génère les groupes parfaits à utiliser pour leur expérience.

Ce faisant, ils s'assurent que lorsqu'ils disent : « Ce traitement fonctionne », ils ont raison, et qu'ils ne mesurent pas simplement les effets de ricochet de leurs voisins.

Résumé technique : Clustering Causal : Conception d'expériences de grappes sous interférence de réseau

1. Énoncé du problème

L'article traite de la conception d'expériences de grappes (clusters) dans des contextions où les unités interagissent via un réseau connu, entraînant des effets de débordement (interférence). Dans ces environnements, une randomisation standard au niveau individuel (conceptions de Bernoulli) échoue souvent à identifier l'Effet Moyen Global du Traitement (GATE) en raison du biais induit par l'exposition inter-grappes. Inversement, la randomisation par grappes élimine ce biais en assignant des grappes entières au traitement ou au contrôle, mais introduit de la variance due à la corrélation des assignations au sein des grappes et à l'hétérogénéité potentielle des tailles de grappes.

Le défi central est que le choix des grappes pré-spécifiées (ex. : villages administratifs) ou des algorithmes standards de détection de communautés peut ne pas être optimal pour l'inférence causale. Elles peuvent être trop grossières (introduisant une variance élevée) ou trop fines (échouant à capturer tous les débordements pertinents, introduisant ainsi un biais). Les auteurs cadrent le choix du clustering comme un problème de conception statistique : sélectionner une partition du réseau qui minimise l'erreur quadratique moyenne (MSE) la plus élevée du l'estimateur de différence de moyennes pour le GATE.

2. Méthodologie et cadre

2.1 Cadre asymptotique local

Les auteurs formalisent le problème en utilisant un cadre asymptotique local où les effets de débordement sont « localement proches de zéro » mais non négligeables pour l'inférence.

Hypothèse 1 (Interférence locale de premier ordre) : Les résultats potentiels dépendent uniquement du traitement d'un individu et des traitements de ses voisins immédiats.
Hypothèse 2 (Bornage et continuité Lipschitz) : Les résultats potentiels sont uniformément bornés, et l'ampleur des débordements est limitée par un paramètre $\bar{\phi}_n$ . Plus précisément, le changement dans les résultats potentiels est linéaire par rapport à la part de voisins traités, avec une pente bornée par $\bar{\phi}_n$ .
Hypothèse 3 (Asymptotique de débordement local) : Le produit de l'ampleur maximale du débordement et du carré du degré maximal est borné ( $\limsup \bar{\phi}_n N_{n,max}^2 \leq \epsilon$ ). Cela permet des contextes où les effets directs et les effets de débordement sont de magnitude similaire, un scénario courant sur les plateformes en ligne où les effets sont faibles mais économiquement significatifs.

2.2 Caractérisation du biais et de la variance

L'article dérive des caractérisations précises du pire cas pour le biais et la variance de l'estimateur de différence de moyennes $\hat{\tau}_n(C_n)$ sous une grappe $C_n$ donnée :

Biais du pire cas : Le biais est régi par la « connectivité entre grappes », définie comme la fraction moyenne de voisins d'un individu se trouvant en dehors de sa grappe assignée ( $b_n(C_n)$ ). Le pire biais est proportionnel à $\bar{\phi}_n b_n(C_n)$ .
Variance du pire cas : Sous le cadre asymptotique local, la variance est asymptotiquement pilotée par les corrélations intra-grappes induites par la conception du clustering. Elle est proportionnelle à la somme des carrés des tailles de grappes ( $\sum n_k^2$ ), mise à l'échelle par la plage de résultats $\bar{\psi}$ .
MSE du pire cas : En combinant ces éléments, la fonction objectif à minimiser est :
$B^*_n(C_n, \lambda) = \bar{\psi} \frac{1}{n^2} \sum_{k=1}^{K_n} n_k^2 + \lambda \bar{\phi}_n^2 b_n(C_n)^2$
où $\lambda$ est un poids spécifié par l'utilisateur (typiquement 1 pour la MSE).

2.3 Algorithme d'optimisation

Les auteurs montrent que trouver le clustering optimal revient à résoudre un nouveau problème de coupe minimale pénalisé (penalized min-cut).

Reformulation : Le problème est reformulé comme un programme d'optimisation de trace avec une contrainte semi-définie.
Relaxation convexe : Puisque le problème exact est combinatoire, les auteurs proposent une relaxation par programmation semi-définie (SDP). L'objectif consiste à minimiser une somme pondérée de la trace de la matrice de grappe (composante de variance) et du carré d'une coupe normalisée (composante de biais).
Arrondissement (Rounding) : Un clustering réalisable est récupéré en appliquant le clustering K-means aux vecteurs propres de la solution SDP.
Algorithme 1 : La procédure itère sur une plage de nombres de grappes ( $K$ ) et un paramètre de calibration $\xi_n = (\lambda \bar{\phi}_n^2 / \bar{\psi})^{-1}$ , qui équilibre le compromis biais-variance. L'algorithme fournit un certificat de performance prouvable (borne d'approximation) par rapport au clustering optimal.

3. Contributions clés

Cadre décisionnel pour le clustering : Contrairement à la littérature existante qui traite le clustering comme une donnée ou se concentre sur la détection de communautés, cet article dérive le clustering directement de l'objectif causal de minimisation de la MSE du pire cas pour le GATE.
Caractérisations précises du pire cas : L'article fournit des bornes explicites et précises pour le biais et la variance sous interférence de réseau, montrant que le biais dépend de l'exposition inter-grappes et que la variance dépend de la dispersion de la taille des grappes.
Problème d'optimisation novateur : Les auteurs identifient que le clustering optimal résout un problème de coupe minimale pénalisé qui intègre à la fois l'exposition inter-grappes (biais) et la dispersion de la taille des grappes (variance). Cela diffère du clustering spectral ou des coupes normalisées standards qui ne tiennent pas compte de la composante de variance induite par les tailles de grappes.
Règles de conception pratiques :
- Bernoulli vs Grappe : Une règle empirique est dérivée pour déterminer quand une conception par grappes domine une conception de Bernoulli en fonction du ratio de l'ampleur du débordement par rapport à la variance des résultats et du nombre de grappes.
- Débordements inconnus : L'article étend le cadre pour gérer les amplitudes de débordement inconnues en utilisant une approche de regret minimax, optimisant pour le pire ratio de MSE par rapport à un oracle.
Validation empirique : La méthode est appliquée à des données uniques de réseau Facebook et à une expérience de terrain en Chine rurale (Cai et al., 2015).
- Dans les données Facebook, la méthode proposée classe les algorithmes de clustering existants (Louvain, Partitionnement équilibré), trouvant que Louvain avec de nombreuses grappes est souvent le plus performant.
- Dans l'expérience de terrain, la méthode construit des partitions alternatives qui surpassent les limites de villages administratives et les algorithmes de clustering standards (Spectral, $\epsilon$ -net) à travers diverses amplitudes de signal sur bruit.

4. Résultats et signification

L'article affirme que la méthode proposée de « Causal Clustering » offre une procédure robuste pour la conception expérimentale en présence d'interférence de réseau.

Performance : Dans les simulations calibrées sur l'expérience de terrain en Chine, le Causal Clustering atteint un regret proche de zéro (0,0 % - 0,2 %) dans les contextes d'interférence de premier ordre, surpassant de manière significative les références comme le clustering Spectral et Louvain, qui présentent un regret élevé (jusqu'à plus de 50 %) selon le ratio signal/bruit.
Robustesse : Même sous des modèles d'interférence globale mal spécifiés (où les résultats dépendent des voisins plutôt que des traitements seuls), la méthode reste compétitive, évitant la sous-performance importante observée avec d'autres méthodes.
Utilité pratique : Le cadre permet aux chercheurs de quantifier explicitement le compromis entre biais et variance. Il fournit un moyen fondé sur les données de choisir le nombre et la structure des grappes, plutôt que de s'appuyer sur des frontières administratives ou des détections de communautés heuristiques.

Les auteurs soulignent que leur approche est particulièrement pertinente pour les plateformes en ligne (ex. : Meta/Facebook) et les expériences de terrain où les débordements sont faibles mais non négligeables, et où l'objectif est d'estimer l'effet total d'une politique à grande échelle. La méthode comble le fossé entre la littérature sur le clustering de graphes et l'inférence causale, en fournissant une solution numériquement traitable (via SDP) à un problème de conception complexe.