📈 economics

Post-selection inference for network structure

Cet article introduit deux intervalles de confiance de post-sélection, scalables et universellement valides, pour l'analyse de structures de réseaux qui tiennent compte de la sélection de groupes pilotée par les données, démontrant que si les deux méthodes assurent une couverture simultanée, seule l'approche basée sur Talagrand atteint une largeur asymptotique optimale, avec des applications empiriques montrant que la correction de la sélection peut modifier considérablement les conclusions sur les caractéristiques du réseau telles que l'homophilie et la segmentation du marché.

Auteurs originaux : Eric Auerbach, Jonathan Auerbach, Sidonia McKenzie

Publié 2026-07-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Auerbach, Jonathan Auerbach, Sidonia McKenzie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de comprendre la structure d'un réseau social massif, comme le tissu d'amitié d'une ville ou un système commercial mondial. Vous voulez mesurer à quel point différents groupes de personnes sont « connectés ». Par exemple, est-ce que les gens du groupe « finance » se parlent plus que ceux du groupe « art » ?

Le problème, c'est que vous n'avez pas décidé de regarder la « finance » et l'« art » avant de voir les données. Au lieu de cela, vous avez observé le réseau désordonné de connexions, fait tourner un algorithme informatique pour trouver les grappes les plus intéressantes, et ensuite décidé d'étudier ces groupes spécifiques.

C'est comme entrer dans une pièce bondée, repérer les trois personnes qui rient le plus fort, et demander ensuite : « Quelles sont les chances que ces trois personnes spécifiques soient en train de rire ? » Si vous calculez les probabilités après les avoir choisies parce qu'elles étaient les plus bruyantes, votre calcul sera faux. Vous avez essentiellement sélectionné de manière biaisée l'exemple le plus extrême pour prouver un point, faisant passer cela pour un motif alors qu'il pourrait s'agir de simple bruit aléatoire.

Cet article, écrit par Eric Auerbach, Jonathan Auerbach et Sidonia McKenzie, s'attaque précisément à ce problème. Ils appellent cela l'« inférence post-sélection ». Ils veulent donner aux chercheurs un moyen de dire : « J'ai trouvé ces groupes en utilisant les données elles-mêmes, mais je peux quand même prouver que mes découvertes sont réelles et non une simple coïncidence chanceuse. »

Voici comment ils résolvent cela, en utilisant deux « outils » (intervalles de confiance) différents :

Le Problème : L'effet « Projecteur »

Imaginez une pièce sombre avec 100 personnes. Vous éclairez un groupe de 10 personnes au hasard. Si vous regardez simplement ce groupe, ils peuvent paraître très différents du reste de la pièce par pur hasard. Si vous déplacez le projecteur de groupe en groupe jusqu'à trouver un groupe qui semble super différent, puis que vous affirmiez : « Regardez ! Ce groupe est spécial ! », vous vous tromperiez vous-même.

Dans l'article, ils montrent que les outils statistiques standards (l'« ancien projecteur ») échouent ici. Ils font souvent croire aux chercheurs qu'ils ont découvert une structure « Noyau-Périphérie » (un cercle intérieur très soudé et un cercle extérieur plus lâche) ou une « Homophilie » (les oiseaux de même plumage se regroupent) alors que le réseau est en réalité purement aléatoire.

La Solution : Deux Nouveaux Projecteurs

Les auteurs ont développé deux nouvelles façons de calculer la « marge d'erreur » (combien votre intervalle de confiance doit être large) pour tenir compte du fait que vous avez choisi les groupes après avoir consulté les données.

Outil 1 : La Méthode de l'« Inflation » (L'approche conservatrice)

Considérez cela comme prendre votre règle standard et l'étirer jusqu'à ce qu'elle soit immense.

Comment ça marche : Vous partez d'un calcul normal. Ensuite, parce que vous savez que vous pourriez avoir « sélectionné de manière biaisée » le groupe le plus intéressant, vous multipliez la largeur de votre réponse par un facteur de sécurité massif.
La métaphore : C'est comme un parent disant à son enfant : « Si tu veux être sûr à 95 % de ne pas te perdre dans cette immense forêt, tu dois rester à moins de 100 pieds de moi. » C'est sûr, mais c'est très restrictif.
Le bémol : Dans les réseaux où les connexions sont inégales (certaines personnes ont des milliers d'amis, d'autres n'en ont aucun), cette règle devient si large qu'elle en devient inutile. C'est comme essayer de mesurer la largeur d'une rivière avec une règle qui mesure 10 miles de long.

Outil 2 : La Méthode du « Filet Intelligent » (L'approche optimisée)

C'est la grande avancée de l'article. Au lieu de simplement étirer la règle, ils ont construit un filet plus intelligent en utilisant des mathématiques avancées (appelées inégalité de concentration de type Talagrand).

Comment ça marche : Cet outil examine l'ensemble du paysage de tous les groupes possibles à la fois. Il calcule la « marge de manœuvre » (erreur) maximale possible qui pourrait se produire si vous choisissiez n'importe quel groupe, et il construit une clôture juste assez haute pour capturer tous ces groupes.
La métaphore : Imaginez que vous essayiez d'attraper un essaim d'abeilles. La première méthode essaie de les attraper avec une couverture géante et lourde qui couvre tout le ciel. La seconde méthode utilise un filet intelligent et flexible qui s'étend exactement à la taille de l'essaim, ni plus, ni moins.
Le résultat : Cette méthode est beaucoup plus serrée et précise, surtout dans les réseaux « creux » (où les connexions sont rares) ou les réseaux « hétérogènes » (où certains nœuds sont des centres névralgiques et d'autres non). L'article prouve mathématiquement que c'est la largeur la « meilleure possible » que l'on puisse obtenir sans enfreindre les règles de la statistique.

Ce qu'ils ont trouvé dans la vie réelle

Les auteurs ont testé ces outils sur trois scénarios du monde réel :

Réseaux Sociaux (Facebook) : Ils ont examiné si les gens ont tendance à être amis avec d'autres de même genre, de même spécialité ou de même année de promotion.
- Résultat : Lorsqu'ils utilisaient l'ancienne méthode, ils trouvaient des preuves solides pour tout. Lorsqu'ils utilisaient le nouveau « Filet Intelligent » (Outil 2), les preuves des différences de genre et de spécialité disparaissaient (c'était probablement du bruit), mais les preuves pour l'année de promotion et le statut étudiant/professeur restaient fortes.
Réseaux Commerciaux : Ils ont cherché des structures de type « Hub-and-Spoke » (moyeu et rayons, comme un aéroport central avec des vols vers de nombreuses petites villes).
- Résultat : La nouvelle méthode confirme que ces structures de hubs sont réelles et statistiquement significatives, même après avoir corrigé le fait qu'ils ont choisi les hubs en fonction des données.
Marchés de l'Emploi : Ils ont examiné si les travailleurs circulent entre des « segments de marché » spécifiques (comme des secteurs industriels).
- Résultat : L'ancienne méthode suggérait qu'il existait des segments de marché clairs et distincts. La nouvelle méthode montre qu'une fois que l'on tient compte du biais de sélection, les preuves de ces segments distincts disparaissent. Les « marchés » pourraient n'être qu'une illusion créée par l'algorithme de regroupement.

L'essentiel à retenir

Si vous êtes un chercheur observant des données de réseau et que vous utilisez un algorithme pour trouver des groupes (comme des communautés, des marchés ou des hubs), vous ne pouvez pas faire confiance à vos statistiques standards. Vous voyez probablement des motifs qui n'existent pas.

Cet article fournit deux nouvelles règles pour calculer votre confiance :

La règle « Sûre » : Très large, toujours valide, mais souvent trop large pour être utile dans des réseaux complexes.
La règle « Intelligente » : Plus serrée, plus précise, et mathématiquement prouvée comme étant la meilleure largeur possible pour ce type de problèmes.

Les auteurs concluent que l'utilisation de ces corrections peut totalement changer vos conclusions, transformant des découvertes « statistiquement significatives » en « simple bruit aléatoire », ou confirmant qu'une structure est réelle lorsqu'elle était auparavant mise en doute.

Résumé technique : Inférence post-sélection pour la structure de réseau

1. Énoncé du problème

Les chercheurs caractérisent fréquemment les réseaux sociaux et économiques en mesurant la densité des connexions entre des groupes spécifiques d'agents (par exemple, des communautés, des marchés ou des structures cœur-périphérie). Un problème critique survient car ces groupes ne sont que rarement fixés a priori ; ils sont généralement sélectionnés à partir des données du réseau en utilisant des algorithmes de partitionnement (clustering), des mesures de centralité ou l'inspection visuelle.

Les procédures d'inférence conventionnelles qui traitent ces groupes sélectionnés par les données comme étant fixes ne parviennent pas à rendre compte du processus de sélection. Cela conduit à des intervalles de confiance invalides qui surestiment la preuve de structures de réseau spécifiques. Comme le démontre l'exemple motivateur de l'article, un graphe aléatoire d'Erdős–Rényi (qui ne possède aucune structure intrinsèque) peut présenter une structure cœur-périphérie statistiquement significative lorsque les groupes sont sélectionnés via un partitionnement spectral, simplement en raison d'un bruit idiosyncrasique amplifié par l'algorithme de sélection.

L'article traite du problème de la construction d'intervalles de confiance pour la fraction attendue (densité) des connexions entre deux groupes, $\theta(G_1, G_2)$ , qui restent valides même lorsque les groupes $(G_1, G_2)$ sont sélectionnés de manière dépendante des données.

2. Méthodologie et modèle

2.1 Configuration du modèle

Les auteurs définissent un réseau sur deux ensembles d'agents de dimensions $N_1$ et $N_2$ . Le réseau est représenté par une matrice d'adjacence $Y$ où les entrées $Y_{ij}$ sont des variables aléatoires à valeurs réels. Le modèle suppose :

Indépendance conditionnelle : Conditionnellement à un $\sigma$ -champ $\mathcal{H}$ (représentant l'hétérogénéité latente, les caractéristiques des agents ou les covariables de liens), les entrées de $Y$ sont indépendantes mais pas nécessairement identiquement distribuées.
Support borné : Les entrées de $Y$ sont bornées dans $[-B, B]$ .
Structure de réseau : La « structure » est définie par la matrice de moyenne conditionnelle $\mu = E[Y|\mathcal{H}]$ . L'objectif est d'inférer des fonctions de $\mu$ , spécifiquement la densité de groupe :
$\theta(G_1, G_2) = \frac{1}{M_1 M_2} \sum_{i \in [N_1], j \in [N_2]} \mu_{ij} G_{i,1} G_{j,2}$
où $G_{t}$ est un vecteur binaire indiquant l'appartenance au groupe et $M_t$ est la taille du groupe.

2.2 Le défi de l'inférence

Les groupes $G_1$ et $G_2$ sont des vecteurs aléatoires qui peuvent dépendre de $Y$ . L'article soutient que pour garantir la validité pour n'importe quel règle de sélection, il faut parvenir à une couverture simultanée sur l'ensemble de l'indice des assignations de groupes permis $\mathcal{G}_c$ (où les tailles de groupes sont éloignées de zéro).

Exigence : La collection d'intervalles $\{CI(g_1, g_2; \alpha)\}_{(g_1, g_2) \in \mathcal{G}_c}$ doit satisfaire :
$\liminf_{N_1, N_2 \to \infty} P\left( \bigcap_{(g_1, g_2) \in \mathcal{G}_c} \{ \theta(g_1, g_2) \in CI(g_1, g_2; \alpha) \} \right) \geq 1 - \alpha$
Implication : Si la couverture simultanée est atteinte, alors pour toute règle de sélection $(G_1, G_2)$ dépendante des données, l'intervalle résultant est valide post-sélection.

3. Intervalles de confiance proposés

L'article développe deux intervalles de confiance distincts, tous deux extensibles aux grands réseaux mais différant par leurs propriétés théoriques et leur construction.

3.1 Premier intervalle (Stratégie de Berk et al.)

Cet intervalle suit la stratégie de Berk et al. (2013) pour l'inférence post-sélection.

Construction : Il commence par un intervalle conventionnel basé sur une estimation ponctuelle $\hat{\theta}$ et une erreur type, puis gonfle la valeur critique pour assurer une couverture simultanée.
Formule :
$CI_1(g_1, g_2; \alpha) = \hat{\theta}(g_1, g_2) \pm \frac{K_1(\alpha) \hat{\sigma}(g_1, g_2)}{\sqrt{m_1 m_2}}$
où $K_1(\alpha) \approx \sqrt{1.39(N_1 + N_2) - 2\ln(\alpha/2)}$ .
Hypothèses : Nécessite une hypothèse « forte » sur la variance (Hypothèse 2(s)), ce qui implique que la variance moyenne sur n'importe quelle paire de groupes ne s'annule pas trop rapidement.
Performance : Bien que valide, la largeur de cet intervalle peut être sensiblement plus large que nécessaire, particulièrement dans les réseaux creux ou à degrés hétérogènes, car elle croît avec $\sqrt{N_1 + N_2}$ .

3.2 Second intervalle (Concentration de type Talagrand)

Cet intervalle utilise une application novatrice des inégalités de concentration pour les processus empiriques.

Construction : Il borne l'erreur d'estimation maximale $\max_{(g_1, g_2)} |\hat{\theta} - \theta|$ directement en utilisant une inégalité de type Talagrand (Klein et Rio, 2005) combinée à des bornes sur les normes de matrices (Alon et Naor, 2006 ; Gittens et Tropp, 2009).
Formule :
$CI_2(g_1, g_2; \alpha) = \hat{\theta}(g_1, g_2) \pm \frac{\hat{\bar{\tau}} + K_2(\alpha)\hat{V}}{m_1 m_2}$
où $\bar{\tau}$ et $V$ sont des quantités dérivées des normes espérées de la matrice d'erreur $\epsilon$ .
Hypothèses : Nécessite uniquement une hypothèse « faible » sur la variance (Hypothèse 2(w)), qui exclut seulement les réseaux « ultra-creux ».
Performance : Cet intervalle s'adapte à l'hétérogénéité du réseau. Il est démontré qu'il est asymptotiquement optimal en termes de largeur (à un facteur constant près) pour une classe plus large d'intervalles.

4. Résultats clés et contributions

4.1 Validité

Les deux intervalles sont prouvés comme étant universellement valides post-sélection. Ils garantissent une couverture simultanée sur toutes les paires de groupes de tailles relatives non nulles, quel que soit la manière dont les groupes ont été sélectionnés (ex: clustering, centralité ou inspection visuelle).

4.2 Optimalité et Largeur

Une contribution technique centrale est la dérivation d'une borne inférieure asymptotique pour la largeur de tout intervalle de confiance simultanément valide contenant l'estimation ponctuelle.

Proposition 3 : Montre que le premier intervalle ( $CI_1$ ) est optimal à un facteur constant uniquement au sein de la classe restreinte d'intervalles suivant la forme « estimation ponctuelle $\pm$ valeur critique $\times$ erreur type ».
Proposition 4 : Montre que le second intervalle ( $CI_2$ ) atteint le taux de la norme supremum optimal à un facteur constant pour tout intervalle contenant l'estimation ponctuelle.
Comparaison : Dans les réseaux homogènes (ex: Erdős–Rényi), les largeurs de $CI_1$ et $CI_2$ sont comparables. Cependant, dans les réseaux creux ou à degrés hétérogènes (fréquents en recherche économique), $CI_1$ peut être sensiblement plus large que $CI_2$ car $CI_1$ ne parvient pas à s'adapter à la concentration de la variation dans des lignes/colonnes spécifiques de la matrice d'adjacence.

4.3 Illustrations empiriques

L'article démontre l'impact pratique de la correction post-sélection à l'aide de trois ensembles de données :

Capital Social (Facebook100) : Analyse de l'homophilie. Alors que les intervalles conventionnels suggèrent une homophilie significative à travers de nombreuses dimensions (genre, spécialisation, etc.), les intervalles corrigés ( $CI_1$ et $CI_2$ ) montrent que les preuves d'homophilie pour le genre et la spécialisation disparaissent, tandis que les preuves pour l'année de promotion et le statut étudiant/enseignant restent robustes.
Propagation des chocs (Réseau commercial) : Analyse des structures hub-and-spoke (moyeu et rayons). Les preuves d'une structure hub-and-spoke (utilisant le degré, la centralité de vecteur propre et de Bonacich) survivent à la correction, indiquant des caractéristiques structurelles robustes dans les réseaux commerciaux.
Compétition de marché (Transitions de travailleurs) : Analyse de segments de marché disjoints. Les intervalles conventionnels suggèrent une forte preuve de segments de marché disjoints. Cependant, après correction, les intervalles s'étendent jusqu'à zéro, indiquant que la segmentation apparente peut être un artefact de l'algorithme de clustering et du bruit idiosyncrasique plutôt qu'une véritable caractéristique structurelle.

5. Signification et affirmations

L'article affirme être le premier à fournir des garanties de couverture simultanée pour le problème spécifique de l'inférence de la structure de réseau où les groupes dépendent des données.

Universalité : La méthode proposée ne nécessite pas de spécifier un modèle pour le processus de sélection des groupes ou de s'engager dans une règle de sélection spécifique. Elle est valide pour les approches du type « je reconnaîtrai une communauté quand je la verrai ».
Évolutivité (Scalability) : Les deux intervalles sont informatiquement simples et extensibles aux grands réseaux, évitant l'intraitabilité du calcul de la statistique t maximale sur un nombre exponentiel de paires de groupes.
Nécessité pratique : Les illustrations empiriques démontrent que ne pas tenir compte de la sélection peut conduire à des structures « hallucinées » (ex: faux segments de marché) ou à une surestimation des preuves. L'article conclut que les chercheurs doivent faire preuve de prudence lorsqu'ils utilisent des algorithmes de partitionnement pour inférer des segments de marché sans correction post-sélection.
Avancement méthodologique : En établissant que l'intervalle basé sur Talagrand ( $CI_2$ ) est optimal en termes de taux et s'adapte à la parcimonie du réseau, l'article fournit une alternative supérieure aux méthodes traditionnelles d'« inflation ».