🤖 machine learning

Differential Subgroup Discovery: Characterizing Where Two Populations Differ, and Why

Cet article introduit le concept de « sous-groupes différentiels » pour identifier des régions où deux populations présentent des différences de résultats exceptionnelles malgré des caractéristiques similaires, et propose DiffSub, une méthode basée sur le gradient qui découvre ces sous-groupes interprétables afin de révéler les causes structurelles de telles disparités dans divers domaines.

Auteurs originaux : Sascha Xu, Jilles Vreeken

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sascha Xu, Jilles Vreeken

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre une énigme : Pourquoi deux groupes de personnes se comportent-ils différemment ?

Peut-être observez-vous les hommes par rapport aux femmes, des patients recevant un nouveau médicament par rapport à ceux sous placebo, ou deux écoles différentes. Habituellement, lorsque nous observons la vue d'ensemble, nous constatons une tendance générale. Par exemple, « Les hommes développent plus souvent des maladies cardiaques que les femmes ». Mais les auteurs de cet article, Sascha Xu et Jilles Vreeken, soutiennent que se concentrer sur la « moyenne » cache souvent la véritable histoire. Parfois, la différence s'inverse, disparaît ou devient énorme selon qui exactement vous observez.

Ils appellent leur solution Découverte de Sous-groupes Différentiels, et ils ont construit un outil appelé DiffSub pour trouver les réponses.

Voici comment cela fonctionne, décomposé avec des analogies simples :

1. Le Problème : Le Piège de la « Moyenne »

Imaginez que vous observez une foule de personnes pour voir qui est plus grand.

L'Ancienne Méthode (Découverte de Sous-groupes Standard) : Vous cherchez un groupe de personnes qui sont exceptionnellement grandes par rapport à l'ensemble de la foule. Vous pourriez trouver un groupe de joueurs de basket.
La Nouvelle Méthode (Découverte de Sous-groupes Différentiels) : Vous ne cherchez pas qui est grand par rapport à la foule. Vous cherchez un groupe où le Groupe A est grand, mais le Groupe B est petit, même s'ils semblent exactement identiques à tous les autres égards.

L'Exemple des Maladies Cardiaques :
Dans l'article, ils examinent les maladies cardiaques.

Global : Les hommes ont des taux plus élevés que les femmes.
La Surprise : Si vous observez les personnes âgées de 45 à 55 ans, l'écart est énorme. Mais si vous observez les personnes âgées de 56 à 62 ans, l'écart se réduit.
L'Objectif : Les auteurs veulent trouver la « recette » spécifique de traits (comme l'âge, le cholestérol et la fréquence cardiaque) qui explique pourquoi l'écart change. Ils ont trouvé un groupe spécifique : Les personnes plus jeunes ayant un cholestérol élevé et une fréquence cardiaque élevée. Dans ce groupe spécifique, les hommes et les femmes ont le même risque élevé de maladie cardiaque. L'ancienne méthode aurait manqué cela car, globalement, les hommes restent le groupe « plus à risque ».

2. Les Trois Règles d'une Bonne Piste

Pour s'assurer de ne pas simplement trouver du bruit aléatoire, les auteurs ont établi trois règles pour qu'un « Sous-groupe Différentiel » soit valide. Imaginez ces règles comme les trois ingrédients d'un gâteau parfait :

Exceptionnalité (L'Effet « Waouh ») : À l'intérieur de ce groupe spécifique, les deux populations doivent se comporter de manière très différente. Si les hommes et les femmes ont le même taux de maladie cardiaque dans ce groupe, c'est une différence « waouh » par rapport au reste du monde.
Généralité (La Règle « Pas Trop Petit ») : Le groupe ne peut pas être composé de seulement deux personnes. Il doit être assez grand pour compter. Si vous trouvez un sous-groupe de seulement 3 personnes, ce n'est pas un motif ; c'est un hasard. Le groupe doit représenter une part significative des deux populations.
Indépendance des Covariables (La Règle du « Combat Équitable ») : C'est la partie la plus importante. La différence entre les deux groupes doit être causée par qui ils sont (par exemple, être homme ou femme), et non par d'autres facteurs cachés.
- Analogie : Imaginez que vous trouvez un groupe où les hommes sont plus grands que les femmes. Mais ensuite, vous réalisez : « Oh, attendez, les hommes de ce groupe sont tous des joueurs de basket professionnels, et les femmes sont toutes des jockeys ». Ce n'est pas une différence de genre ; c'est une différence de « joueur de basket ».
- DiffSub tente de trouver des groupes où le facteur « joueur de basket » est éliminé. Il s'assure que les hommes et les femmes du groupe sont similaires en taille, poids et alimentation, de sorte que s'il existe encore une différence, elle est réellement due à l'identité du groupe elle-même.

3. L'Outil : DiffSub (Le Projecteur Magique)

Les auteurs ont créé un programme informatique appelé DiffSub.

Fonctionnement : Imaginez un immense projecteur balayant une pièce sombre remplie de personnes. La lumière peut changer de forme (se rétrécissant vers des âges spécifiques, des niveaux de cholestérol, etc.).
Le Processus : Le programme teste des millions de formes différentes. Il se demande : « Si je dirige la lumière sur seulement les personnes ayant un cholestérol élevé et une fréquence cardiaque élevée, les hommes et les femmes semblent-ils différents ? »
Les Mathématiques : Il utilise une méthode spéciale de « gradient » (comme faire rouler une balle en bas d'une colline pour trouver le point le plus bas) pour trouver rapidement la meilleure forme satisfaisant les trois règles ci-dessus. Il ne devine pas ; il optimise mathématiquement la recherche.

4. Pourquoi Cela Compte (Le « Pourquoi » et le « Où »)

L'article affirme que cet outil aide à répondre à deux questions :

Où les différences se produisent-elles ? (Par exemple, « Cela ne se produit que chez les personnes ayant un cholestérol élevé. »)
Pourquoi se produisent-elles ? (Par exemple, « Parce que dans ce groupe spécifique, les facteurs de risque biologiques l'emportent sur la différence de genre. »)

5. Tests Réels (Ce Qu'ils Ont Trouvé)

Les auteurs ont testé DiffSub sur trois types de données :

Données Factices : Ils ont créé des simulations informatiques où ils connaissaient la réponse à l'avance. DiffSub a trouvé les bonnes réponses à chaque fois, surpassant les autres outils existants.
Données Médicales (COVID-19) : Ils ont examiné les données de patients des hôpitaux de New York.
- Les outils standards ont trouvé un groupe de « personnes plus jeunes et en bonne santé » ayant des taux de mortalité globalement faibles.
- DiffSub a trouvé un groupe d'hommes non noirs ayant un diabète mais aucun antécédent d'accident vasculaire cérébral. Dans ce groupe spécifique, les hommes mouraient beaucoup plus souvent que les femmes. C'est une insight spécifique et exploitable que les outils standards ont manquée.
Erreurs de Modèles : Ils l'ont testé sur des modèles informatiques (comme un calculateur de score de crédit). Ils ont trouvé un groupe de personnes (ceux ayant un revenu moyen à élevé mais sans doctorat) où un modèle était très erroné, mais un autre modèle était correct. Cela aide les ingénieurs à savoir exactement où corriger leur logiciel.

Résumé

La Découverte de Sous-groupes Différentiels est comme un microscope haute puissance pour les données. Au lieu de simplement dire « Le Groupe A est différent du Groupe B », il zoome pour trouver la tranche spécifique de réalité où cette différence est la plus dramatique, s'assure que la comparaison est équitable, et vous indique exactement quelle combinaison de traits cause la division.

L'article conclut que cette méthode nous aide à passer de généralisations vagues à des explications précises et compréhensibles de pourquoi les populations diffèrent.

1. Définition du Problème

L'article aborde le défi consistant à identifier où et pourquoi deux populations distinctes (par exemple, hommes vs femmes, traitement vs témoin, Modèle A vs Modèle B) diffèrent au sein d'un espace de caractéristiques.

Limitation des Méthodes Existantes : La Découverte de Sous-groupes (SD) traditionnelle trouve des groupes au comportement exceptionnel par rapport à la moyenne globale d'une seule population (par exemple, "un groupe avec des taux élevés de maladies cardiaques"). L'Extraction d'Ensembles de Contraste trouve des différences de caractéristiques entre des groupes mais n'analyse pas les différences de résultats. L'analyse de l'équité quantifie les disparités mais manque souvent d'explications interprétables du "pourquoi".
Le Vide : Les méthodes existantes échouent à identifier des sous-groupes où la différence dans la distribution de la variable cible entre deux populations est maximale, tout en contrôlant les covariables de confusion.
Objectif : Découvrir un Sous-groupe Différentiel — un sous-ensemble d'individus des deux populations qui partagent des caractéristiques similaires mais présentent une différence exceptionnelle dans la distribution de la variable cible entre les deux groupes.

2. Méthodologie : DiffSub

Les auteurs proposent DiffSub, un cadre d'optimisation basé sur le gradient pour découvrir des sous-groupes différentiels interprétables dans des données tabulaires.

A. Définition Formelle d'un Sous-groupe Différentiel

Un sous-groupe différentiel $s$ est défini par trois desiderata :

Exceptionnalité ( $E$ ) : Les distributions de la cible $P_0(Y)$ et $P_1(Y)$ (pour les groupes $A=0$ et $A=1$ ) au sein du sous-groupe doivent différer significativement. Cela est mesuré à l'aide d'une métrique de divergence $D$ (par exemple, la Divergence de Jensen-Shannon).
$E(s) = D(P_{0,s}(Y), P_{1,s}(Y))$
Généralité ( $G$ ) : Le sous-groupe doit être soutenu par une portion significative des deux populations pour garantir la fiabilité statistique. Cela est mesuré par la moyenne géométrique du support dans les deux groupes.
$G_\gamma(s) = (\mathbb{E}[s(X)|A=0] \cdot \mathbb{E}[s(X)|A=1])^{\gamma/2}$
Indépendance des Covariables ( $C$ ) : La différence observée ne doit pas être entraînée par des variations d'autres caractéristiques $X$ au sein du sous-groupe. Le sous-groupe doit capturer toutes les informations pertinentes sur $Y$ de telle sorte que $Y$ soit conditionnellement indépendant de $X$ étant donné $s(X)$ et $A$ .
$C(s) = \mathbb{E}_{X|A,s} [D(P(Y|X), P(Y))]$
Minimiser $C(s)$ garantit que la différence est attribuable à l'appartenance au groupe $A$ elle-même, et non à des caractéristiques de confusion.

B. Objectif d'Optimisation

Le problème est formulé comme une optimisation contrainte :
$\max_{s \in \mathcal{S}} G_\gamma(s) \cdot E(s) - \lambda C(s)$
Où $\lambda$ contrôle le compromis entre la recherche d'une forte différence et la garantie d'une indépendance des covariables (interprétabilité causale).

C. Implémentation de l'Algorithme (DiffSub)

Apprentissage de Règles Différentiable : Au lieu d'une recherche discrète, DiffSub utilise un apprenant de règles souple (basé sur le cadre SyFlow). Il représente la fonction d'appartenance au sous-groupe $s(x)$ $s (x)$ comme une conjonction logique différentiable de seuils de caractéristiques.
- Les caractéristiques sont encodées comme des conditions sigmoïdes douces : $\pi(x_j; a_j, b_j)$ .
- Une moyenne harmonique pondérée agrège ces conditions.
- Les paramètres (seuils $a_j, b_j$ et poids $w_j$ ) sont appris par descente de gradient.
Recuit de Température : Pour passer d'une approximation souple et différentiable à une règle dure et interprétable, un paramètre de température $t$ est recuit d'une valeur élevée vers zéro pendant l'entraînement.
Estimateurs :
- Exceptionnalité : Utilise l'estimation de densité par noyau (KDE) ou des distributions empiriques pour estimer $P(Y|A, s)$ .
- Dépendance des Covariables : Utilise des Forêts Aléatoires (ou d'autres régresseurs) pour estimer les distributions conditionnelles locales $P(Y|X, A)$ et calcule la divergence par rapport à la distribution du sous-groupe.

3. Contributions Clés

Formalisation des Sous-groupes Différentiels : L'article introduit une définition rigoureuse distinguant les sous-groupes différentiels de la découverte de sous-groupes standard, en mettant l'accent sur la comparaison de deux populations au sein d'un espace de caractéristiques localisé.
Interprétation Causale : Les auteurs établissent des conditions théoriques selon lesquelles les sous-groupes différentiels admettent une interprétation causale :
- Études Observationnelles : Si la dépendance aux covariables est minimisée ( $C(s)=0$ ), le sous-groupe capture la distribution interventionnelle (Effet Moyen Local du Traitement).
- Groupes Démographiques : La méthode isole l'Effet Direct Contrôlé (CDE) en neutralisant les chemins indirects à travers des caractéristiques médiatrices.
- Médiation Complète : Prouve théoriquement que si un modèle de médiation complète tient ( $A \to X \to Y$ ), aucun sous-groupe ne peut simultanément avoir $C(s)=0$ et $E(s)>0$ . Trouver un tel sous-groupe réfute la médiation complète.
Algorithme DiffSub : Une approche évolutive, de bout en bout et différentiable qui produit des règles lisibles par l'homme (par exemple, "Âge $\in$ (36, 63) ET Cholestérol $\in$ (235, 500)") sans nécessiter de prétraitement restrictif ni d'heuristiques de recherche discrète.

4. Résultats Expérimentaux

Les auteurs ont évalué DiffSub sur des benchmarks synthétiques et des ensembles de données réels (Médical, Effets de Traitement, Audit de Modèles).

Benchmarks Synthétiques :
- DiffSub a constamment surpassé les lignes de base (PySubgroup, SyFlow, UpliftTree, HonestTree) dans les contextes observationnels, randomisés et démographiques.
- Les méthodes SD standard ont échoué car elles optimisaient la déviation par rapport à la moyenne globale, et non la différence entre les groupes.
- UpliftTree et HonestTree ont eu des difficultés dans les contextes démographiques où des effets indirects ont faussé les contrastes de traitement.
- Évolutivité : DiffSub évolue linéairement avec la dimensionnalité des caractéristiques et quadratiquement avec la taille de l'échantillon (en raison du KDE), gérant efficacement $N=10\,000$ .
Études de Cas Réelles :
- Mortalité COVID-19 : DiffSub a identifié un sous-groupe (Non-Noir, Diabète, Pas d'accident vasculaire cérébral/Hypertension) où la mortalité masculine dépassait significativement la mortalité féminine. La SD standard a trouvé des groupes avec une mortalité globale faible mais aucune disparité de genre.
- Effets de Traitement (IHDP) : DiffSub a obtenu une Précision dans l'Estimation des Effets Hétérogènes (PEHE) inférieure à celle des méthodes basées sur des arbres (HonestTree, CausalForest) et des performances comparables à celles des modèles boîte noire, confirmant que la régularisation des covariables est cruciale pour une estimation précise de l'effet.
- Audit de Modèles : Appliqué à l'ensemble de données Adult, DiffSub a trouvé un sous-groupe (Non-Doctorat, Plus-values Moyennes-Hautes) où un modèle de Régression Logistique avait un taux d'erreur de 20 % contre 3 % pour le Gradient Boosting, révélant où les modèles linéaires échouent par rapport aux modèles non linéaires.

5. Signification et Impact

Pont entre Analyse Descriptive et Causale : Ce travail transforme la découverte de sous-groupes d'un outil purement descriptif de recherche de motifs en une méthode capable d'identifier les moteurs causaux des disparités de population.
Interprétabilité : En produisant des règles logiques plutôt que des scores boîte noire, DiffSub permet aux praticiens (cliniciens, décideurs politiques, scientifiques des données) de comprendre pourquoi une disparité existe (par exemple, des combinaisons spécifiques de facteurs de risque).
Polyvalence : Le cadre est agnostique au processus de génération de données (observationnel, randomisé ou démographique), le rendant applicable aux essais cliniques, à l'audit d'équité et au débogage de modèles.
Génération d'Hypothèses : Les auteurs soulignent que les sous-groupes découverts servent d'hypothèses solides pour de nouvelles investigations, en particulier dans les contextes médicaux et des sciences sociales où l'établissement de la causalité nécessite une expertise du domaine et une validation externe.

En résumé, DiffSub fournit une solution mathématiquement fondée, efficace et interprétable au problème de la caractérisation des différences de population, offrant une nouvelle perspective pour analyser l'hétérogénéité dans les données.