Résumé technique : Expliquer le changement de concept par l'attribution de caractéristiques interprétables (SGShift)

1. Formulation du problème

L'article aborde le changement de concept, un type spécifique de dérive de distribution où la distribution conditionnelle de l'étiquette étant donné les caractéristiques, $P(Y|X)$, change entre un domaine source et un domaine cible. Contrairement à la dérive de covariables (où $P(X)$ change mais $P(Y|X)$ reste constant) ou à la dérive d'étiquettes (où $P(Y)$ change), le changement de concept implique que la relation fondamentale entre les caractéristiques et les résultats a été altérée. Cela conduit souvent à une dégradation sévère des performances des modèles d'apprentissage automatique entraînés sur le domaine source lorsqu'ils sont appliqués au domaine cible.

Le défi central est le diagnostic : identifier un ensemble sparse de caractéristiques responsables de ce changement sans connaissance préalable de la structure des données, des graphes causaux ou des mécanismes de changement spécifiques. Les méthodes existantes reposent souvent sur des structures prédéfinies (par exemple, des graphes causaux), réutilisent des outils d'explication (par exemple, SHAP) qui peuvent ne pas identifier les moteurs spécifiques des changements de $P(Y|X)$, ou souffrent d'une accumulation d'erreurs lors de l'utilisation d'approches « plugin » qui ajustent des modèles séparés pour les domaines source et cible avant de les comparer.

2. Méthodologie : SGShift

Les auteurs proposent SGShift, un cadre qui reformule le diagnostic du changement de concept comme une tâche de sélection de caractéristiques sparse. Au lieu d'ajuster des modèles séparés pour les domaines source et cible et de les comparer, SGShift traite le modèle source $h_S(X)$ comme un décalage fixe et apprend un terme de correction sparse $\hat{\Delta}(X)$ en utilisant uniquement les données du domaine cible.

Le problème d'optimisation central est formulé comme suit :
$$\min_{\hat{\Delta}} \mathbb{E}_T [\ell(h_S(X) + \hat{\Delta}(X), Y)] \quad \text{sous contrainte } \hat{\Delta} \text{ est } k\text{-sparse}$$
où $\ell$ est une fonction de perte (par exemple, la vraisemblance négative).

L'article détaille trois instantiations spécifiques de ce cadre :

3.1. SGShift (Régularisation L1)

Cette variante utilise une correction par Modèle Additif Généralisé (GAM) avec une régularisation $\ell_1$.

• Modèle : $g(\mathbb{E}_T[Y|X]) = h_S(X) + \phi(X)^\top \delta$, où $\phi$ est une application de base (par défaut, l'identité standardisée).
• Objectif : Minimise la perte pénalisée sur le domaine cible : $\hat{\delta} = \arg\min_{\delta} \{ L(\delta) + \lambda \|\delta\|_1 \}$.
• Mécanisme : La pénalité $\ell_1$ force le vecteur de correction $\delta$ à être sparse, identifiant un petit sous-ensemble de caractéristiques qui, une fois ajustées, permettent de retrouver les performances du domaine cible.

3.2. SGShift-A (Absorption pour la mauvaise spécification)

Cette variante aborde le problème où le modèle source $h_S$ lui-même peut être mal spécifié (c'est-à-dire qu'il ne s'ajuste pas parfaitement aux données source).

• Mécanisme : Elle introduit un terme de correction partagé $\omega$ (absorbant la mauvaise spécification commune aux deux domaines) et une correction spécifique au cible $\delta$ (attribuée au changement de concept).
• Objectif : Minimise une somme pondérée des pertes source et cible avec une régularisation hiérarchique ($\lambda_\omega < \lambda_\delta$) pour s'assurer que les erreurs partagées sont absorbées avant d'attribuer les changements à des caractéristiques spécifiques.

3.3. SGShift-K (Knockoffs pour le contrôle des découvertes fausses)

Pour adresser le risque de faux positifs dans la sélection de caractéristiques, en particulier avec des caractéristiques corrélées ou de petites tailles d'échantillon, cette variante intègre le cadre des Knockoffs Model-X.

• Mécanisme : Elle génère des caractéristiques « knockoff » synthétiques qui préservent la structure de corrélation des caractéristiques originales mais sont conditionnellement indépendantes de la réponse.
• Sélection : Elle ajuste un modèle de correction en utilisant à la fois les caractéristiques originales et les knockoffs. Les statistiques d'importance des caractéristiques ($W_j$) sont calculées en comparant les caractéristiques originales à leurs homologues knockoff.
• Contrôle : Elle emploie la sélection de stabilité et des constructions de knockoffs dérandomisés par e-value pour fournir un contrôle rigoureux du taux de fausses découvertes (FDR) et du taux d'erreur par famille (PFER).

3. Contributions clés

1. Cadre novateur : SGShift est la première méthode explicitement conçue pour diagnostiquer le changement de concept en apprenant une mise à jour sparse d'un modèle source sans exiger de structures causales prédéfinies ou d'hypothèses d'étiquettes uniquement non étiquetées.
2. Garanties théoriques : Les auteurs fournissent des garanties théoriques pour la cohérence de l'estimation sous des hypothèses de haute dimension. Plus précisément, ils prouvent que SGShift peut retrouver les coefficients de correction sparse et que SGShift-K contrôle les taux de fausses découvertes sous les hypothèses Model-X.
3. Robustesse aux violations de la sparsité : Bien que la méthode suppose la sparsité, les résultats empiriques montrent qu'elle reste efficace même dans des scénarios de changement « dense » où de nombreuses caractéristiques changent, agissant comme une procédure robuste de classement de caractéristiques régularisée.
4. Efficacité de l'échantillon : La méthode est conçue pour fonctionner avec très peu d'échantillons dans le domaine cible, la rendant adaptée à l'apprentissage en ligne ou aux scénarios où les données cibles sont rares.

4. Résultats expérimentaux

Les auteurs ont évalué SGShift sur des simulations semi-synthétiques (utilisant de véritables ensembles de données de santé : Réadmission pour le diabète, Hospitalisations pour la COVID-19 et SUPPORT2) et des études de cas réels.

Benchmarks synthétiques

• Changements sparses : Les variantes de SGShift (en particulier SGShift-K) ont considérablement surpassé les bases de référence (Diff, WhyShift, SHAP), atteignant des AUC généralement >0,90 contre ~0,70–0,80 pour les bases de référence.
• Changements denses : Même lorsque l'hypothèse de sparsité était violée (60 %+ de caractéristiques dérivées), SGShift a maintenu de hautes performances (AUC >0,80), tandis que les bases de référence ont subi des baisses de performances significatives.
• Scénarios complexes : SGShift a démontré une robustesse dans des contextes de haute dimension (500 caractéristiques), de forte corrélation entre caractéristiques ($\rho=0,9$) et de faible rapport signal/bruit, surpassant constamment les bases de référence.
• Taille de l'échantillon : SGShift-K a pu identifier plus de 50 % des caractéristiques dérivées avec seulement 100 échantillons cibles et plus de 85 % avec 500 échantillons.

Applications réelles

• Récupération des performances : Sur des ensembles de données réels, SGShift a réussi à récupérer environ 90 % de la perte de performance dans le domaine cible en utilisant un ensemble sparse de caractéristiques (souvent <1/3 des caractéristiques totales, parfois une seule). En revanche, la correction de la dérive de covariables ou de la dérive d'étiquettes seule (via la pondération par propension inverse) a récupéré au maximum 15–25 % de la perte, confirmant la présence d'un véritable changement de concept.
• Étude de cas en santé (COVID-19) : Appliqué aux données pré et post-Omicron, SGShift a identifié « l'insuffisance respiratoire » comme la caractéristique dérivée principale avec un coefficient négatif. Cela correspond à la littérature clinique notant l'association réduite d'Omicron avec les maladies respiratoires basses sévères par rapport à Delta.
• Étude de cas en génétique (Lupus) : Appliqué aux données d'expression génique à travers les ascendances (européenne vs asiatique), SGShift a identifié 6 gènes spécifiques contribuant à la baisse de performance d'un modèle de prédiction du Lupus. Ces gènes correspondent à des différences biologiques connues (eQTL, variants de répétition et signatures d'interféron) entre les ascendances.

5. Importance et affirmations

L'article affirme que SGShift fournit une approche principée, interprétable et statistiquement rigoureuse pour diagnostiquer le changement de concept. Son importance réside dans :

• Actionnabilité : En identifiant un ensemble sparse de caractéristiques, il offre des insights directs aux développeurs de modèles pour corriger les pipelines de données sous-jacents, ajouter de nouvelles caractéristiques ou réentraîner les modèles efficacement.
• Insight scientifique : La méthode peut révéler des changements scientifiquement pertinents (par exemple, de nouveaux facteurs de risque viraux ou des différences d'ascendance génétique) qui pourraient autrement être obscurcis par les défaillances des modèles boîte noire.
• Généralité : Elle fonctionne sans exiger de connaissances préalables sur les structures causales ou les mécanismes de changement spécifiques, la rendant applicable à un large éventail de problèmes de données tabulaires.

Les auteurs concluent que la dégradation des performances dans le domaine cible pour les tâches tabulaires est souvent bien approximée par une mise à jour sparse, et que SGShift identifie efficacement les moteurs de ce changement, permettant une meilleure maintenance des modèles et une découverte scientifique.