Résumé technique : Modèle additif profond parcimonieux avec interactions (SDAMI)

Énoncé du problème

L'article aborde le défi de la régression dans les régimes petit-$n$, grand-$k$ (peu d'observations, nombreux prédicteurs), un contexte courant dans des domaines scientifiques comme les neurosciences, où l'interprétabilité est aussi cruciale que la précision prédictive. Bien que l'apprentissage profond excelle dans les contextes riches en données, les réseaux de neurones profonds (DNN) standards échouent souvent dans les scénarios à faible échantillon en raison du surajustement et du manque d'interprétabilité. À l'inverse, les modèles additifs parcimonieux (SAM) traditionnels offrent une interprétabilité mais capturent principalement des structures univariées, manquant souvent les signaux pilotés par les interactions, en particulier lorsque les interactions existent sans effets principaux associés forts (interactions pures).

Les méthodes interprétables existantes reposent souvent sur des contraintes d'hérédité (exigeant que les effets principaux soient présents avant qu'une interaction puisse être sélectionnée), ce qui limite leur capacité à détecter des interactions pures ou d'ordre supérieur. Les auteurs identifient un manque de méthodes capables de modéliser flexiblement des interactions complexes tout en maintenant une interprétabilité au niveau des effets et en évitant l'infeasibilité computationnelle des recherches exhaustives d'interactions (qui évoluent comme $\binom{k}{2}$).

Méthodologie : Cadre SDAMI

Les auteurs proposent le Modèle additif profond parcimonieux avec interactions (SDAMI), un cadre en trois étapes conçu pour découvrir et estimer les effets principaux et les interactions sans imposer de contraintes d'hérédité. L'innovation centrale est le principe de l'empreinte d'effet, qui postule que les interactions d'ordre supérieur laissent des traces marginales détectables sur les variables constitutives, même en l'absence d'effets principaux forts.

La stratégie en trois étapes

1. Étape 1 : Dépistage par empreinte d'effet

   • Objectif : Identifier un ensemble candidat de variables ($\hat{S}$) incluant à la fois les vrais effets principaux et les variables impliquées dans des interactions (variables empreintes).
   • Mécanisme : La méthode ajuste un modèle additif parcimonieux augmenté utilisant SpAM (Modèles additifs parcimonieux) avec des bases B-splines. Elle dépiste les variables pour lesquelles la fonction estimée $\hat{f}_j \neq 0$.
   • Base théorique : Basé sur la définition de l'empreinte d'effet ($m_j(x) = E[f(X_I) | X_j = x]$), les auteurs prouvent qu'une variable laisse une empreinte marginale non nulle sauf si elle satisfait des conditions de symétrie rares et dégénérées (par exemple, une antisymétrie parfaite dans des entrées indépendantes et centrées sur la moyenne). Cela permet de réduire l'espace de recherche de $\binom{k}{2}$ paires à $\binom{s}{2}$, où $s \ll k$.

2. Étape 2 : Décomposition par Lasso de groupe

   • Objectif : Démêler les effets principaux des interactions au sein de l'ensemble dépisté $\hat{S}$.
   • Mécanisme : La méthode construit des expansions de bases groupées pour les variables dépistées. Elle forme des blocs univariés pour les effets principaux et des blocs de produit tensoriel par paires pour les interactions. Une pénalité Lasso de groupe est appliquée pour sélectionner des groupes de coefficients.
   • Résultat : Cela produit deux ensembles : $\hat{M}$ (effets principaux sélectionnés) et $\hat{I}$ (paires d'interactions sélectionnées). L'analyse théorique confirme que cette étape atteint une cohérence de sélection au niveau des effets (récupération oracle) sans contraintes d'hérédité.

3. Étape 3 : Régression profonde contrainte

   • Objectif : Estimation flexible et non linéaire des effets sélectionnés.
   • Mécanisme : Des sous-réseaux profonds dédiés sont assignés aux composantes sélectionnées :
     • Un sous-réseau univarié $NN^{(j)}$ pour chaque $j \in \hat{M}$.
     • Un sous-réseau multivarié partagé $NN^{(I)}$ pour l'ensemble d'interactions $\hat{I}$.
   • Contraintes : La parcimonie et l'interprétabilité sont imposées via des contraintes basées sur la norme sur les poids de la première couche ($\|W^{(1)}\|_\infty \leq \kappa \|f\|$). Si un effet est jugé nul (basé sur l'étape 2), les poids correspondants sont élagués. Cela garantit que la structure du réseau s'aligne sur la structure d'effet récupérée.

Contributions clés

1. Le cadre SDAMI : Une approche en trois étapes, fondée sur des principes, pour la modélisation additif-plus-interaction parcimonieuse dans des contextes de haute dimension qui ne nécessite pas de contraintes d'hérédité.
2. Le principe de l'empreinte d'effet : Une dérivation théorique montrant que les variables porteuses d'interactions laissent des traces marginales détectables (empreintes) dans des conditions générales, permettant la découverte d'interactions pures. Les auteurs prouvent que les empreintes ne disparaissent que dans des conditions de symétrie de mesure nulle.
3. Garanties théoriques :
   • Théorème 4.1 : Caractérise la détectabilité des empreintes, prouvant qu'elles sont robustes au bruit et à la corrélation en pratique.
   • Théorème 4.2 : Établit la cohérence de sélection au niveau des effets pour les étapes de dépistage et de décomposition, prouvant que la méthode récupère l'ensemble actif réel avec une probabilité tendant vers un.
   • Théorèmes 4.3 et 4.4 : Prouvent la convergence de la prédiction en probabilité et fournissent des bornes de prédiction à échantillon fini pour l'estimateur final.
4. Performance empirique : Démonstration d'une performance supérieure par rapport aux modèles interprétables de l'état de l'art (par exemple, NAM, GAMI-Net, NODE-GA2M) et aux DNN standards dans des simulations et des benchmarks du monde réel.

Résultats expérimentaux

Les auteurs ont évalué SDAMI sur six scénarios synthétiques (variations de la force des effets principaux, du chevauchement et de la présence d'interactions pures) et six jeux de données réels (incluant des données fMRI V1, de diabète et de durée de vie de puces).

• Précision prédictive : SDAMI a constamment atteint l'erreur quadratique moyenne (RMSE) la plus faible ou presque la plus faible dans tous les contextes. Dans le Cas 6 (Interactions pures), où les modèles contraints par l'hérédité (NAM, GAMI-Net) ont échoué de manière significative (RMSE ~0,97 contre 0,46 pour SDAMI), SDAMI a réussi à récupérer la structure.
• Sélection de variables : SDAMI a maintenu un taux de vrais positifs (TPR) élevé tout en atteignant un taux de faux positifs (FPR) proche de zéro. En revanche, des références comme LASSONET et SODA ont montré des chutes abruptes de sensibilité pour les cas d'interactions uniquement ou ont introduit des découvertes spuriées.
• Application réelle :
  • fMRI V1 : SDAMI a identifié des surfaces d'interaction interprétables entre des caractéristiques Gabor, révélant des réponses de cellules complexes non additives qui s'alignent avec des hypothèses biologiques.
  • Durée de vie des puces et Diabète : Le modèle a réussi à identifier des interactions biologiquement et physiquement significatives (par exemple, entre l'IMC et les triglycérides sériques) tout en filtrant les caractéristiques bruyantes.
• Robustesse : Des expériences supplémentaires dans le matériel complémentaire ont montré que SDAMI reste compétitif sous des covariables corrélées, un bruit hétéroscédastique et des contextes de réponse binaire.

Signification et affirmations

L'article présente SDAMI comme un cadre structuré de dépistage et d'estimation spécifiquement adapté à la découverte d'interactions en haute dimension où la recherche exhaustive est infeasible.

• Interprétabilité vs Flexibilité : Les auteurs affirment que SDAMI comble avec succès le fossé entre la flexibilité de l'apprentissage profond et l'interprétabilité des modèles additifs. En séparant les effets principaux et les interactions dans des sous-réseaux dédiés, il fournit des visualisations au niveau des effets (fonctions composantes) qui soutiennent la génération d'hypothèses scientifiques.
• Surmonter l'hérédité : Une signification primordiale est la capacité à détecter des interactions pures (où aucun effet principal n'existe) sans s'appuyer sur l'hypothèse d'hérédité, une limitation de nombreuses méthodes parcimonieuses structurées existantes.
• Utilité scientifique : Le cadre est présenté comme un outil de découverte scientifique dans des domaines comme les neurosciences, où comprendre comment les variables interagissent est aussi important que la précision de la prédiction. Les auteurs soulignent que SDAMI n'est pas un remplacement universel pour tous les modèles interprétables, mais une solution spécialisée pour le régime petit-$n$, grand-$k$ avec des structures d'interactions complexes.

Les auteurs reconnaissent des limites, notant que le principe d'empreinte peut s'affaiblir sous une symétrie exacte (par exemple, prédicteurs binaires) et que des travaux futurs pourraient explorer les interactions d'ordre supérieur et l'évolutivité computationnelle via un dépistage basé sur SIS.