🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

Cet article propose d'intégrer une couche de sélection de caractéristiques entraînable aux modèles additifs et de base neuronaux afin de surmonter les goulots d'étranglement computationnels dans les contextes de haute dimensionnalité, permettant ainsi une modélisation efficace des interactions entre caractéristiques tout en maintenant l'interprétabilité et des performances compétitives.

Auteurs originaux : Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'issue d'un événement complexe, comme la guérison d'un patient ou l'approbation d'un prêt. Vous disposez d'une liste massive d'indices (caractéristiques) pour vous aider à décider.

Le Problème : La « Boîte Noire » vs La Boîte « Trop Lourde »
Dans le monde de l'Intelligence Artificielle, il existe deux manières principales de résoudre ces énigmes :

La Boîte Noire (Réseaux de Neurones Profonds) : Elles sont incroyablement intelligentes et précises, mais elles fonctionnent comme un tour de magie. Vous insérez des données, une réponse sort, mais personne ne sait comment la machine a pris cette décision. Dans des domaines comme la médecine ou le droit, cela est dangereux car vous avez besoin de comprendre le raisonnement.
La Boîte Transparente (Modèles Additifs Généralisés) : Elles sont comme une équipe de spécialistes. Chaque spécialiste examine un seul indice (par exemple, « l'âge » ou « le revenu ») et attribue un score. La réponse finale est simplement la somme de tous ces scores. C'est facile à comprendre car on voit exactement comment chaque indice a contribué au résultat. Cependant, les boîtes transparentes traditionnelles sont souvent trop peu intelligentes pour gérer les relations complexes entre les indices.

La Solution Existante : NAM et NBM
Des chercheurs ont créé les « Modèles Additifs Neuronaux » (NAM) et les « Modèles de Base Neuronaux » (NBM). Considérez cela comme une mise à niveau de la « Boîte Transparente ». Au lieu de simples spécialistes, on utilise de minuscules cerveaux d'IA intelligents (réseaux de neurones) pour examiner chaque indice. Cela les rend à la fois intelligents et transparents. On peut toujours voir comment chaque indice influence le résultat.

Le Goulot d'Étranglement : La Crise du « Trop de Clues »
C'est ici que l'ancienne méthode échoue.

Le Problème d'Interaction : Parfois, les indices fonctionnent mieux ensemble. Par exemple, « l'Âge » et « le Revenu » peuvent prédire quelque chose de mieux lorsqu'ils sont examinés ensemble plutôt que séparément. Pour faire cela, les anciens modèles essayaient de créer un minuscule cerveau d'IA pour chaque paire possible d'indices.
Le Cauchemar Mathématique : Si vous avez 1 000 indices, il y a près de 500 000 paires possibles. Essayer d'entraîner 500 000 minuscules cerveaux d'IA en même temps, c'est comme essayer d'embaucher 500 000 employés pour travailler dans un petit bureau. Cela fait planter l'ordinateur, prend un temps infini et devient impossible à gérer.
Le Mur de la Haute Dimensionnalité : Lorsque les ensembles de données deviennent énormes (des milliers d'indices), les anciens modèles cessent simplement de fonctionner. Ils tombent en panne de mémoire et de temps.

La Nouvelle Solution : Le « Sélecteur Intelligent »
Les auteurs de cet article proposent une correction simple mais puissante : la Sélection de Caractéristiques (Feature Selection).

Imaginez que vous êtes un détective avec un immense tableau de preuves. Au lieu d'essayer d'analyser chaque pièce de preuve à la fois (ce qui est impossible), vous engagez un Sélecteur Intelligent.

Comment cela fonctionne : Le modèle commence avec un « menu » de tous les indices possibles. Pendant l'entraînement, il apprend à attribuer un « poids » à chaque indice.
Le Filtre : Il utilise un filtre mathématique spécial (appelé entmax) qui agit comme un tamis. Il conserve les indices les plus importants et « éteint » efficacement ceux qui sont inutiles.
Le Résultat : Au lieu d'essayer de construire 500 000 cerveaux d'IA pour chaque paire d'indices, le modèle ne construit des cerveaux que pour les 50 ou 500 indices et paires les plus importants.

Les Avantages

Vitesse : Parce que le modèle ignore les données inutiles, il s'exécute beaucoup plus rapidement. L'article montre que si les anciens modèles plantent sur des jeux de données avec plus de 1 000 indices, les nouveaux modèles (appelés NAM-FS et NBM-FS) les gèrent sans problème.
Interactions : Cela permet au modèle d'observer des paires d'indices travaillant ensemble (comme « Âge + Revenu ») sans être submergé par les mathématiques.
Transparence : Même s'il sélectionne les meilleurs indices, il reste transparent. Vous pouvez toujours voir quels indices ont été choisis et comment ils ont influencé la décision finale.

Les Résultats
Les auteurs ont testé cela sur six jeux de données réels contenant des milliers d'indices.

Performance : Leurs nouveaux modèles sont aussi précis, voire plus performants, que les meilleurs modèles « transparents » existants.
Efficacité : Ils sont nettement plus rapides et peuvent gérer des tailles de données que les anciens modèles ne pouvaient même pas toucher.
Comparaison : Ils ont également prouvé que laisser le modèle apprendre quels indices choisir pendant l'entraînement est préférable à essayer de choisir les indices manuellement avant de commencer.

En Résumé
Cet article présente une manière de créer des modèles d'IA intelligents et transparents capables de gérer des quantités massives de données. Il y parvient en apprenant à l'IA à ignorer le bruit pour se concentrer uniquement sur les indices et les relations les plus importants, résolvant ainsi le problème des modèles qui sont soit trop stupides pour être utiles, soit trop lourds pour fonctionner.

Problème
Les réseaux de neurones profonds (DNN) offrent de hautes capacités de représentation mais manquent souvent d'interprétabilité, ce qui limite leur utilisation dans des domaines à haute fiabilité comme la médecine et le droit. Bien que les modèles additifs généralisés (GAM) et leurs variantes neuronales, le Neural Additive Model (NAM) et le Neural Basis Model (NBM), offrent un équilibre entre interprétabilité et performance, ils sont confrontés à des problèmes importants de scalabilité. Les architectures standard de NAM et NBM assignent un réseau de neurones (NN) distinct à chaque caractéristique d'entrée. Lorsqu'ils sont étendus pour capturer les interactions par paires de caractéristiques (créant des GA2M), l'approche naïve nécessite de préparer des fonctions de forme pour toutes les paires de caractéristiques possibles. Cela entraîne une complexité computationnelle de $O(D^2)$ , où $D$ est le nombre de caractéristiques. Par conséquent, l'entraînement de ces modèles sur des ensembles de données à haute dimension (par exemple, $D > 1\,000$ ) devient intraitable en raison d'une consommation excessive de mémoire et de coûts de calcul. De plus, la gestion et la visualisation de milliers de fonctions de forme compromettent l'interprétabilité que les GAM sont censés fournir.

Méthodologie
Les auteurs proposent d'incorporer un mécanisme de sélection de caractéristiques différentiable directement dans l'entraînement de NAM et NBM pour résoudre ces goulots d'étranglement. Les modèles proposés, nommés NAM-FS et NBM-FS, introduisent une couche de sélection de caractéristiques qui sélectionne dynamiquement un nombre prédéfini de caractéristiques simples ( $K_1$ ) et de paires de caractéristiques ( $K_2$ ) pendant le processus d'entraînement.

Les composants techniques clés incluent :

Sélection différentiable : Au lieu d'une sélection de caractéristiques discrète, qui n'est pas différentiable, les auteurs utilisent entmax (une version généralisée de softmax et de sparsemax) pour relaxer le processus de sélection. Cela permet au modèle d'optimiser les poids de sélection des caractéristiques via la descente de gradient stochastique (SGD) de manière de bout en bout.
Recuit de température : Un paramètre de température $\tau$ est introduit et soumis à un recuit pendant l'entraînement. À mesure que $\tau$ diminue, la sortie de l'entmax se rapproche d'un vecteur "one-hot", fixant ainsi les caractéristiques sélectionnées pour les fonctions de forme.
Architecture : Les modèles remplacent l'ensemble complet de $D$ (ou $D(D-1)/2$ ) fonctions de forme par un ensemble plus petit et fixe de $K_1$ réseaux de neurones univariés et $K_2$ réseaux de neurones bivariés. L'entrée de ces réseaux est une combinaison pondérée des caractéristiques originales déterminée par les poids de sélection appris.
Optimisation de l'implémentation : Les auteurs ont optimisé l'implémentation des couches NAM en utilisant torch.bmm (produit matriciel-matrice par lots) dans PyTorch, atteignant une accélération de 2 à 6 fois par rapport aux implémentations précédentes de convolution 1-D.

Contributions clés

Intégration de la sélection de caractéristiques : Le papier introduit un mécanisme de sélection de caractéristiques simple et de bout en bout pour NAM et NBM, permettant leur application à des ensembles de données à haute dimension là où les versions vanilla échouent.
Scalabilité avec les interactions : La méthode permet l'incorporation efficace des interactions par paires de caractéristiques (style GA2M) même dans des contextes de haute dimension en limitant le nombre de termes d'interaction à un $K_2$ gérable.
Efficacité computationnelle : Les modèles proposés réduisent considérablement le nombre de paramètres entraînables et d'opérations de multiplication-accumulation (MACs), ce qui se traduit par un débit plus élevé par rapport aux versions vanilla de NAM, NBM et leurs variantes basées sur les interactions (NA2M, NB2M).
Validation de la performance : Les auteurs démontrent que NAM-FS et NBM-FS atteignent des performances meilleures ou comparables aux GAM et GA2M de pointe sur des tâches de classification à haute dimension, tout en surpassant les modèles NAM/NBM vanilla qui reposent sur des caractéristiques pré-sélectionnées.

Résultats
Des expériences ont été menées sur six ensembles de données de classification à haute dimension (allant de 561 à 5 000 caractéristiques).

Débit : Les modèles NA2M et NB2M vanilla ne pouvaient pas s'exécuter sur des ensembles de données de plus de 100 caractéristiques en raison des contraintes de mémoire. En revanche, NAM-FS et NBM-FS ont maintenu un débit stable même avec jusqu'à 50 000 caractéristiques.
Précision : Sur des ensembles de données à haute dimension (par exemple, guillermo avec 4 296 caractéristiques et Gisette avec 5 000 caractéristiques), NAM-FS(500) et NBM-FS(500) ont obtenu la précision la plus élevée parmi tous les GAM testés.
Interactions : Les modèles incorporant des interactions par paires (NA2M-FS et NB2M-FS) avec $K_2=500$ ont surpassé les GA2M de pointe (EB2M et NODE-GA2M) sur plusieurs ensembles de données.
Efficacité de la sélection de caractéristiques : Comparés à des NAM/NBM entraînés sur des caractéristiques pré-sélectionnées via l'information mutuelle, les méthodes de sélection de caractéristiques de bout en bout proposées ont généralement produit une précision plus élevée, démontrant l'efficacité de l'apprentissage conjoint de la sélection de caractéristiques avec les paramètres du modèle.

Signification et affirmations
Le papier affirme qu'en intégrant la sélection de caractéristiques dans la boucle d'entraînement, NAM et NBM peuvent être mis à l'échelle vers des ensembles de données à haute dimension sans sacrifier leur avantage central : l'interprétabilité. Les auteurs soulignent que leur méthode est simple mais efficace, permettant la visualisation d'un nombre gérable de fonctions de forme tout en capturant des interactions complexes entre les caractéristiques. Ils notent que bien que les modèles soient très efficaces pour les données de haute dimension, leurs avantages diminuent dans les contextes de faible dimension (moins de 100 caractéristiques). Ce travail positionne ces modèles comme une solution pratique pour les applications exigeant à la fois une haute précision prédictive et une interprétabilité globale dans des domaines complexes et de haute dimension.

Articles similaires