A multi-objective evolutionary approach to neural architecture search for clinical tabular classification: balancing predictive performance and model compactness

Imaginez que vous essayez de construire le robot chef parfait pour diagnostiquer des maladies cardiaques ou repérer des tumeurs. Vous voulez que ce chef soit incroyablement intelligent (haute précision) mais aussi assez minuscule pour tenir dans une poche (faible complexité). Habituellement, quand les gens essaient de construire ces chefs IA, ils ne font qu'ajouter de plus en plus d'ingrédients et d'outils, pensant que « plus c'est gros, mieux c'est ». Mais cet article soutient que c'est une mauvaise idée. Il suggère que rendre un modèle trop grand, c'est comme remplir un sac à dos avec tellement de livres qu'il devient trop lourd à porter, même si les livres sont intéressants. Le résultat ? Un robot maladroit qui trébuche sur ses propres pieds et échoue à fonctionner sur des appareils du monde réel.

Les auteurs, Ivan, Menhai et Safa, ont décidé d'essayer une approche différente. Au lieu de simplement deviner ou de rendre le modèle plus grand, ils ont créé un « jeu évolutatif » numérique appelé MOGA-NAS. Voyez cela comme un concours de survie du plus apte pour des cerveaux informatiques.

Les règles du jeu : deux objectifs à la fois
Dans la plupart des jeux, on essaie seulement d'obtenir le score le plus élevé. Dans ce jeu, les joueurs doivent jongler avec deux objectifs simultanément :

1. Être intelligent : Obtenir le score le plus élevé lors d'un test médical (mesuré par quelque chose appelé score F1).
2. Être petit : Utiliser le moins de « pièces » (paramètres) possible.

L'article soutient qu'essayer d'optimiser un seul objectif (comme simplement être intelligent) conduit à des modèles hypertrophiés et inefficaces. Au lieu de cela, ils ont utilisé un système de arbitre spécial appelé NSGA-II. Ce arbitre ne choisit pas seulement un vainqueur unique ; il trouve tout un « front de Pareto ». Imaginez un menu où vous pouvez choisir un modèle qui est super intelligent mais un peu lourd, ou un autre qui est légèrement moins intelligent mais qui tient dans votre poche. L'objectif est de donner aux médecins un menu de choix afin qu'ils puissent choisir celui qui convient à leur matériel spécifique.

Les armes secrètes
Pour que cette évolution fonctionne, l'équipe a inventé trois astuces géniales :

• La « Mutation Neurone-vers-Sous-réseau » : Imaginez qu'une seule brique Lego dans votre robot décide soudainement de se transformer en une petite machine autonome avec ses propres engrenages. Cela permet au robot d'ajouter de la complexité uniquement là où c'est nécessaire, plutôt que de rendre l'ensemble plus grand.
• Le « Guide d'Importance » : Au lieu de choisir au hasard quelle partie du robot changer, le système vérifie quelles parties font réellement le plus gros du travail. C'est comme un entraîneur disant à un joueur : « Ne change pas tes chaussures, change ta technique de course », parce que les chaussures ne sont pas le problème.
• Le « Code 8-bits » : Ils ont utilisé une façon très compacte d'écrire le design du robot (comme utiliser un code court au lieu d'une longue dissertation). L'article suggère que cela agit comme un « régularisateur », ce qui est une façon sophistiquée de dire que cela force le robot à rester simple et l'empêche de mémoriser les réponses du test au lieu d'apprendre la leçon.

Les résultats : Petit mais puissant
L'équipe a testé cette méthode sur cinq ensembles de données médicales différents, allant de dossiers de maladies cardiaques à des données sur le cancer du sein. Ils ont mené l'expérience 15 fois (en utilisant trois points de départ aléatoires différents et cinq divisions de données différentes) pour s'assurer que les résultats n'étaient pas seulement dus à la chance.

Voici ce qu'ils ont trouvé :

• Performance : Sur quatre des cinq ensembles de données, leurs robots évolués ont obtenu les scores moyens les plus élevés. Sur le cinquième (Wisconsin Breast Cancer), ils ont égalé la meilleure méthode traditionnelle (une Machine à Vecteurs de Support ou SVM). L'article précise que sur cet ensemble de données spécifique, la différence était si faible qu'elle était statistiquement indiscernable.
• Taille : C'est la grande victoire. Les modèles qu'ils ont trouvés sont minuscules — contenant seulement environ 100 à 480 paramètres. Comparez cela à d'autres méthodes qui en utilisent souvent des milliers. L'article note que cela représente « un à deux ordres de grandeur de moins ».
• Fiabilité : Lorsqu'ils ont vérifié les mathématiques (en utilisant un test statistique appelé test de rang signé de Wilcoxon apparié), ils ont constaté que dans 61 cas sur 65, leur méthode était statistiquement meilleure que les autres.

Ce qu'ils excluent explicitement
L'article est très prudent sur ce que cette méthode n'est pas.

• Elle n'est pas une solution miracle qui résout tout. Les auteurs déclarent explicitement qu'ils ne prétendent pas détenir un « nouveau état de l'art » en termes de puissance brute. Sur certains ensembles de données, l'amélioration était une « égalité statistique », et non une victoire massive.
• Elle n'est pas gratuite. L'article soutient que bien que le robot final soit petit et rapide, le processus de construction (la recherche) prend du temps. Cela prend « de l'ordre de quelques minutes par pliure » sur un ordinateur standard, ce qui est beaucoup plus lent que l'entraînement d'un modèle simple qui prend « bien moins d'une seconde ». Si vous êtes pressé et ne pouvez pas attendre que l'évolution se termine, une méthode classique et pré-ajustée pourrait encore être le meilleur choix.
• Elle n'est pas prouvée pour les très grands ensembles de données. L'article limite explicitement ses affirmations aux ensembles de données « de petite à moyenne taille » (le plus grand possédait environ 1 151 instances). Ils admettent qu'ils ne savent pas encore si cela fonctionne sur des données massives avec des millions d'enregistrements.

L'essentiel
L'article suggère que l'utilisation de cette recherche évolutive multi-objectif est un « compromis favorable et reproductible ». Cela offre un moyen d'obtenir des prédictions médicales de haut niveau sans construire un modèle géant et encombrant. C'est comme trouver un couteau suisse qui est aussi tranchant qu'un couteau de chef de taille réelle mais qui tient dans votre poche.

Cependant, les auteurs sont honnêtes sur le coût : vous devez payer un « budget de recherche » (temps et puissance de calcul) à l'avance pour trouver ce design parfait et compact. Si vous avez le temps de lancer l'évolution, vous obtenez un modèle minuscule et efficace. Si vous avez besoin d'une réponse instantanée, les méthodes traditionnelles pourraient encore être votre meilleur atout. L'étude suggère que cette approche est particulièrement précieuse pour les contextes cliniques où les appareils peuvent être petits ou à puissance limitée, mais cela reste une suggestion basée sur ces tests spécifiques, et non une loi universelle pour toute l'IA médicale.