MedicalRec: Medical recommender system for image classification without retraining

Résumé Technique : MedicalRec : Système de recommandation médicale pour la classification d'images sans réentraînement

Énoncé du problème
L'adoption rapide de l'apprentissage profond (DL) dans la classification d'images médicales a introduit des défis environnementaux et computationnels significatifs. L'entraînement de modèles de pointe nécessite une énergie substantielle, entraînant des émissions de carbone élevées et des déchets électroniques. Une inefficacité majeure dans les flux de travail actuels est le processus de « tâtonnement » (essai et erreur) que les chercheurs et les praticiens subissent pour sélectionner le modèle optimal pour un ensemble de données d'images médicales spécifique. Ce processus implique l'entraînement et l'évaluation de dizaines de modèles pour identifier le meilleur performeur, une pratique qui exacerbe l'empreinte carbone et consomme un temps et des ressources excessifs. De plus, l'absence d'un benchmark ou d'un protocole standardisé pour recommander des modèles basés sur les caractéristiques des ensembles de données force ce cycle répétitif et gourmand en ressources.

Méthodologie
Pour répondre à ces défis, les auteurs proposent MedicalRec, un système de recommandation basé sur les Transformers conçu pour prédire le modèle d'apprentissage automatique le plus adapté pour une tâche de classification d'images médicales donnée sans nécessiter de réentraînement.

1. Construction du jeu de données (MedicalRec-Bench) :
   Le fondement de l'étude est un nouveau jeu de données, MedicalRec-Bench, compilé à partir de 3 000 articles scientifiques dans le domaine de la classification d'images médicales. Ce jeu de données contient plus de 5 000 enregistrements de modèles testés à travers diverses tâches, notamment la classification du cancer de la peau, des tumeurs, des plaies, du cancer du sein et de l'IRM.

   • Caractéristiques : Le jeu de données inclut des métadonnées telles que les titres, les résumés, les mots-clés et des caractéristiques statistiques (ex: taille de l'échantillon, dimensions de l'image, nombre de classes) ainsi que des mesures de performance (Précision, Rappel, F1, AUC).
   • Versions : En raison de la difficulté liée à la non-publication par les auteurs originaux (résultant en des valeurs manquantes significatives), le jeu de données a été publié en quatre versions avec des nombres de caractéristiques variables : MedicalRec I (5 caractéristiques), II (9), III (11) et IV (18).
   • Prétraitement des données : Les valeurs manquantes (représentées par 0.0) ont été imputées en utilisant les moyennes de colonnes. Les données textuelles (noms de modèles) ont été intégrées via BERT, tandis que les caractéristiques numériques ont été utilisées directement.

2. Architecture du modèle :
   MedicalRec est formulé comme un problème de recommandation séquentielle où :

   • Utilisateur/Scénario : Une tâche de classification spécifique définie par les caractéristiques du jeu de données (ex: taille de l'image, nombre de classes).
   • Item : Une architecture de modèle spécifique (ex: ResNet-50, VGG-16).
   • Score : La mesure de performance (principalement la Précision/Accuracy).

   Le modèle utilise une architecture Transformer inspirée de BERT4Rec. Il emploie :

   • Couche d'intégration (Embedding Layer) : Convertit les caractéristiques d'entrée en vecteurs continus.
   • Encodeur Transformer : Composé de 12 couches, chacune possédant 12 têtes d'auto-attention, pour capturer les dépendances entre les caractéristiques d'entrée et la performance du modèle.
   • Placements positionnels (Positional Embeddings) : Ajoutés pour préserver l'information temporelle/séquentielle.
   • Couche de sortie : Une fonction Softmax classe les recommandations de modèles de manière probabiliste.
   • Objectif d'entraînement : Le modèle est entraîné à l'aide d'une tâche de prédiction d'item masqué (tâche Cloze), où une proportion d'items d'entrée est masquée, et le modèle les prédit à l'aide d'un réseau feed-forward à deux couches avec une activation GELU.

Contributions clés

• MedicalRec-Bench : La création du premier jeu de données publiquement disponible spécifiquement conçu pour la recommandation de modèles en classification d'images médicales, agrégeant des données de 3 000 articles.
• Modèle MedicalRec : Le développement d'un système de recommandation basé sur les Transformers qui associe les caractéristiques des jeux de données aux architectures de modèles optimales, éliminant le besoin d'un réentraînement exhaustif.
• Évaluation complète : Une évaluation rigoureuse du modèle proposé contre 12 modèles de référence (incluant le Filtrage Collaboratif, le Content-Based, SVD, LSTM, GRU, IndRNN, LLM et des modèles axés sur l'équité/Fairness-aware) à travers quatre configurations de jeux de données.

Résultats
L'étude a évalué les modèles en utilisant la Précision@K, le Rappel@K, le F1@K, le Gain Cumulé Décounté (DCG) et le HitRate@K.

• Performance : Le modèle MedicalRec proposé a obtenu une performance supérieure sur toutes les versions de jeux de données (I–IV). Dans la configuration la plus complète (MedicalRec IV), il a atteint un HitRate@100 de 75,50 %, un Rappel de 9,80 % et une Précision de 10,50 %.
• Comparaison : MedicalRec a systématiquement surpassé les méthodes classiques (Filtrage Collaboratif, SVD) et les bases de l'apprentissage profond (LSTM, GRU, IndRNN). Bien que les modèles « Fair » et « Multi-modal » aient montré des résultats compétitifs dans des métriques spécifiques (ex: DCG@5), MedicalRec a maintenu les scores les plus élevés, particulièrement dans les listes de recommandation plus longues (D@50 à D@100).
• Études d'ablation :
  • Fonctions d'activation : ReLU s'est avéré produire les scores F1@100 les plus élevés à travers toutes les versions de jeux de données.
  • Dropout : Les taux de dropout optimaux variaient selon la complexité du jeu de données (0,7 pour MedicalRec I ; 0,5 pour II, III et IV).
• Signification statistique : Une validation croisée K-fold (5-fold) sur MedicalRec IV a confirmé la stabilité du modèle, avec un HitRate@100 variant entre 75,22 % et 76,50 %. Les tests T (valeurs P) ont indiqué que la différence de performance entre MedicalRec et tous les autres modèles était statistiquement significative (P < 0,05).

Signification et affirmations
L'article affirme que MedicalRec offre une solution pratique pour réduire l'impact environnemental du développement de l'IA médicale. En recommandant le modèle optimal basé sur les caractéristiques du jeu de données, le système vise à éliminer la nécessité pour les chercheurs d'entraîner plusieurs modèles candidats, économisant ainsi de l'énergie et réduisant les émissions de carbone. Les auteurs soulignent qu'il s'agit du premier travail utilisant les caractéristiques statistiques de la littérature existante pour construire un système de recommandation de modèles pour l'imagerie médicale. Le jeu de données et l'implémentation sont rendus publics pour faciliter la recherche future, les auteurs notant que les travaux futurs pourraient traiter des défis tels que les valeurs de départ à zéro, l'imputation de données manquantes et le déséquilibre des classes.