🤖 machine learning

Parameter-efficient Prompt Tuning of Vision Foundation Model With Adaptive Focal Loss for Interpretable MCI Screening

Ce document propose un cadre efficace en termes de paramètres qui adapte un modèle DINOv2-Small gelé à l'aide de jetons de prompts apprenables et d'une perte focale adaptative afin de permettre un dépistage intrinsèquement interprétable et performant du trouble cognitif léger à partir de tests de dessin neuropsychologiques, tout en surmontant la rareté des données et le déséquilibre des classes.

Auteurs originaux : Javad Khoramdel, Farhad Hoseyni, Amirhossein Nikoofard

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Javad Khoramdel, Farhad Hoseyni, Amirhossein Nikoofard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que les indices soient cachés dans les lignes tremblantes d'un dessin. C'est le monde du Trouble Cognitif Léger (TCL), un signe avant-coureur sournois indiquant que le cerveau commence peut-être à ralentir, souvent avant l'apparition de la démence proprement dite. Les médecins repèrent généralement cela en observant comment les gens dessinent des choses simples comme des horloges ou des cubes, mais c'est un jeu délicat. La frontière entre un dessin « sain » et un dessin « problématique » est souvent floue, comme essayer de faire la différence entre un sourire légèrement de travers et une grimace.

Pour résoudre cette affaire, les scientifiques utilisent l'Intelligence Artificielle (IA), plus précisément un type appelé Vision Transformers. Considérez ces modèles d'IA comme des étudiants super intelligents qui ont lu des millions de livres et vu des milliards d'images du monde réel. Ils sont excellents pour repérer des motifs, mais apprendre à comprendre les dessins médicaux est généralement comme essayer d'apprendre à un grand maître d'échecs à jouer aux dames en réécrivant entièrement son cerveau. Cela demande énormément de temps, d'argent et de puissance de calcul. Cet article pose une question plus simple : pouvons-nous apprendre à cette IA super intelligente à repérer les indices dans un dessin sans réécrire son cerveau, simplement en lui donnant quelques indices spéciaux ?

Les chercheurs derrière cette étude, Javad Khoramdel et son équipe, disent « oui ». Ils ont construit un système ingénieux et léger qui agit comme un détective doté de trois paires de lunettes différentes. Au lieu de forcer l'IA à tout réapprendre à partir de zéro, ils ont gardé le « cerveau » de l'IA gelé (inchangé) et ont simplement ajouté trois petits « jetons de prompt » personnalisés. Vous pouvez voir ces jetons comme des petits post-it que l'IA colle sur le dessin avant de l'examiner. Une note dit : « Cherchez les erreurs d'horloge », une autre dit : « Vérifiez les coins du cube », et la troisième dit : « Scannez les trajectoires des tracés ».

La magie opère parce que l'IA utilise ces notes pour focaliser son attention. Lorsque l'IA regarde un dessin d'horloge, la « note de l'horloge » lui indique exactement quelles parties de l'image sont les plus importantes, créant une carte thermique qui montre aux médecins exactement où l'IA s'inquiète. C'est un événement majeur car, habituellement, l'IA est une « boîte noire » qui donne simplement une réponse sans expliquer pourquoi. Ici, l'explication est intégrée directement au système.

Mais il y a un piège : les données sont désordonnées. Le jeu de données qu'ils ont utilisé compte beaucoup plus de personnes en bonne santé que de personnes malades (environ 651 personnes saines contre 267 avec un TCL) et beaucoup de personnes se situent juste sur la ligne de démarcation, ce qui les rend difficiles à classer. Pour gérer cela, l'équipe a inventé une « perte focale adaptée au MoCA » spéciale. Imaginez cela comme un enseignant qui ne se contente pas de noter un test comme « réussi » ou « échoué ». Au lieu de cela, si le score d'un élève est juste à la limite, l'enseignant lui accorde une attention supplémentaire et essaie de comprendre plus intensément ses difficultés spécifiques. L'IA fait la même chose, apprenant à prêter une attention particulière aux cas confus proches de la ligne de diagnostic.

Les résultats sont prometteurs. Lorsqu'ils ont testé leur système, celui-ci a identifié correctement les patients atteints de TCL avec un score (F1) de 0,641, ce qui est nettement supérieur à un système beaucoup plus lourd et complexe appelé ResViT (qui a obtenu 0,531). Le nouveau système a également atteint une AUC de 0,795, une mesure de sa capacité à séparer les personnes saines des malades. Plus important encore, il a accompli tout cela en n'entraînant que 1,19 million de paramètres, une fraction minuscule des 32 millions de paramètres requis par les anciens modèles plus lourds.

L'équipe a également testé ce qui se passe si l'on retire leurs astuces spéciales. Ils ont découvert que si l'on retirait le « modulateur de probabilité MoCA » (la partie qui se concentre sur les cas limites), les performances du système chutaient de manière notable. Cela suggère que la gestion de la « zone grise » du diagnostic est cruciale. Ils ont également constaté que l'utilisation de trois « notes » distinctes (une pour chaque type de dessin) fonctionnait mieux qu'en utilisant une seule note générique pour tous les dessins, prouvant que l'IA doit traiter chaque tâche de dessin comme un puzzle unique.

En bref, cet article suggère que nous n'avons pas besoin de construire des cerveaux d'IA massifs et coûteux pour détecter le déclin cognitif précoce. Au lieu de cela, nous pouvons prendre une IA pré-entraînée intelligente, lui donner quelques indices simples et spécifiques à la tâche, et lui apprendre à regarder les bons endroits avec une attention particulière sur les cas complexes et limites. C'est une façon plus légère, plus rapide et plus transparente d'aider les médecins à détecter les premiers signes de perte de mémoire, transformant un mystère médical complexe en un puzzle soluble.

Résumé technique : Ajustement de paramètres efficaces par prompting d'un modèle de fondation de vision avec une perte focale adaptative pour le dépistage interprétable du MCI

1. Énoncé du problème

Le trouble cognitif léger (MCI - Mild Cognitive Impairment) représente un stade critique de déclin cognitif précédant la maladie d'Alzheimer. La détection automatisée à partir de tests de dessin neuropsychologiques (spécifiquement le test du dessin de l'horloge, le test de copie du cube et le test de tracé de chemin) fait face à trois contraintes fondamentales :

Rareté et déséquilibre des données : Les ensembles de données sont souvent restreints avec des distributions de classes asymétriques (par exemple, un ratio de 2,4:1 entre les contrôles sains et les patients MCI).
Ambiguïté diagnostique : Les frontières cliniques sont incertaines, les scores MoCA se regroupant densément autour du seuil de 25, rendant la classification binaire stricte sous-optimale.
Limites des méthodes existantes : Les approches de pointe actuelles reposent sur des architectures hybrides (combinant par exemple ResNet et ViT) entièrement ajustées et coûteuses en calcul, qui manquent d'efficacité de paramètres. De plus, l'interprétabilité de ces modèles est généralement une approximation post-hoc (par exemple, l'attention rollout ou Grad-CAM) plutôt qu'une propriété architecturale intrinsèque.

2. Méthodologie

Les auteurs proposent un cadre efficace en termes de paramètres qui adapte un modèle de fondation de vision DINOv2-Small gelé via le Prompt Tuning et une nouvelle perte focale adaptée au MoCA.

2.1 Architecture : Prompt Tuning efficace en paramètres

Au lieu d'ajuster l'intégralité du backbone, le modèle maintient les poids de DINOv2-Small gelés. L'adaptation est réalisée par :

Tokens de prompt spécifiques à la modalité : Trois jetons de prompt apprenables distincts sont introduits, un pour chaque tâche de dessin (horloge, cube, tracé). Chaque jeton est initialisé aléatoirement et optimisé de bout en bout.
Agrégation par attention croisée (Cross-Attention) : Chaque jeton spécifique à la tâche agit comme une requête (query) dans une couche d'attention croisée partagée, s'attendant aux jetons de patch de l'image correspondante traitée par le backbone gelé. Cela produit des plongements conditionnés à la tâche ( $e_k$ ) qui résument les patchs spatiaux les plus informatifs pour cette fonction cognitive spécifique.
Fusion par attention de requête apprenable : Les trois plongements de tâches sont agrégés via un vecteur de requête apprenable qui exerce une attention sur les plongements. Cela produit un vecteur de patient fusionné et un ensemble de poids d'importance des modalités ( $\alpha$ ), indiquant quel test de dessin a le plus influencé la décision finale.
Interprétabilité intrinsèque : Les poids d'attention croisée des jetons de prompt vers les patchs d'image servent de cartes de saillance spatiale directes, ne nécessant aucun calcul de rétro-propagation ou approximation post-hoc supplémentaire.

2.2 Fonction de perte : Perte focale adaptée au MoCA

Pour traiter l'ambiguïté diagnostique et le déséquilibre des classes, les auteurs introduisent une fonction de perte unifiée qui généralise les approches classiques de labels souples (soft-labels). Elle intègre :

Ancre souple (Soft Anchor) : Convertit le score continu du MoCA ( $m_i$ ) en une cible souple ( $s_i$ ) en utilisant une fonction sigmoïde centrée sur le seuil clinique ( $C=25,5$ ).
Modulateur de probabilité MoCA : Un modulateur novateur qui repondère la perte en fonction de l'écart entre la probabilité prédite par le modèle ( $p_i$ ) et l'espérance dérivée du MoCA ( $s_i$ ). Les échantillons où la prédiction diverge de l'espérance basée sur le score sont repondérés à la hausse.
Pondération adaptative par échantillon : Corrige les fréquences inégales de sujets à travers les classes de scores MoCA (pondération adaptative par bin de MoCA), garantissant que les cas rares ou limites ne soient pas ignorés.

2.3 Stratégies d'entraînement

Le cadre emploie plusieurs stratégies d'augmentation et d'échantillonnage ciblées :

Inversion d'image : Inversion des intensités de pixels pour aligner les dessins sur fond blanc avec les statistiques des images naturelles du DINOv2 pré-entraîné.
Échantillonnage de batch équilibré par classe : Garantit une représentation égale des classes dans chaque batch.
Mixup préservant le type : Interpolation des images et des labels au sein du même type de dessin pour maintenir la cohérence clinique.
Échange de dessins de voisinage MoCA : Remplacement d'un ou deux dessins dans un triplet par ceux d'un sujet ayant un score MoCA similaire pour augmenter la diversité structurelle.

3. Contributions clés

Classification interprétable et efficace en paramètres : Le cadre utilise un modèle de fondation gelé avec seulement 1,19 million de paramètres entraînables (moins de 6 % du total). Il génère des cartes de saillance spatiale et des scores d'importance de modalité comme produits directs du processus d'inférence.
Perte focale adaptée au MoCA : Une formulation de perte unifiée qui généralise strictement les méthodes antérieures de labels souples en incorporant des scores cognitifs continus dans la cible d'entraînement, la modulation de la perte et la pondération adaptative.
Augmentation ciblée : Stratégies spécifiquement conçues pour traiter le fossé photométrique (inversion d'image) et la diversité limitée des ensembles de données neuropsychologiques (échange de dessin, Mixup préservant le type).

4. Résultats expérimentaux

Le modèle a été évalué sur un ensemble de données de 918 sujets (651 sains, 267 MCI) via une validation croisée à cinq plis stratifiés.

Performance : L'architecture proposée a atteint un score F1 de la classe MCI de 0,641 ± 0,026 et une AUC de 0,795 ± 0,024.
Comparaison : Elle a surpassé la baseline ResViT (un modèle hybride ResNet50/ViT) de 0,110 en F1 de la classe MCI, malgré l'utilisation de nettement moins de paramètres entraînables.
Études d'ablation :
- Le retrait du modulateur de probabilité MoCA a provoqué la chute de performance la plus importante (F1MCI diminué de 0,017), confirmant son rôle critique dans la gestion de l'ambiguïté des frontières.
- Les jetons de prompt spécifiques à la tâche se sont révélés supérieurs aux jetons partagés ou aux approches basées uniquement sur le jeton CLS pour la sensibilité au MCI, car ils permettent au modèle de se spécialiser dans les déficits propres à chaque tâche plutôt que de les moyenner.
- Le prompt tuning a surpassé les stratégies LoRA et Top Tuning, atteignant le meilleur rappel pour le MCI avec le moins de paramètres supplémentaires.

5. Signification et affirmations

L'article soutient que la complexité architecturale (empilement de multiples réseaux larges) est inutile pour cette tâche. Au lieu de cela, un modèle de fondation de vision auto-supervisé, lorsqu'il est adapté via un prompt tuning léger et spécifique à la tâche, fournit une base supérieure.

Les affirmations clés concernant la signification incluent :

Efficacité : La méthode atteint des performances de pointe avec une fraction des paramètres entraînables requis par le fine-tuning complet ou les architectures hybrides.
Interprétabilité intrinsèque : Contra\text{à} les travaux antérieurs qui reposent sur des approximations post-hoc, ce cadre fournit des cartes de saillance spatiale et des scores d'importance de modalité comme conséquences structurelles inhérentes à l'architecture.
Gestion de l'ambiguïté : La perte focale adaptée au MoCA traite efficacement l'incertitude inhérente près des frontières cliniques en exploitant des scores cognitifs continus plutôt que des labels binaires rigides.
Pertinence clinique : La capacité d'identifier quelle modalité de dessin spécifique (horloge, cube ou tracé) a conduit à une prédiction offre un niveau d'interprétabilité potentiellement utile pour le support à la décision clinique, bien que les auteurs notent que cela nécessite une validation future par des experts.

Les auteurs maintiennent une position modeste, reconnaissant des limites telles que l'utilisation d'un seul ensemble de données provenant d'une seule institution, l'exclusion des données cinématiques temporelles (vitesse/pression du stylo) et la nécessité d'une validation externe des poids de modalité par rapport aux experts cliniques.