⚡ electrical engineering

Robustness of transferability estimation metrics for medical imaging

Cet article étudie la robustesse des métriques d'estimation de la transférabilité en imagerie médicale, révélant que leur performance est hautement sensible aux variations de la composition du jeu de données cible et des métriques d'évaluation, ce qui entraîne finalement un faible accord entre les classements prédits et réels des modèles.

Auteurs originaux : Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Publié 2026-08-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Niclas Claßen, Théo Sourget, Dovile Juodelyte, Rob van der Goot, Veronika Cheplygina

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître différents types de fruits. Vous avez un robot super intelligent qui sait déjà trier les pommes, les oranges et les bananes à partir d'une immense bibliothèque de photos. C'est ce qu'on appelle l'Apprentissage par Transfert (Transfer Learning) : vous prenez un modèle entraîné sur une grande tâche (la « source ») et vous essayez de le réutiliser pour une nouvelle tâche plus petite (la « cible »), comme trier des fruits tropicaux rares et aux formes étranges. Cela permet d'économiser du temps et de l'énergie car vous n'avez pas besoin d'apprendre au robot en partant de zéro.

Mais voici la partie délicate : vous avez toute une étagère de robots pré-entraînés différents. L'un a été entraîné sur les fruits, un autre sur les voitures, et un troisième sur l'art abstrait. Lequel devriez-vous choisir pour vous aider à trier vos fruits tropicaux ? Pour répondre à cela, les scientifiques ont inventé des mesures d'Estimation de la Transférabilité (TE metrics). Considérez ces mesures comme des « boules de cristal » ou des « testeurs de compatibilité ». Ils tentent de prédire, sans effectuer le travail difficile du réentraînement, quel robot pré-entraîné fonctionnera le mieux sur votre nouvelle tâche. L'objectif est de gagner du temps et de l'argent en choisissant le vainqueur avant même de commencer la course.

Cependant, dans le monde de l'imagerie médicale — où nous utilisons l'IA pour repérer des maladies dans des radiographies ou des examens cutanés — les choses deviennent compliquées. Les données médicales sont souvent rares et déséquilibrées (il y a beaucoup plus de scanners sains que de scanners malades). Les chercheurs utilisent ces « boules de cristal » pour choisir la meilleure IA médicale, mais ils ont remarqué quelque chose d'étrange : parfois, la boule de cristal dit que le Robot A est le meilleur, et d'autres fois, elle dit que c'est le Robot B. Cette publication pose une question simple et lancinante : ces boules de cristal sont-elles réellement fiables, ou réagissent-elles simplement à de minuscules changements aléatoires dans les données ?

Le Grand Test de la Boule de Cristal

Dans cette étude, les auteurs ont décidé de soumettre ces « testeurs de compatibilité » à un test de résistance rigoureux. Ils ont traité le problème comme un jeu de chaises musicales, mais au lieu de chaises, ils utilisaient différentes tranches de données d'imagerie médicale.

La Configuration : Populations Miniature
Imaginez que vous avez un grand bocal de mélanges de dragées représentant un ensemble de données médicales (comme une collection de radiographies thoraciques). Habituellement, les chercheurs pourraient prendre une poignée de bonbons pour tester leurs théories. Mais et si cette poignée se trouvait contenir principalement des bonbons rouges, alors que la suivante en contenait principalement des bleus ? Les résultats seraient totalement différents, même si le bocal est le même.

Pour tester cela, les chercheurs ont créé des « populations miniatures ». Ils ont pris leurs ensembles de données médicales et les ont découpés en différentes tailles (5 %, 10 %, 25 %, jusqu'à 100 %). Crucialement, ils n'ont pas seulement pris une tranche ; ils ont pris cinq tranches différentes de la même taille en utilisant différentes graines aléatoires (comme si l'on secouait le bocal différemment à chaque fois). Ils ont ensuite demandé : « Si nous exécutons nos tests de boule de cristal sur ces différentes tranches, obtenons-nous le même vainqueur ? »

Les Résultats : Les Boules de Cristal sont Instables
Les résultats ont été révélateurs. Les auteurs ont découvert que les classements produits par ces mesures de TE étaient incroyablement sensibles à de minuscules changements.

L'effet de la « Graine » (Seed Effect) : S'ils changeaient légèrement la graine aléatoire, l'ordre des meilleurs modèles se mélangeait. Un modèle classé n°1 dans une tranche pouvait descendre au n°5 dans une autre tranche de même taille.
La Taille Compte : Plus la tranche de données est petite (moins il y a de bonbons dans la poignée), plus les classements deviennent chaotiques. Pour les très petits ensembles de données, les « boules de cristal » ne parvenaient pas à se mettre d'accord.
Le Piège de la Mesure : Les chercheurs ont également testé ce qui se passe si l'on juge le « vainqueur » en utilisant des règles différentes. En imagerie médicale, nous nous soucions souvent de l'AUROC (un score qui gère bien les classes inégales) plutôt que de la simple Précision (Accuracy) (obtenir le plus de bonnes réponses). Ils ont découvert que si l'on passe d'une évaluation par la Précision à une évaluation par l'AUROC, le classement entier des modèles change. Un modèle qui était n°2 selon une règle pourrait être n°11 selon l'autre.

Le Verdict : Pas de Vainqueur Clair
Lorsque les chercheurs ont comparé les prédictions des mesures de TE à la performance réelle des modèles (le « classement de référence »), l'accord était étonnamment faible. Même en utilisant l'ensemble complet des données (100 %), les mesures de TE ne choisissaient pas systématiquement les bons modèles.

L'article suggère que le problème n'est pas seulement que les données médicales sont difficiles ; c'est que les outils que nous utilisons pour prédire le succès sont fragiles. Ils changent d'avis en fonction de :

La quantité de données que vous leur donnez.
La tranche aléatoire de données que vous choisissez.
La règle de notation (Précision vs AUROC) que vous utilisez pour décider qui a gagné.

Ce que cela signifie pour l'avenir
Les auteurs ne disent pas que ces mesures sont inutiles, mais ils nous avertissent que nous ne pouvons pas leur faire confiance aveuglément. Si un chercheur choisit une seule tranche de données aléatoire et une seule règle de notation pour déclarer un « meilleur » modèle, il pourrait observer un coup de chance plutôt qu'une vérité. L'étude conclut que pour l'imagerie médicale, nous devons être beaucoup plus prudents. Nous ne pouvons pas simplement regarder un seul essai ; nous devons comprendre que ces « boules de cristal » sont sensibles aux détails infimes de la configuration de nos expériences. Tant que nous ne résoudrons pas cette sensibilité, choisir le bon modèle pré-entraîné pour l'IA médicale reste un peu un pari.

Résumé Technique : Robustesse des métriques d'estimation de la transférabilité pour l'imagerie médicale

Définition du Problème
L'apprentissage par transfert (Transfer Learning - TL) est un paradigme standard pour la classification d'images médicales en raison de la rareté des données, pourtant, la sélection du modèle pré-entraîné optimal pour une tâche cible spécifique demeure un défi majeur. Bien que les métriques d'estimation de la transférabilité (TE) visent à prédire le meilleur modèle source sans le coût computationnel de l'ajustement fin (fine-tuning) de tous les candidats, leur fiabilité est discutable. Des recherches antérieures ont rapporté des performances contradictoires des métriques de TE, souvent attribuées aux variations des configurations expérimentales. De plus, la plupart des métriques de TE sont conçues et évaluées sur des images naturelles (ex. : ImageNet) en utilisant la précision (accuracy) comme métrique principale. En revanche, l'imagerie médicale nécessite souvent une robustesse face au déséquilibre des classes, typiquement mesurée par l'aire sous la courbe ROC (AUROC). La littérature actuelle manque d'une investigation systématique sur la manière dont les métriques de TE se comportent lorsque la représentation du jeu de données cible varie (ex. : taille de l'échantillon, graine aléatoire/random seed) et sur la façon dont le choix de la métrique d'évaluation pour le classement de référence influence l'évaluation des métriques de TE.

Méthodologie
Les auteurs ont mené une étude systématique utilisant la collection de jeux de données MedMNIST v2 (comprenant des jeux de données d'images biomédicales 2D) et ImageNet comme pool de sources. L'étude est divisée en deux expériences primaires :

Impact de la représentation du jeu de données cible (Ex1) :
- Populations miniatures : Les auteurs ont construit des « populations miniatures » à partir de huit jeux de données cibles en échantillonnant 5 %, 10 %, 25 %, 50 % et 75 % des données d'entraînement. Ces sous-ensembles ont été stratifiés par étiquette de classe pour maintenir la distribution et générés à l'aide de cinq graines aléatoires différentes pour tester la stabilité.
- Métriques évaluées : Sept métriques de TE existantes ont été testées : H-score, LEEP, NLEEP, LogME, NCTI, PARC et SFDA.
- Mesures de stabilité : L'étude a mesuré la stabilité intra-métrique (accord des classements entre différentes graines aléatoires pour une même taille de sous-ensemble), la stabilité de référence (accord entre les classements des sous-ensembles et le classement du jeu de données complet) et la stabilité inter-métrique (accord entre différentes métriques de TE).
- Coefficients de corrélation : Pour éviter le biais d'une métrique unique, les auteurs ont utilisé le rho de Spearman ( $\rho$ ), le Tau de Kendall ( $\tau$ ) et le Tau de Kendall pondéré ( $\tau_w$ ).
Influence de la métrique d'évaluation pour le classement de référence (Ex2) :
- Classements de référence : Les modèles sources ont été ajustés finement sur les ensembles d'entraînement cibles complets. La performance résultante a été classée deux fois : une fois en optimisant pour la Précision (Accuracy) et une fois pour l'AUROC.
- Comparaison : Les classements générés par les métriques de TE ont été comparés à ces deux classements de référence distincts afin de déterminer si les métriques de TE sont robustes au choix de la métrique de performance de référence.

Contributions Clés
Le papier présente trois contributions principales :

Sensibilité aux variations de l'ensemble de données : L'étude démontre que les métriques de TE sont hautement sensibles aux petites variations du jeu de données cible, y compris les changements de taille d'échantillon et de graines aléatoires. Les classements des modèles sources fluctuent de manière significative, même au sein d'un même jeu de données, lors de l'utilisation de différentes graines aléatoires.
Impact de la métrique d'évaluation : Les auteurs montrent que le choix de la métrique d'évaluation (Précision vs AUROC) modifie fondamentalement le classement de référence des modèles sources. Par conséquent, l'évaluation de la « meilleure » métrique de TE dépend fortement du classement de référence utilisé.
Évaluation de référence (Benchmarking) : Ce travail fournit des résultats de référence pour MedMNIST, soulignant que les métriques de TE actuelles présentent un faible accord avec les classements de référence dans les contextes d'imagerie médicale, quel que soit l'outil d'évaluation utilisé.

Résultats

Instabilité : Les classements des métriques de TE ne sont pas stables à travers les différentes graines aléatoires ou tailles de sous-ensembles. Par exemple, un modèle source peut être classé premier dans une graine aléatoire et cinquième dans une autre pour le même jeu de données cible (ex. : Breast).
Comportement spécifique aux métriques : Bien que LEEP ait montré une cohérence relativement plus élevée sur les petits jeux de données, le H-score a présenté la plus faible stabilité. Certaines métriques (NLEEP, SFDA) ont produit des valeurs NaN ou n'ont pas réussi à différencier les modèles sur certains jeux de données en raison de limitations mathématiques (ex. : matrices de covariance mal conditionnées ou matrices de dispersion de rang déficient).
Faible accord : Il existe un accord systématiquement faible entre les classements produits par les métriques de TE et les classements de référence (tant pour la Précision que pour l'AUROC). Ce faible accord persiste même en utilisant 100 % des données d'entraînement, suggérant que le problème n'est pas simplement un problème de rareté des données, mais une limitation spécifique au domaine.
Dépendance à la métrique d'évaluation : Le classement de référence lui-même est instable ; les modèles classés haut par la Précision sont souvent classés différemment par l'AUROC. Puisque les métriques de TE sont typiquement optimisées pour les classements basés sur la précision, elles échouent à prédire de manière fiable la performance lorsque l'AUROC est la cible.

Signification et Revendications
Les auteurs affirment que la faible fiabilité des métriques de TE en imagerie médicale n'est pas uniquement due au choix de la métrique d'évaluation, mais est un problème plus large et spécifique au domaine. L'étude remet en question la pratique actuelle consistant à s'appuyer sur des expériences à graine aléatoire unique ou sur des métriques d'évaluation uniques pour valider les méthodes de TE. Les conclusions suggèrent que les métriques de TE existantes, largement développées pour les images naturelles, ne se généralisent pas de manière robuste aux tâches d'imagerie médicale où les données sont rares et le déséquilibre des classes est prévalent. Le papier conclut que les travaux futurs devront prendre en compte l'instabilité des représentations des jeux de données cibles et la sensibilité des classements de référence avant que les métriques de TE ne puissent être considérées comme des outils fiables pour la sélection de modèles sources dans les applications médicales.

Le Grand Test de la Boule de Cristal

Articles similaires