Résumé technique : Évaluation de modèles de fondation pour la classification des figures mitotiques

Énoncé du problème

En pathologie computationnelle, la performance des modèles d'apprentissage profond est fortement contrainte par la rareté des ensembles de données de haute qualité annotés par des experts. L'annotation des images de lames entières (WSI) est laborieuse, sujette à la variabilité inter-évaluateurs et compliquée par les décalages de domaine découlant des différences de protocoles de coloration et de dispositifs de numérisation. Bien que l'apprentissage auto-supervisé (SSL) ait permis l'entraînement de modèles de fondation à grande échelle sur de vastes ensembles de données non étiquetées, il manque une analyse approfondie concernant la manière dont ces modèles se comportent sur des tâches spécifiques et fines comme la classification des figures mitotiques sous différents régimes de données. Plus précisément, il reste difficile de savoir comment les différentes stratégies d'adaptation (par exemple, le sondage linéaire par rapport au réglage fin efficace en paramètres) évoluent avec la disponibilité des données et quelle est la robustesse de ces modèles lorsqu'ils sont appliqués à des domaines tumoraux inédits (hors distribution).

Méthodologie

Les auteurs ont mené une étude de benchmarking systématique évaluant six modèles de fondation spécifiques à la pathologie par rapport à des bases traditionnelles.

Jeux de données

Deux jeux de données publics ont été utilisés :

1. CCMCT : Un jeu de données à grande échelle et à domaine unique de mastocytomes cutanés canins (32 WSI, ~45k figures mitotiques). Utilisé pour les expériences de mise à l'échelle des données (data scaling).
2. MIDOG 2022 : Un jeu de données hautement diversifié et multi-domaines couvrant cinq types de tumeurs (canines et humaines), plusieurs espèces et divers scanners. Utilisé pour les expériences de robustesse cross-domaine.

Modèles évalués

L'étude a comparé six modèles de fondation de pathologie (Phikon, UNI, Virchow, Virchow2, H-optimus-0, Prov-GigaPath) ainsi qu'un Vision Transformer à usage général (ViT-S DINOv3) contre des bases traditionnelles (ResNet50, ViT-S/B/H). Les modèles de fondation varient en taille de backbone (de ViT-B à ViT-G), en algorithmes de pré-entraînement (iBOT, DINOv2) et en échelle de données de pré-entraînement (jusqu'à 2 milliards de tuiles).

Stratégies d'adaptation

Trois approches d'adaptation principales ont été testées :

1. Sondage linéaire (Linear Probing) : Le backbone est gelé, et seul un classificateur linéaire est entraîné au-dessus des caractéristiques extraites.
2. Adaptation de bas rang (LoRA - Low-Rank Adaptation) : Une technique de réglage fin efficace en paramètres où des matrices de bas rang sont injectées dans les couches d'attention et MLP, permettant un réglage fin sélectif avec un minimum de paramètres entraînables.
3. Réglage fin de bout en bout (End-to-End Fine-Tuning) : Entraînement supervisé traditionnel de l'ensemble du modèle (utilisé pour les bases et la comparaison).

Conception expérimentale

• Mise à l'échelle des données (Data Scaling) : Les modèles ont été entraînés sur 0,1 %, 1 %, 10 % et 100 % des données d'entraînement pour évaluer les performances dans des scénarios de pénurie et de richesse de données.
• Cross-Domain : En utilisant MIDOG 2022, les modèles ont été entraînés sur un domaine tumoral et testés sur tous les autres pour évaluer la généralisation à des distributions non vues.
• Métriques : La performance a été évaluée à l'aide de l'exactitude équilibrée (Balanced Accuracy), du F1 pondéré et de l'AUROC, la signification statistique étant testée via des tests de Wilcoxon signed-rank.

Contributions clés

1. Benchmarking systématique : Le document fournit une évaluation complète des modèles de fondation actuels spécifiques à la pathologie pour la tâche spécifique de la classification des figures mitotiques, un marqueur pronostique critique.
2. Comparaison des stratégies d'adaptation : Il compare rigoureusement le sondage linéaire à LoRA, démontrant que LoRA surpasse systématiquement le sondage linéaire, particulièrement dans les régimes de faibles données.
3. Lois de mise à l'échelle des données (Data Scaling Laws) : L'étude quantifie la relation entre la taille des données d'entraînement et la performance du modèle, montrant que les modèles de fondation adaptés via LoRA peuvent atteindre des niveaux de performance proches de la disponibilité totale des données en utilisant seulement 10 % des données.
4. Robustesse cross-domaine : Le travail évalue la capacité de ces modèles à se généraliser à travers différents types de tumeurs et d'espèces, soulignant l'efficacité de LoRA pour combler l'écart entre les scénarios in-domain et out-of-domain.

Résultats

• Supériorité de LoRA : Sur les deux jeux de données et à toutes les échelles de données, les modèles de fondation adaptés avec LoRA ont significativement surpassé ceux utilisant le sondage linéaire. Dans le jeu de données CCMCT, les modèles adaptés avec LoRA ont atteint des niveaux de performance comparables à une disponibilité de 100 % des données en utilisant seulement 10 % de celles-ci.
• Surclassement des bases (Baselines) : À l'échelle de données complète, les modèles de fondation adaptés avec LoRA (spécifiquement Virchow2 et H-optimus-0) ont égalé ou dépassé la performance des architectures traditionnelles entièrement réglées (ResNet50). Cependant, le sondage linéaire seul a généralement sous-performé par rapport aux bases entraînées de bout en bout.
• Généralisation cross-domaine : Dans l'expérience cross-domaine, les modèles adaptés avec LoRA ont démontré une robustesse remarquable. Des modèles comme H-optimus-0 et Virchow2 ont obtenu des scores AUROC hors-domaine de 0,88 et 0,87 respectivement, comblant presque l'écart avec leurs performances in-domain. En revanche, les bases traditionnelles et les approches de sondage linéaire ont montré des chutes de performance significatives dans les domaines non vus.
• Spécificités des modèles : Les modèles de fondation les plus récents et les plus larges (Virchow2, H-optimus-0) ont généralement produit les meilleurs résultats. Le modèle ViT-S DINOv3 à usage général a sous-performé par rapport aux modèles de fondation spécifiques à la pathologie, indiquant que le pré-entraînement spécifique au domaine est crucial.

Signification et affirmations

Les auteurs affirment que leur travail démontre la valeur pratique des stratégies d'adaptation efficaces en paramètres (LoRA) pour les applications cliniques où les données annotées sont rares et hétérogènes. Les conclusions suggèrent que :

• Les modèles de fondation, lorsqu'ils sont adaptés via LoRA, offrent un compromis supérieur entre coût computationnel et performance, permettant des solutions robustes qui se généralisent à travers divers contextes cliniques.
• Les « lois de mise à l'échelle des données » observées indiquent qu'une classification de haute performance des figures mitotiques est réalisable avec beaucoup moins de données étiquetées que ce qui était auparavant considéré comme nécessaire pour l'apprentissage supervisé traditionnel.
• Bien que les architectures traditionnelles avec un réglage fin complet restent compétitives lorsqu'il existe des données abondantes, les modèles de fondation adaptés avec LoRA offrent une approche plus scalable et robuste pour un déploiement en conditions réelles où les décalages de domaine sont fréquents.

Le document conclut que bien que les modèles de fondation soient en passe de transformer la pathologie computationnelle, les travaux futurs devront aborder leur intégration dans des pipelines de détection complets et explorer davantage l'optimisation des hyperparamètres pour les méthodes efficaces en paramètres.