A protocol for evaluating robustness to H&E staining variation in computational pathology models

1. Problématique

La pathologie computationnelle (CPath) repose sur l'analyse d'images de lames entières (WSI) colorées à l'hématoxyline et à l'éosine (H&E). Cependant, l'apparence de ces images varie considérablement d'un laboratoire à l'autre, voire au sein d'un même laboratoire, en raison des différences de protocoles de coloration, de concentrations de réactifs, d'effets de lot, de caractéristiques des scanners et des flux de travail de traitement des tissus.

Cette variabilité crée un décalage de domaine (domain shift) qui peut dégrader significativement les performances des modèles d'intelligence artificielle lorsqu'ils sont déployés sur des données provenant de sources différentes de celles utilisées pour l'entraînement. Bien que des méthodes de développement (comme la normalisation ou l'augmentation de la coloration) existent, elles sont moins efficaces dans les pipelines modernes basés sur des modèles de fondation pré-entraînés (frozen encoders) où les chercheurs entraînent uniquement des classificateurs légers (comme l'apprentissage multiple par instance attentionnel, ABMIL) sur les caractéristiques extraites. Il existe donc un besoin critique d'une méthode systématique pour évaluer la robustesse de ces modèles lors de l'inférence, sans avoir à réentraîner les modèles, afin de garantir leur fiabilité clinique.

2. Méthodologie

Les auteurs proposent un protocole d'évaluation en trois étapes, appliqué à la classification de l'instabilité des microsatellites (MSI) dans le cancer colorectal.

A. Création d'une bibliothèque de référence (PLISM)

Les auteurs ont exploité le jeu de données PLISM (Pathology Images of Scanners and Mobilephones) pour construire une bibliothèque de référence de propriétés de coloration.

• Extraction : Ils ont décomposé les images en vecteurs de coloration (hématoxyline et éosine) et en intensités en utilisant la loi de Beer-Lambert et la décomposition en valeurs singulières (SVD).
• Sélection : Quatre conditions de référence simulées ont été sélectionnées pour couvrir la variabilité :
  1. Faible intensité H&E.
  2. Haute intensité H&E.
  3. Faible similarité de couleur H&E (vecteurs de coloration très distincts).
  4. Haute similarité de couleur H&E (vecteurs de coloration très proches).

B. Protocole d'évaluation en trois étapes

1. Sélection des conditions de référence : Utilisation de la bibliothèque PLISM pour définir les cibles de simulation.
2. Caractérisation du jeu de test : Analyse des propriétés de coloration (vecteurs et intensités) du jeu de données de test SurGen (738 patients, 892 WSI) pour établir une base de comparaison réaliste.
3. Inférence sous conditions simulées :
   • Les images du jeu de test sont décomposées en canaux de coloration.
   • Elles sont recomposées en utilisant les vecteurs et intensités des conditions de référence PLISM pour simuler les variations de coloration tout en préservant la structure tissulaire.
   • Les modèles sont exécutés sur ces images simulées.

C. Modèles évalués

L'étude a évalué 306 modèles de classification MSI :

• 300 modèles simulés : Entraînés sur les données TCGA-COAD/READ en utilisant trois extracteurs de caractéristiques de fondation différents (UNI2-h, H-Optimus-1, Virchow2) couplés à un classificateur ABMIL.
• 6 modèles publics : Modèles pré-entraînés disponibles publiquement (Wagner2023 et Niehues2023).

D. Métriques

• Performance : Mesurée par l'AUC (Area Under the Curve) sur la condition de référence.
• Robustesse : Définie comme l'étendue (min-max) de l'AUC à travers les cinq conditions (référence + 4 simulées). Une faible étendue indique une haute robustesse.

3. Résultats Clés

A. Relation Performance-Robustesse

• Corrélation faible : Il existe une corrélation inverse faible (r = -0,22) entre la performance de référence (AUC) et la robustesse. Cela signifie qu'un modèle très performant sur les données d'origine n'est pas nécessairement robuste aux variations de coloration.
• Hétérogénéité : La robustesse varie considérablement d'un modèle à l'autre (plage d'AUC de 0,007 à 0,079).

B. Impact des conditions de coloration

• Intensité élevée : La condition de "haute intensité" H&E a souvent produit les meilleures performances (127 modèles sur 306, et 8 sur 10 des meilleurs modèles).
• Similarité de couleur : Les conditions de faible similarité de couleur ont également été favorables, tandis que les conditions de faible intensité et de haute similarité de couleur ont tendance à réduire légèrement les performances.
• Cas extrêmes : Certaines conditions peuvent entraîner une baisse de performance allant jusqu'à -7,78 % pour certains modèles, soulignant la nécessité d'une validation spécifique.

C. Comparaison des modèles de fondation

• Les modèles basés sur UNI2-h et H-Optimus-1 ont montré une robustesse supérieure à ceux basés sur Virchow2 (contrairement à certaines attentes précédentes).
• Le modèle public Wagner2023 (basé sur CTransPath) s'est classé parmi les meilleurs en termes de performance et de robustesse, suggérant que l'entraînement de l'agrégateur (MIL) peut atténuer la sensibilité du modèle de fondation.

4. Contributions Principales

1. Protocole d'évaluation standardisé : Introduction d'une méthode systématique pour quantifier la robustesse des modèles CPath face aux variations de coloration, ancrée dans des propriétés physiques mesurables (vecteurs et intensités) plutôt que sur des transformations d'images génériques.
2. Bibliothèque de référence publique : Mise à disposition d'une bibliothèque de propriétés de coloration dérivée du jeu de données PLISM, couvrant divers scanners et protocoles.
3. Évaluation à grande échelle : Analyse de 306 modèles, fournissant une vue d'ensemble inédite sur la variabilité de la robustesse dans les pipelines modernes de pathologie computationnelle.
4. Outils ouverts : Publication du code, des modèles entraînés, des vecteurs de coloration et des résultats sur GitHub et HuggingFace.

5. Signification et Implications

• Sélection de modèles : Ce protocole permet aux cliniciens et aux développeurs de sélectionner des modèles non seulement sur leur précision, mais aussi sur leur stabilité dans des conditions de coloration variables, un critère essentiel pour le déploiement clinique.
• Contrôle Qualité (QC) : Il suggère que les laboratoires devraient caractériser leurs propres propriétés de coloration (intensité et vecteurs) et simuler des conditions aux limites de leur plage opérationnelle pour valider la fiabilité de leurs modèles.
• Développement futur : Les résultats indiquent que la robustesse est une propriété partiellement indépendante de la performance. Les futurs travaux devraient intégrer ces tests de stress dans les cycles de développement et viser à harmoniser les exigences de robustesse entre les institutions.
• Limites : L'étude se concentre uniquement sur la coloration H&E et ne couvre pas d'autres artefacts (plis, flou, nécrose) ou d'autres modalités (IHC), bien que la coloration soit identifiée comme l'un des facteurs les plus influents.

En conclusion, cet article fournit un cadre méthodologique crucial pour passer de la recherche académique à des déploiements cliniques fiables en pathologie computationnelle, en démontrant que la robustesse aux variations de coloration doit être une métrique centrale d'évaluation.