SHIFT-QA: target-calibrated accept-or-review quality assurance for cardiac MRI segmentation under pathology shift

Résumé Technique : SHIFT-QA

Énoncé du Problème
Les modèles de segmentation par résonance magnétique (IRM) cardiaque automatisés atteignent souvent une précision moyenne élevée sur les données de développement, mais peuvent échouer de manière imprévisible lors d'un déploiement sur des patients présentant des caractéristiques pathologiques différentes (décalage de pathologie ou pathology shift). Les méthodes de validation conventionnelles rapportent des métriques au niveau de la cohorte (par exemple, le score de Dice moyen), mais ne fournissent pas de mécanisme pour déterminer, pour un patient individuel, si un résultat de segmentation est suffisamment fiable pour un usage automatique ou s'il nécessite une révision par un expert. Cette lacune est critique car les erreurs de segmentation ne sont pas uniformément distribuées ; un modèle peut afficher un score moyen favorable tout en produisant des erreurs cliniquement conséquentes dans des sous-ensembles spécifiques de cas. De plus, les méthodes standard d'estimation de l'incertitude et d'évaluation de la qualité de la segmentation (SQA) manquent souvent d'une règle opérationnelle explicite et calibrée pour convertir les scores de fiabilité en décisions « accepter ou réviser » avant les tests finaux sur la cible.

Méthodologie : Cadre SHIFT-QA
Les auteurs proposent SHIFT-QA, un cadre d'assurance qualité « accepter-ou-réviser » calibré sur la cible, conçu pour gérer le risque résiduel sous décalage de distribution. Le cadre fonctionne via les étapes suivantes :

1. Agrégation des preuves de fiabilité : Pour chaque étude de patient, le cadre extrait un vecteur de caractéristiques au niveau du patient ($z_i$) combinant quatre sources de preuves de fiabilité :

   • Incertitude prédictive : Entropie moyenne et à haut percentile sur la région de premier plan (foreground).
   • Désaccord d'ensemble : Désaccord de Dice moyen par paire entre les masques des membres de l'ensemble.
   • Variabilité de volume : Coefficient de variation des volumes spécifiques aux classes à travers les membres de l'ensemble.
   • Instabilité fonctionnelle : Écart-type des mesures cliniques en aval (spécifiquement la fraction d'éjection) dérivées des membres de l'ensemble.

2. Définition de l'échec opérationnel : Un label d'échec au niveau du patient ($b_i$) est défini a priori selon des critères cliniquement significatifs. Dans l'implémentation de l'IRM cardiaque, un échec survient si le Dice moyen du premier plan au niveau du patient est inférieur à un seuil ($\delta_{Dice}$) OU si l'erreur absolue de la fraction d'éjection dépasse un seuil ($\delta_{EF}$). Les auteurs soulignent que cette définition doit être fixée avant d'accéder aux labels de la cible pour éviter toute fuite de données (data leakage).

3. Score de risque : Le vecteur de caractéristiques est projeté vers un score de risque scalaire ($r_i$). En l'absence d'exemples d'échecs étiquetés suffisants pour un ajustement supervisé (une limitation de leur prototype spécifique), les auteurs emploient un repli sur un score de fiabilité prédéfini où les caractéristiques normalisées sont moyennées pour produire un score de risque monotone.

4. Calibrage de la cible : Un sous-ensemble étiqueté de la cohorte cible (disjoint des patients du test final) est utilisé pour sélectionner un seuil d'acceptation ($\tau^*$). Le seuil est choisi pour maximiser la couverture automatique (la proportion de patients acceptés) tout en garantissant que le taux d'échec empirique des cas acceptés sur l'ensemble de calibration reste inférieur à une tolérance spécifiée ($\alpha$).

5. Déploiement figé : Une fois la règle d'échec, la méthode de score de risque et le seuil figés, l'ensemble de test final est évalué exactement une fois. La sortie est une segmentation de consensus accompagnée d'une décision opérationnelle : « accepter » (si $r_i \le \tau^*$) ou « réviser » (si $r_i > \tau^*$).

Configuration Expérimentale
Les auteurs ont implémenté une preuve de concept locale utilisant le jeu de données Automated Cardiac Diagnosis Challenge (ACDC).

• Données sources : Des patients atteints de cardiomyopathie dilatée (DCM), d'infarctus du myocarde (MINF), normaux (NOR) et avec un ventricule droit anormal (RV) ont été utilisés pour l'entraînement et la validation de la source.
• Décalage cible : La cardiomyopathie hypertrophique (HCM) a été traitée comme la pathologie cible tenue à l'écart pour simuler un décalage de pathologie.
• Répartition des données : La cohorte ACDC de 100 patients a été divisée en : Entraînement Source (64 patients), Validation Source (16 patients), Calibration Cible (10 patients HCM) et Test Cible (10 patients HCM).
• Modèle : Un U-Net 2D léger entraîné avec un ensemble de clichés (snapshot ensemble) (dérivé de points de contrôle d'entraînement par continuation) pour approximer l'incertitude, car des ensembles multi-graines totalement indépendants étaient contraints par les ressources de calcul.

Résultats Clés

• Diagnostic de la règle d'échec : Une règle d'échec initiale stricte (basée sur le Dice minimum par classe) s'est avérée trop conservatrice, étiquetant les 10 patients de calibration HCM comme des échecs et résultant en une politique de « renvoi systématique ». Une règle figée révisée (Dice moyen < 0,75 OU |Erreur EF| > 0,15) a permis une calibration non triviale.
• Calibrage : En utilisant la règle révisée, un seuil de $\tau^* = 0,590787$ a été sélectionné sur l'ensemble de calibration cible, atteignant une couverture de 80 % avec un taux d'échec des cas acceptés de 0,375 (inférieur à la tolérance cible de 0,40).
• Performance du test cible : Sur l'ensemble de test cible HCM de 10 patients non touché :
  • Couverture : 8 patients sur 10 ont été acceptés ; 2 ont été renvoyés.
  • Précision : Le taux d'échec observé parmi les cas acceptés était de 0,000. Les deux cas renvoyés étaient des échecs opérationnels selon la règle figée.
  • Différenciation : Les patients acceptés présentaient un Dice moyen du premier plan significativement plus élevé (0,839 contre 0,657) et une erreur absolue de fraction d'éjection plus faible (0,065 contre 0,228) par rapport aux patients renvoyés.

Signification et Revendications
L'article affirme que SHIFT-QA démontre la faisabilité d'un flux de travail d'acceptation-ou-révision calibré sur la cible pour la segmentation de l'IRM cardiaque sous décalage de pathologie. La contribution primaire est de déplacer l'attention de l'amélioration de la précision de la segmentation seule vers la gestion du risque au niveau du flux de travail en :

1. Formulant l'assurance qualité comme un problème de décision au niveau du patient plutôt que comme une simple visualisation de l'incertitude.
2. Implémentant un protocole verrouillé où la définition de l'échec et le seuil d'acceptation sont déterminés à l'aide d'un sous-ensemble de calibration de la cible avant l'évaluation finale.
3. Montrant qu'une politique calibrée peut réussir à séparer les segmentations fiables des cas à haut risque dans un cadre contrôlé de maintien de la pathologie.

Modestie et Limites
Les auteurs déclarent explicitement que ces résultats sont préliminaires et ne constituent pas une validation de déploiement clinique. Ils soulignent plusieurs limitations :

• L'ensemble de test cible était petit (10 patients).
• L'estimation de l'incertitude reposait sur un ensemble de clichés (snapshot ensemble) plutôt que sur des modèles totalement indépendants.
• Le score de risque utilisait un repli prédéfini plutôt qu'un modèle supervisé en raison de l'absence d'échecs du côté de la source.
• L'étude est un prototype unique (site, constructeur) basé sur l'ACDC et ne prétend pas à une généralisation multi-centres ou multi-constructeurs.

Les auteurs concluent que, bien que le cadre soutienne le concept d'assurance qualité calibrée sur la cible, une validation sur de plus grands ensembles multi-centres et multi-constructeurs est nécessaire avant un déploiement clinique.