CTSCAN: Evaluation Leakage in Chest CT Segmentation and a Reproducible Patient-Disjoint Benchmark

1. Problématique : La fuite d'évaluation (Evaluation Leakage)

L'article identifie un problème critique dans les benchmarks de segmentation de CT thoraciques (TDM). La plupart des pipelines actuels exportent les volumes 3D en séries d'images 2D (PNG) par tranche (slice).

• Le défaut de conception : Les protocoles d'évaluation traditionnels partitionnent souvent ces tranches directement, sans respecter l'identité du patient.
• La conséquence : Si les tranches d'un même patient se retrouvent à la fois dans les ensembles d'entraînement, de validation et de test, le modèle "mémorise" les caractéristiques spécifiques à ce patient plutôt que d'apprendre une généralisation inter-patients.
• L'impact : Les métriques rapportées (Dice, IoU) sont artificiellement gonflées, donnant une fausse impression de performance et de robustesse du modèle.

2. Méthodologie et Benchmark CTSCAN

Pour quantifier cet effet, les auteurs ont développé CTSCAN, un benchmark multi-sources reproductible conçu pour imposer une évaluation disjointe par patient (patient-disjoint).

• Données : Le benchmark agrège 89 cas provenant de trois sources publiques : PleThora (78 cas), MedSeg SIRM (10 cas) et LongCIU (1 cas), totalisant 10 423 tranches. Il se concentre sur une tâche de segmentation à 4 classes : fond, verre dépoli, consolidation et épanchement pleural.
• Comparaison des protocoles : L'étude compare deux approches d'évaluation sur la même architecture de contrôle (FPN avec encodeur EfficientNet-B0) :
  1. Slice-mixed (Mixé par tranche) : Partitionnement aléatoire direct des tranches PNG, ignorant l'ID du patient.
  2. Patient-disjoint (Disjoint par patient) : Les tranches sont regroupées par cas avant la partition. Aucun patient ne partage ses données entre les ensembles d'entraînement, de validation et de test.
• Protocole expérimental : Pour isoler l'effet du protocole, les auteurs exécutent une étude multi-graines (3 graines aléatoires) sur 12 époques, en gardant l'architecture, la fonction de perte et les hyperparamètres identiques.

3. Résultats Clés

Les résultats démontrent un effondrement drastique des performances lorsque la fuite d'évaluation est éliminée, prouvant que la majorité des performances précédemment rapportées étaient dues à la réutilisation des cas.

• Chute des métriques (Protocole partagé FPN) :
  • Dice du premier plan (Foreground Dice) : Passe de 0,6665 (Slice-mixed) à 0,2066 (Patient-disjoint).
    • Cela représente une baisse absolue de 0,4599 et relative de 69,00 %.
  • IoU du premier plan : Passe de 0,5031 à 0,1181.
    • Baisse absolue de 0,3850 et relative de 76,52 %.
• Robustesse de l'effet :
  • Ce phénomène n'est pas limité à une architecture spécifique. Un contrôle basé sur U-Net montre une tendance similaire (Dice passant de 0,7098 à 0,2472).
  • Les ajustements de l'entraînement (échantillonnage des classes rares, changements de fonction de perte comme Lovász-Softmax) améliorent légèrement les scores au sein d'un même protocole, mais ne comblent pas le fossé créé par le changement de protocole d'évaluation.
• Répartition des données : Le protocole "Slice-mixed" induit une réutilisation quasi-totale des cas (89 cas sur 89 dans l'entraînement et le test), tandis que le protocole "Patient-disjoint" garantit un chevauchement nul.

4. Contributions Principales

L'article apporte trois contributions majeures à la communauté de l'imagerie médicale :

1. Révélation du biais : Mise en évidence d'un effet de fuite d'évaluation massif dans les benchmarks de CT thoraciques dérivés de tranches, où la partition par tranche crée une réutilisation de cas quasi-complète.
2. Benchmark reproductible (CTSCAN) : Publication d'un benchmark public avec des manifestes de division déterministes, une audit explicite des chevauchements et une page de classement qui ne note les modèles que sous un protocole disjoint par patient.
3. Preuve exécutable : Fourniture d'un script d'étude multi-graines et d'un environnement de validation (y compris sur GPU Apple) permettant de rejouer exactement les expériences et de vérifier que la conclusion scientifique change radicalement selon le protocole d'évaluation.

5. Signification et Implications

• Changement de conclusion scientifique : Le choix du protocole d'évaluation ne modifie pas seulement un chiffre, il change la conclusion scientifique sur ce qui généralise réellement. Les performances élevées antérieures reflétaient souvent la mémorisation de l'apparence spécifique d'un patient plutôt qu'une capacité de segmentation clinique robuste.
• Nouveau standard : Pour les datasets dérivés de tranches, la division disjointe par patient n'est pas une simple étape de nettoyage cosmétique, mais une condition sine qua non pour évaluer la généralisation réelle.
• Transparence : CTSCAN fournit les outils nécessaires pour rendre l'évaluation disjointe par patient le chemin par défaut, auditable et facile à rejouer, évitant ainsi que les recherches futures ne soient biaisées par des fuites de données involontaires.

En résumé, CTSCAN démontre que sans une séparation stricte des patients entre les ensembles de données, les métriques de segmentation de CT thoraciques sont largement surestimées, et propose une infrastructure rigoureuse pour corriger cette pratique.