In search of truth: Evaluating concordance of AI-based anatomy segmentation models

This paper introduces a practical framework for evaluating concordance among AI-based anatomy segmentation models on datasets lacking ground truth by harmonizing outputs into a standard representation and providing interactive visualization tools, demonstrating its utility in comparing six open-source models on NLST CT scans to flag discrepancies and prioritize cases of inter-model disagreement for expert review.

L'essentiel

🏥 Le Grand Défi : Que faire quand personne ne connaît la réponse ?

Imaginez que vous êtes un chef d'orchestre (les chercheurs) et que vous avez invité six musiciens différents (les modèles d'Intelligence Artificielle) pour jouer la même partition (l'analyse de scanners médicaux). Le problème ? Il n'y a pas de partition originale. Personne ne sait exactement à quoi doit ressembler la "vraie" musique, car les scanners proviennent d'une base de données où les médecins n'ont pas dessiné les organes à la main.

Comment savoir qui joue juste ? Si vous demandez à un expert de vérifier chaque note pendant des milliers de concerts, cela prendrait des années. C'est là que cette équipe de chercheurs a eu une idée brillante : au lieu de chercher le "meilleur" musicien, ils ont créé un système pour repérer où les musiciens ne sont pas d'accord, afin que l'expert puisse écouter ces parties en priorité.

🛠️ L'Outil Magique : La "Boîte à Outils de l'Harmonie"

Au lieu de se battre pour savoir qui a raison, ils ont créé un système pour comparer les musiciens entre eux. Voici comment ils ont fait, étape par étape :

1. Le Traducteur Universel (L'Harmonisation) :
   Chaque modèle d'IA parlait sa propre langue. L'un appelait le "foie" Foie, l'autre Liver, et un troisième Organ_42. C'était le chaos !

   • L'analogie : Imaginez que vous essayez de comparer des recettes de cuisine, mais l'une est en français, l'autre en japonais et la troisième en code binaire.
   • La solution : Ils ont créé un "traducteur" qui a forcé tout le monde à utiliser le même dictionnaire (le code SNOMED-CT) et les mêmes couleurs pour les mêmes organes. Soudain, tout le monde parlait la même langue.

2. Le Vote à Main Levée (Le Consensus) :
   Puisqu'ils n'avaient pas de réponse officielle, ils ont utilisé la logique du groupe pour repérer les zones de tension.

   • L'analogie : Si 5 musiciens sur 6 jouent la même note, et que le 6ème joue une note complètement différente, il est fort probable que le 6ème se trompe (ou que les 5 autres se trompent tous !).
   • La méthode : Ils ont créé une "note moyenne" (le consensus) basée sur ce que la majorité des modèles ont produit. Ensuite, ils ont mesuré à quel point chaque modèle s'éloignait de cette moyenne.
   • ⚠️ Note importante : Le fait que tout le monde soit d'accord (le consensus) ne signifie pas nécessairement qu'ils ont raison ! Cela signifie simplement qu'ils sont d'accord. L'accord est un signal utile, mais imparfait. Ce qui est vraiment crucial, c'est de repérer les désaccords, car c'est là que l'erreur se cache souvent.

3. Les Lunettes Magiques (La Visualisation) :
   Ils ont développé deux outils pour voir les résultats :

   • OHIF (Le Visionneuse Web) : Comme regarder une vidéo sur YouTube. N'importe qui peut ouvrir son navigateur, cliquer sur un point sur un graphique, et voir instantanément le scanner du patient avec les six versions de l'IA affichées côte à côte. C'est comme un écran divisé qui permet de comparer visuellement la même tranche du corps, vue par les six modèles, sans rien installer.
   • 3D Slicer (Le Laboratoire de Détective) : Un logiciel plus puissant pour les experts, qui permet de tourner les organes en 3D, de les couper en tranches et de les comparer côte à côte, comme si on comparait deux maquettes d'architecte.

🔍 Ce qu'ils ont découvert (L'Enquête)

Ils ont testé ces modèles sur des scanners de poumons, de cœurs, de côtes et de vertèbres. Voici ce qu'ils ont trouvé :

• Les Poumons (Les Stars) : C'était facile ! Tous les modèles étaient d'accord à 95 %. C'est comme si tous les musiciens jouaient parfaitement la même mélodie.
• Le Cœur (Le Cas Spécial) : Un modèle (CADS) dessinait le cœur comme une pomme compacte, tandis que les autres incluaient les gros vaisseaux sanguins comme des branches. Une fois qu'on a exclu ce modèle "différent", les autres s'accordaient très bien.
• Les Côtes et les Vertèbres (Les Problématiques) : C'est ici que ça coince. Quatre des modèles (qui avaient tous été entraînés sur les mêmes données) faisaient la même erreur : ils mélangeaient les côtes entre elles ou collaient deux vertèbres ensemble. C'était comme si quatre musiciens jouaient faux exactement de la même manière parce qu'ils avaient appris sur la même mauvaise partition.
  • Le résultat : Deux modèles (MOOSE et CADS) qui avaient été entraînés différemment ont fait un travail beaucoup plus précis sur les os.

🎯 Pourquoi est-ce important ?

Ce rapport ne dit pas simplement "tel modèle est le meilleur". Il dit : "Voici comment repérer où les modèles ne sont pas d'accord, pour que les experts humains sachent où regarder en premier."

C'est comme si on créait un guide de triage pour les chercheurs. Au lieu de devoir embaucher un guide local (un expert radiologue) pour vérifier chaque détail de chaque nouveau pays (nouveau jeu de données), ils peuvent utiliser cette boîte à outils pour repérer les zones de désaccord et concentrer l'attention humaine là où c'est le plus nécessaire.

🚀 En résumé

Cette équipe a construit un pont entre des outils d'IA très différents. Ils ont prouvé que même sans connaître la "vérité absolue", on peut utiliser la sagesse de la foule (le consensus) et de bons outils de comparaison pour repérer les désaccords et signaler les cas qui nécessitent une vérification humaine.

Ils ont rendu tous leurs outils, leurs données et leurs graphiques gratuits et publics, afin que tout le monde puisse utiliser cette méthode pour améliorer la santé de demain.

---

Ce que cela change pour la science :

• Avant : "Ils prétendent tous être les meilleurs pour dessiner ces contours."

• Maintenant : "Ils essaient tous de dessiner ces contours automatiquement, mais ils ne sont pas toujours d'accord entre eux."

• Avant : "Ce papier ne dit pas juste 'Le modèle X est mauvais'. Il explique comment trouver le meilleur outil quand on n'a pas de clé de réponse parfaite."

• Maintenant : "Ce papier ne dit pas juste 'Le modèle X est mauvais'. Il explique comment repérer les désaccords entre les modèles, pour que les experts humains sachent où regarder en premier."

• Avant : "Vous pouvez toujours trouver le meilleur élève en : 1. Faisant parler tout le monde la même langue. 2. Voyant qui est d'accord avec le groupe. 3. Utilisant des outils intelligents pour repérer les étranges outsiders."

• Maintenant : "Vous pouvez toujours repérer où les choses pourraient mal tourner en : 1. Faisant parler tout le monde la même langue. 2. Vérifiant où le groupe est d'accord et où il ne l'est pas. 3. Utilisant des outils intelligents pour signaler les désaccords afin qu'ils soient revus par un humain."

• Avant : "D'autres scientifiques peuvent utiliser ces outils pour choisir la meilleure IA pour leurs propres données médicales."

• Maintenant : "D'autres scientifiques peuvent utiliser ces outils pour évaluer dans quelle mesure différents modèles d'IA sont d'accord sur leurs propres données médicales et signaler les zones de désaccord pour une inspection plus approfondie."

• Avant : "Ils ont construit une boîte à outils pour nous aider à trouver la 'vérité' dans un monde de suppositions d'IA, assurant que lorsque nous automatisons la recherche médicale, nous ne propagons pas accidentellement des erreurs."

• Maintenant : "Ils ont construit une boîte à outils pour nous aider à repérer où les modèles d'IA ne sont pas d'accord, afin que les experts humains puissent prioriser la révision de ces cas — assurant que lorsque nous automatisons la recherche médicale, nous attrapons les erreurs potentielles avant qu'elles ne se propagent."

Résumé technique

1. Problématique

L'analyse secondaire de vastes ensembles de données d'imagerie médicale (comme le National Lung Screening Trial - NLST) nécessite souvent l'extraction de mesures quantitatives sur l'anatomie et la pathologie. Traditionnellement, cela exigeait une annotation manuelle par des experts, ce qui est prohibitif en termes de temps et de coût pour des milliers de cas. Bien que des modèles d'IA de segmentation anatomique robustes soient désormais disponibles, leur nombre croissant pose un défi majeur : comment évaluer la concordance entre plusieurs modèles sur des grands ensembles de données d'imagerie et identifier les cas où les modèles divergent, en priorisant ces cas pour une revue experte ?

Les obstacles spécifiques identifiés sont :

• L'absence de vérité terrain pour une évaluation objective.
• Le manque de standardisation des sorties des modèles (noms de structures, définitions des limites, formats de fichiers).
• La difficulté de comparer visuellement des centaines de structures sur des milliers de scans.
• L'impraticabilité d'une revue manuelle exhaustive par des experts.

L'objectif n'est pas d'identifier l'option la plus robuste pour l'annotation de datasets publics, mais d'identifier et de signaler les écarts entre les sorties des modèles pour une revue experte priorisée, permettant ainsi des décisions éclairées sur la pertinence des modèles.

2. Méthodologie

Les auteurs proposent un cadre pratique et reproductible pour évaluer la concordance entre plusieurs modèles de segmentation sans vérité terrain. La méthodologie se décompose en quatre étapes principales :

A. Harmonisation des données

Pour permettre la comparaison, les sorties de six modèles open-source (TotalSegmentator 1.5 & 2.6, Auto3DSeg, MOOSE, MultiTalent, CADS) ont été harmonisées :

• Conversion de format : Tous les résultats (NIfTI) ont été convertis en format standard DICOM SEG.
• Normalisation sémantique : Les étiquettes spécifiques à chaque modèle ont été mappées vers des termes standardisés SNOMED-CT (Système de terminologie médicale).
• Standardisation visuelle : Des couleurs DICOM cohérentes ont été attribuées à chaque structure anatomique pour faciliter la visualisation.

B. Sélection des structures d'étude

Sur un échantillon de 18 séries CT du NLST (9 études, 4 patients), les auteurs ont appliqué des critères d'exclusion pour ne conserver que les structures comparables :

• Exclusion des structures segmentées par un seul modèle.
• Exclusion des structures avec une couverture incomplète dans les scans thoraciques (ex: organes abdominaux).
• Exclusion des structures segmentées par moins de quatre modèles.
• Résultat final : 24 structures anatomiques analysées (vertèbres thoraciques T2-T10, côtes 3-6, sternum, lobes pulmonaires et cœur).

C. Évaluation Quantitative

Deux métriques ont été calculées pour chaque structure et chaque modèle par rapport à un consensus (l'intersection des voxels segmentés par tous les modèles) :

1. Coefficient de Dice (DSC) : Mesure du chevauchement spatial.
2. Rapport de volume : Comparaison des volumes estimés par modèle par rapport à celui du consensus.
   Les résultats sont visualisés via des diagrammes de dispersion interactifs permettant d'identifier rapidement les valeurs aberrantes (outliers).

D. Évaluation Qualitative et Outils de Visualisation

Pour inspecter les cas problématiques identifiés par les métriques :

• OHIF Viewer : Interface web pour la visualisation rapide des images et des segmentations sans installation locale.
• 3D Slicer (Extension CrossSegmentationExplorer) : Un nouveau module open-source développé par les auteurs permettant une comparaison côte à côte synchronisée de plusieurs segmentations sur les mêmes vues 2D/3D.
• Une revue par un expert radiologue a été effectuée sur les cas les plus discordants.

3. Contributions Clés

• Stratégie d'évaluation basée sur le consensus : Une méthodologie pour évaluer l'accord inter-modèle en l'absence de vérité terrain, signalant les désaccords pour une revue humaine priorisée. Note : Le consensus entre les modèles ne garantit pas la justesse, mais indique des zones d'accord par rapport aux zones nécessitant un examen plus approfondi.
• Outils logiciels open-source :
  • Scripts d'harmonisation (mapping vers SNOMED-CT et conversion DICOM).
  • Module CrossSegmentationExplorer pour 3D Slicer.
  • Visualisations interactives et tableaux de bord accessibles via le web.
• Dataset harmonisé public : Les résultats de segmentation harmonisés en DICOM SEG pour les 18 cas d'étude sont disponibles publiquement via l'Imaging Data Commons (IDC).
• Benchmarking de 6 modèles : Une comparaison directe de modèles récents (TotalSegmentator, MOOSE, CADS, etc.) sur un dataset réel de dépistage du cancer du poumon.

4. Résultats Principaux

L'analyse des 24 structures sur 18 scans a révélé des niveaux de performance très variables selon les structures et les modèles :

• Poumons (Excellente concordance) : Tous les modèles ont montré un accord élevé (DSC > 95%, chevauchement de volume > 90%). Les différences étaient mineures et limitées aux bords.
• Cœur (Concordance modérée) : L'accord était moyen (DSC 75-90%) principalement dû à des définitions anatomiques différentes. Le modèle CADS segmentait le cœur comme une structure compacte (excluant les vaisseaux), tandis que les autres incluaient les oreillettes et les gros vaisseaux. Une fois CADS exclu, l'accord des autres modèles dépassait 95%.
• Côtes et Vertèbres (Faible concordance) :
  • Une mauvaise concordance a été observée pour les côtes et les vertèbres thoraciques (DSC variant de 0% à 95%).
  • Erreurs systématiques détectées : Quatre modèles (TotalSegmentator 1.5/2.6, Auto3DSeg, MultiTalent), tous entraînés sur le même jeu de données (TotalSegmentator dataset), présentaient des erreurs similaires : fusion de vertèbres adjacentes, inclusion de parties de vertèbres voisines, ou omission de portions des côtes près des articulations costo-vertébrales.
  • Meilleure performance : Les modèles MOOSE et CADS (entraînés sur des données différentes) ont montré une bien meilleure précision anatomique pour les os, avec un DSC > 90% entre eux. MOOSE a notamment mieux inclus les articulations costo-vertébrales.
  • Sternum : Accord modéré, avec des différences notables dans la modélisation du processus xiphoïde.

5. Signification et Conclusion

Cette étude démontre qu'il est possible d'identifier des défauts de segmentation critiques et de signaler les désaccords pour une revue experte priorisée, même en l'absence de vérité terrain.

• Impact sur l'évaluation des modèles : Le cadre a permis de signaler des désaccords systématiques dans les structures osseuses entre des modèles partageant les mêmes données d'entraînement, révélant un artefact lié aux données d'entraînement qui n'aurait pas été visible sans une comparaison inter-modèle. Cela guide les chercheurs vers une inspection plus ciblée plutôt que vers un rejet automatique.
• Réutilisabilité : Le cadre et les outils développés sont agnostiques aux modèles et aux datasets. Ils peuvent être appliqués à n'importe quel ensemble de données d'imagerie 3D pour faciliter la réutilisation secondaire des données. Les chercheurs peuvent ainsi évaluer la concordance entre les modèles sur leurs propres datasets et identifier les zones de désaccord nécessitant une inspection plus attentive.
• Limites et perspectives : La méthode repose sur le consensus, ce qui signifie que si tous les modèles font la même erreur, elle ne sera pas détectée. Les auteurs prévoient d'étendre l'analyse à un échantillon plus représentatif du NLST et d'intégrer des méthodes statistiques avancées (comme STAPLE) pour affiner l'évaluation de la qualité basée sur la concordance.

En résumé, ce travail fournit une "boîte à outils" essentielle pour la communauté de l'imagerie médicale afin de valider, comparer et déployer des modèles d'IA de segmentation à grande échelle de manière rigoureuse et transparente. L'analyse de la concordance inter-modèle est une stratégie viable et efficace pour le contrôle qualité en imagerie médicale, permettant aux chercheurs de signaler et de prioriser les cas de désaccord pour une revue experte.