In search of truth: Evaluating concordance of AI-based anatomy segmentation models

Dit artikel introduceert een praktisch framework voor het evalueren van concordantie tussen AI-modellen voor anatomische segmentatie op datasets zonder grondwahrheid door outputs te harmoniseren naar een standaardrepresentatie en interactieve visualisatietools te bieden, waarbij de bruikbaarheid wordt aangetoond door de vergelijking van zes open-source modellen op NLST CT-scans om discrepanties te signaleren en gevallen van inter-model onenigheid te prioriteren voor deskundige review.

De kern

De Gids voor de AI-Keuken: Hoe we 'slijm' vinden en weten waar we moeten kijken

Stel je voor dat je een enorme keuken hebt met duizenden foto's van mensen (in dit geval CT-scanfoto's van longen). Je wilt weten hoe groot de longen, het hart of de ribben zijn van al deze mensen. Vroeger moest een menselijke expert, zoals een radioloog, elke foto minutenlang bestuderen en met de hand de organen 'omlijnen'. Dat is als het met de hand schilderen van een muur van 100 meter: het duurt eeuwen en kost een fortuin.

Gelukkig zijn er nu AI-robots (de modellen) die dit werk voor ons kunnen doen. Ze kijken naar de foto en tekenen automatisch de organen in. Maar er is een probleem: er zijn niet één, maar zes verschillende robots die allemaal proberen de organen in te tekenen, maar ze komen er niet altijd uit met elkaar. Het is alsof je zes koks hebt die allemaal een soep maken, maar ze gebruiken verschillende recepten en ingrediënten.

De auteurs van dit artikel hebben een slimme manier bedacht om te kijken waar deze robots het oneens zijn, zodat menselijke experts precies weten waar ze hun tijd moeten besteden.

De Grote Vergelijking: Een Kookwedstrijd om te vinden waar het misgaat

Hier is hoe ze het aanpakken, vertaald in alledaagse taal:

1. Het Vertaalboek (Harmonisatie)
Elke robot spreekt zijn eigen taal. De ene noemt een rib "Rib 3", de andere "RIB_03" of "Linker Rib 3". Als je ze allemaal naast elkaar zet, is het een chaos.

• De oplossing: De onderzoekers hebben een groot vertaalboek gemaakt. Ze hebben alle namen van de robots omgezet naar één standaardtaal (zoals een universele menukaart). Nu kunnen ze de rib van Robot A direct vergelijken met de rib van Robot B, alsof ze allemaal in hetzelfde restaurant werken.

2. De 'Meest Geloofde' Soep (Consensus)
Omdat we niet weten wie de perfecte soep maakt, gebruiken ze een slimme truc: kijken waar ze het eens zijn en waar ze het oneens zijn.

• Stel, zes koken soep. Als vijf koks zeggen "voeg zout toe" en één zegt "voeg suiker toe", is de kans groot dat de suiker-kok iets anders doet dan de rest.
• De onderzoekers kijken: waar zijn alle zes het eens over? Die gedeelde delen noemen ze de "consensus". Als alle robots zeggen "dit is een long", dan is dat waarschijnlijk een long. Als ze het oneens zijn, is dat een waarschuwingssignaal.

Belangrijke nuance: Als alle robots het eens zijn (consensus), betekent dit niet automatisch dat ze het juiste antwoord hebben. Het betekent alleen dat ze het met elkaar eens zijn. Soms kunnen alle robots dezelfde fout maken. Maar als ze het oneens zijn, weten we zeker dat er iets is dat we nader moeten onderzoeken.

3. De Digitale Loupe (Visualisatie)
Ze hebben speciale digitale hulpmiddelen gebouwd (zoals een superkrachtige vergrootglas):

• Interactieve Grafieken: Dit zijn als een weerkaart. Als een puntje ver weg staat van de rest, zie je direct: "Hé, deze robot doet iets anders dan de anderen!" Je kunt erop klikken en direct naar de foto springen om te kijken wat er misgaat.
• De 3D-Bruiloft (CrossSegmentationExplorer): Ze hebben een nieuwe tool gemaakt die het mogelijk maakt om de resultaten van alle robots naast elkaar te zetten op één scherm. In plaats van een simpele "venster"-weergave, biedt dit een gesplitst scherm of een paneel voor zij-aan-zij vergelijking. Hiermee kun je precies dezelfde slice van de borstkas van één patiënt tegelijkertijd zien, met de resultaten van alle zes de modellen. Je kunt de rib van Robot A zien en direct de rib van Robot B eroverheen leggen. Als ze niet overeenkomen, zie je een gat of een overlap. Het is alsof je twee transparante folies met tekeningen op elkaar legt om te zien wie de lijnen anders trekt.

Wat vonden ze? (De Verdict)

Toen ze de robots op de longscans lieten werken, kwamen ze tot interessante ontdekkingen:

• De Longen (De Eensgezinde Spelers): Bij de longen waren alle robots het bijna perfect eens. Ze tekenden de longen bijna identiek. Dit is goed nieuws!
• Het Hart (De Verwarde Speler): Hier was het lastig. Sommige robots zagen het hart als één grote bal, terwijl anderen het opsplitsten in kamers en vaten. Een robot (CADS) zag het hart heel anders dan de rest. Het bleek dat ze het hart op een andere manier definieerden, niet per se dat ze fout zaten, maar dat ze andere regels hanteerden.
• De Ribben en Wervels (De Grote Foutenmaker): Hier ging het mis. Vier van de zes robots maakten dezelfde fouten. Ze zagen soms twee ribben als één grote rib, of ze misten stukjes van de wervels.
  • De oorzaak: Deze vier robots waren allemaal getraind op dezelfde oude dataset (TotalSegmentator). Het bleek dat die oude dataset al fouten bevatte, en de robots hebben die fouten gewoon overgenomen. Het is alsof vier leerlingen dezelfde fout in hun huiswerk hebben staan omdat ze allemaal naar hetzelfde verkeerde voorbeeld hebben gekeken.
  • De andere twee robots (MOOSE en CADS), die op andere data waren getraind, maakten deze fouten niet en lieten veel betere resultaten zien.

Waarom is dit belangrijk?

Dit onderzoek is als een triage-instrument voor de toekomst.
Vroeger zou je, zonder deze tools, misschien denken dat een robot perfect is omdat hij het met de meeste anderen eens is. Nu hebben de onderzoekers een handleiding gemaakt die iedereen kan gebruiken om te zien waar de onenigheid zit.

Zij hebben hun gereedschappen (de vertaalboeken, de vergelijkingstools en de grafieken) gratis beschikbaar gesteld. Hierdoor kunnen andere onderzoekers, zelfs zonder experts die urenlang naar foto's moeten staren, snel zien waar AI-modellen het oneens zijn en die gevallen prioriteren voor menselijke controle.

Kortom: Ze hebben een manier gevonden om te zeggen: "Kijk, deze robot en die robot zijn het oneens over dit stukje, dus een mens moet daar even naar kijken." Ze hebben een toolkit gebouwd om te helpen waar AI-modellen het oneens zijn, zodat menselijke experts prioriteit kunnen geven aan het controleren van die gevallen — zodat we, wanneer we medisch onderzoek automatiseren, mogelijke fouten opvangen voordat ze zich verspreiden.

Technische samenvatting

Probleemstelling

De beschikbaarheid van grote, openbare medische beelddatasets (zoals de National Lung Screening Trial, NLST) biedt enorme kansen voor secundair onderzoek. Een cruciale stap in deze analyses is vaak het extraheren van kwantitatieve anatomische metingen, wat traditioneel vereiste dat experts handmatig segmentaties maakten – een proces dat te tijdrovend en kostbaar is voor duizenden scans.

Hoewel er steeds meer robuuste AI-modellen zijn ontwikkeld voor automatische anatomische segmentatie (vaak "whole-body" modellen), ontbreekt er een gestandaardiseerde manier om deze modellen te vergelijken op datasets zonder ground truth (manuele referentie-annotaties). De uitdagingen zijn:

1. Gebrek aan ground truth: Het is onmogelijk om objectieve prestaties te meten zonder een "waarheid" om tegen te vergelijken.
2. Gebrek aan standaardisatie: Verschillende modellen gebruiken verschillende labels, kleurencodes en definities voor dezelfde anatomische structuren, wat directe vergelijking bemoeilijkt.
3. Schalingsproblemen: Het visueel controleren van honderden structuren over duizenden scans door experts is niet haalbaar.

De kernvraag van dit onderzoek is niet hoe men de "beste" model kiest, maar hoe men de concordantie tussen meerdere modellen kan evalueren op grote medische datasets en gevallen kan identificeren waar modellen het oneens zijn, om deze vervolgens te prioriteren voor expert-review.

Methodologie

De auteurs hebben een praktisch raamwerk ontwikkeld om AI-segmentatiemodellen te evalueren zonder ground truth, gebaseerd op inter-model consensus en gestandaardiseerde weergave. Het doel is niet om een hiërarchie van modellen te creëren, maar om discrepanties te signaleren die verdere inspectie vereisen.

1. Dataset en Modellen:

   • Data: Een steekproef van 18 CT-scans (9 studies) van 4 patiënten uit de NLST-dataset.
   • Modellen: Zes open-source modellen werden getest: TotalSegmentator (versies 1.5 en 2.6), Auto3DSeg, MOOSE, MultiTalent, en CADS.
   • Selectie: Er werden 24 anatomische structuren geselecteerd voor analyse (longen, ribben, wervels, sternum, hart) die door meerdere modellen werden gedekt.

2. Harmonisatie (Data Standaardisatie):

   • Alle modeloutput (oorspronkelijk in NIfTI) werd geconverteerd naar het DICOM SEG-formaat.
   • Een cruciale stap was het toewijzen van uniforme SNOMED-CT codes aan de model-specifieke labels. Hierdoor werden structuren zoals "long" of "wervel" consistent benoemd en gekleurd, ongeacht het oorspronkelijke model.
   • Dit maakte interoperabiliteit mogelijk met bestaande DICOM-archieven en viewers.

3. Kwantitatieve Analyse:

   • Er werd een consensus-segmentatie gegenereerd: het volume waar alle modellen overeenkwamen.
   • Twee metrieken werden gebruikt om de overeenkomst te meten:
     • Dice Similarity Coefficient (DSC): Ruimtelijke overlap tussen elk model en de consensus.
     • Volumeratio: Vergelijking van het geschatte volume per model ten opzichte van de consensus.
   • De resultaten werden gevisualiseerd in interactieve scatterplots om outliers (afwijkende modellen) snel te identificeren.

4. Kwalitatieve Analyse en Tools:

   • OHIF Viewer: Een web-based viewer voor snelle inspectie van individuele gevallen, gekoppeld aan de interactieve plots.
   • CrossSegmentationExplorer: Een nieuwe extensie voor 3D Slicer die ontwikkeld is door de auteurs. Deze tool stelt onderzoekers in staat om meerdere segmentaties van hetzelfde volume naast elkaar te bekijken in gesynchroniseerde 2D- en 3D-weergaven, met de mogelijkheid om per structuur door de modellen te navigeren.
   • Een radioloog met expertise in volumetrische anatomie voerde een expert-review uit op de door de tools geïdentificeerde afwijkingen.

Belangrijkste Bijdragen

• Framework voor evaluatie zonder ground truth: Een reproduceerbare methode om modellen te vergelijken op basis van onderlinge overeenkomst (consensus) in plaats van een externe referentie.
• Standaardisatie-infrastructuur: Een complete pipeline voor het harmoniseren van labels naar SNOMED-CT en het converteren naar DICOM SEG, wat de uitwisselbaarheid van AI-resultaten vergroot.
• Open-source tooling:
  • Scripts voor harmonisatie en conversie.
  • De CrossSegmentationExplorer module voor 3D Slicer.
  • Interactieve visualisatieplots en een web-interface via OHIF.
• Publieke dataset: De geharmoniseerde segmentaties van de NLST-steekproef zijn openbaar beschikbaar gesteld via het Imaging Data Commons (IDC).

Resultaten

De toepassing van het framework op de 24 geselecteerde structuren leverde de volgende inzichten op:

1. Lunghervorming: Alle modellen toonden een uitstekende overeenkomst (DSC > 95%, volume-overlap > 90%). De modellen waren zeer consistent in het segmenteren van longkwabben.
2. Hart: Er was matige overeenkomst (DSC 75-90%). Dit bleek te komen door verschillende anatomische definities: sommige modellen (zoals CADS) segmenteerden het hart als één compacte structuur, terwijl andere (zoals TotalSegmentator 2.6) ook de grote vaten en boezems includeerden. Na uitsluiting van het model met de afwijkende definitie verbeterde de overeenkomst aanzienlijk.
3. Ribben en Wervels (Kritieke bevindingen):
   • Er werd een slechte overeenkomst geconstateerd (DSC soms < 60%, volume-overlap < 50%) voor ribben en wervels.
   • Oorzaak: Vier van de zes modellen (TotalSegmentator 1.5, TotalSegmentator 2.6, Auto3DSeg, MultiTalent) vertoonden systematische fouten, zoals het onterecht samenvoegen van aangrenzende wervels, het missen van delen van de rib bij de wervelgelenk, of het verkeerd labelen van structuren.
   • Deze fouten werden geassocieerd met het gebruik van dezelfde trainingsdataset (TotalSegmentator dataset), die bekende kwaliteitsproblemen bevatte.
   • De modellen MOOSE en CADS (die niet volledig op die specifieke dataset waren getraind of een andere aanpak gebruikten) toonden aanzienlijk betere prestaties en een hogere onderlinge overeenkomst (DSC > 90%).
   • Belangrijke nuance: Het framework signaleerde hiermee systematische discrepanties in botstructuren tussen modellen die dezelfde trainingsdata deelden. Dit onthulde een gedeeld trainingsdata-artefact dat niet zichtbaar zou zijn geweest zonder cross-model vergelijking, zonder noodzakelijkerwijs te concluderen dat de ene groep "goed" en de andere "fout" is, maar wel dat er een gedeeld bias-probleem bestaat.
4. Sternum: Matige overeenkomst, voornamelijk door verschillen in hoe de xiphoid-uitsteeksel werd gedefinieerd en gesegmenteerd.

Betekenis en Conclusie

Dit onderzoek demonstreert dat het mogelijk is om de kwaliteit van AI-segmentatiemodellen te evalueren door gebruik te maken van gestandaardiseerde dataformaten en consensus-metrieken, met als doel discrepanties te flaggen voor prioritering.

• Praktische impact: Het framework stelt onderzoekers in staat om snel "probleemgevallen" te detecteren en gefundeerde beslissingen te nemen over de geschiktheid van modellen, waarbij discrepanties worden geflagged voor gespecialiseerde expert-review.
• Herhaalbaarheid: Door de tools en data openbaar te maken, kunnen andere onderzoekers dit proces repliceren op andere datasets (bijv. MRI of PET) en voor andere anatomische gebieden om concordantie te evalueren en gebieden van onenigheid te identificeren die nadere inspectie vereisen.
• Verbetering van AI: De studie identificeerde specifieke zwaktes in bestaande modellen (vooral gerelateerd aan trainingsdata-kwaliteit), wat ontwikkelaars helpt bij het verbeteren van hun algoritmen.

De auteurs concluderen dat inter-model concordantie-analyse een levensvatbare en effectieve strategie is voor kwaliteitscontrole in medische beeldvorming, waardoor onderzoekers gevallen van onenigheid kunnen flaggen en prioriteren voor expert-review. Dit raamwerk is een essentiële stap naar het betrouwbaar maken van secundaire analyses op grote medische beelddatasets en het bevorderen van de adoptie van AI-gedreven anatomische karakterisering.