A Cognitive Explainer for Fetal ultrasound images classifier Based on Medical Concepts

Deze paper presenteert een interpreteerbaar kader voor het classificeren van foetale ultrasone beelden dat gebruikmaakt van medische concepten en een concept-gebaseerde GCN om de beslissingsprocessen van diepe neurale netwerken transparant en klinisch begrijpelijk te maken.

De kern

Stel je voor dat een echo maken van een ongeboren baby een beetje lijkt op het zoeken naar een specifiek plaatje in een enorme, wazige fotoalbum. Een ervaren echo-operator (de arts die de echo maakt) moet precies weten waar hij moet kijken om de juiste "standaardplaatjes" te vinden, zoals de buik, het hoofd of het dijbeen van de baby. Dit is heel lastig en vereist jaren van training.

Deze paper introduceert een slimme computer die kan helpen, maar met een belangrijk verschil: de computer vertelt je niet alleen wat het ziet, maar ook waarom het die conclusie trekt, net zoals een menselijke arts dat zou doen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwarte Doos"

Tot nu toe waren slimme computerprogramma's (diep neurale netwerken) als een zwarte doos. Je stopte een echo-beeld erin, en de computer gaf een antwoord: "Dit is de buik van de baby." Maar de arts vroeg zich af: "Waarom? Kijkt hij naar de navelstreng? Naar de ruggengraat? Naar de vorm?" Omdat de computer dit niet kon uitleggen, was het lastig om er volledig op te vertrouwen. In de geneeskunde is het niet genoeg om alleen het juiste antwoord te geven; je moet ook de reden kunnen geven.

2. De Oplossing: De "Medische Detective"

De auteurs van dit paper hebben een nieuw systeem bedacht dat werkt als een medische detective. In plaats van dat de computer naar elke kleine pixel (het kleurtje van het beeldje) kijkt, laat hij de computer zoeken naar medische concepten waar echte artsen ook naar kijken.

Stel je voor dat je een puzzel moet maken.

• De oude manier: De computer kijkt naar elke losse puzzelstukje en zegt: "Dit stukje lijkt op een buik."
• De nieuwe manier: De computer zegt: "Ik zie een maagbelletje (een rondje), een ruggengraat (een lijntje) en een navelstreng. Omdat deze drie dingen op deze specifieke manier bij elkaar liggen, weet ik zeker dat dit de buik is."

3. Hoe werkt het? (De Drie Stappen)

Het systeem werkt in drie stappen, alsof je een verhaal opbouwt:

• Stap 1: Het vinden van de aanwijzingen (Concepten)
  De computer kijkt eerst naar de echo en zoekt naar belangrijke onderdelen die artsen kennen, zoals de maag, de ruggengraat of het dijbeen. Het gebruikt een slimme techniek om deze onderdelen te "isoleren" uit het wazige beeld. Het is alsof je met een flitslicht door een donkere kamer loopt en alleen de belangrijke voorwerpen verlicht.

• Stap 2: Het tekenen van een landkaart (De Grafiek)
  Vervolgens maakt de computer een soort landkaart van deze aanwijzingen. Hij verbindt de maag met de ruggengraat en de navelstreng. Hij kijkt niet alleen naar de objecten zelf, maar vooral naar hoe ze ten opzichte van elkaar staan.

  • Vergelijking: Stel je voor dat je een detective bent die een schets maakt van een verdachte. Het is niet alleen belangrijk dat de verdachte een hoed draagt (het object), maar ook dat hij naast de auto staat (de relatie). De computer leert deze relaties met een speciale "Grafische Neuronale Netwerk" (GCN).

• Stap 3: Het uitleggen van het verhaal (De Uitleg)
  Als de computer een diagnose stelt, kan hij nu terugkijken naar zijn landkaart en zeggen: "Ik heb dit antwoord gekozen omdat de maagbelletjes hier staan en de ruggengraat daar, precies zoals we dat verwachten." De arts ziet dan een visuele kaart waarop de belangrijkste onderdelen rood (belangrijk) en blauw (minder belangrijk) zijn gekleurd.

4. Waarom is dit geweldig?

In de experimenten hebben ze dit systeem getest op echte echo-beelden. Ze hebben het laten zien aan echte artsen.

• Vertrouwen: De artsen vonden het veel betrouwbaarder omdat ze de redenering konden volgen. Het voelde niet als magie, maar als logica.
• Fouten vinden: Als de computer een fout maakt, kunnen de artsen direct zien waarom. Misschien dacht de computer dat een vlekje een maagbelletje was, maar de uitleg laat zien dat de verhouding met de ruggengraat niet klopte.
• Taal: De computer praat in de taal van de arts (anatomie), niet in de taal van de programmeur (pixels).

Samenvattend

Dit onderzoek is als het geven van een recept aan een kok.

• De oude AI zei alleen: "De taart is klaar." (Zonder uitleg).
• Deze nieuwe AI zegt: "De taart is klaar omdat ik de eieren, het meel en de suiker heb gemengd en ze precies 20 minuten heb gebakken. Hier is de foto van de ingrediënten die ik heb gebruikt."

Hierdoor kunnen artsen de computer beter vertrouwen en gebruiken om sneller en nauwkeuriger diagnoses te stellen bij zwangere vrouwen. Het maakt de "zwarte doos" transparant en begrijpelijk.

Technische samenvatting

Probleemstelling

De detectie van standaard scanvlakken tijdens 2D-echoscopieën in de tweede helft van de zwangerschap is een uiterst complexe taak die uitgebreide medische kennis en jarenlange training vereist. Hoewel diepe neurale netwerken (DNN) onervaren operators kunnen helpen bij het identificeren van deze vlakken, worden hun toepassingen in de kliniek beperkt door het gebrek aan transparantie en interpreteerbaarheid (het "black-box"-probleem).

Bestaande interpretatiemethoden voor DNN's focussen voornamelijk op pixel-niveau kenmerken (zoals saliency maps). Dit heeft drie belangrijke nadelen:

1. Ze negeren de relatie tussen anatomische structuren.
2. Pixel-gebaseerde uitleg is vaak vaag en moeilijk te interpreteren voor radiologen.
3. Ze bieden geen systematische beoordeling van de uitleg vanuit het perspectief van de klinische cognitie.

Artsen en sonografisten nemen beslissingen niet op basis van individuele pixels, maar op basis van medische concepten (zoals de aanwezigheid van een maagbel, ruggengraat of dijbeen) en hun onderlinge ruimtelijke relaties.

Methodologie

De auteurs stellen een nieuw interpreteerbaar raamwerk voor dat de beslissingsprocessen van een CNN simuleert vanuit het perspectief van de cognitie van een sonograaf. De pijplijn bestaat uit vier hoofdfasen:

1. Identificatie van Medische Concepten:

   • In plaats van direct het scanvlak te classificeren, zoekt het systeem eerst naar bewijsmateriaal: de cruciale anatomische structuren.
   • Er wordt gebruik gemaakt van SLIC (Simple Linear Iterative Clustering) voor superpixel-segmentatie.
   • Medische prior-kennis (van ervaren sonografisten) wordt gebruikt om relevante concepten te selecteren. Bijvoorbeeld:
     • FASP (Abdomen): Maagbel (SB), navelstreng (UV), ruggengraat (SP).
     • FTSP (Thalamus): Septum pellucidum (CSP), linker- en rechterthalamus (LT/RT).
     • FFSP (Dijbeen): Dijbeen (FM) en metafyse (MP).
   • Om irrelevante achtergrondruis te filteren, wordt Grad-CAM gebruikt om de focus te beperken tot de voorgrond (de foetus).

2. Constructie van een Concept-Graph:

   • De geïdentificeerde medische concepten worden omgezet in een grafische structuur $G = (V, E)$.
   • Knooppunten (Nodes): Vertegenwoordigen de medische concepten. De attributen zijn hoogwaardige features geëncodeerd door een vooraf getrainde CNN-classificator.
   • Randen (Edges): Vertegenwoordigen de relaties tussen concepten. Deze omvatten:
     • Ruimtelijke relaties (geinitialiseerd op basis van de positie in de afbeelding).
     • Correlaties gebaseerd op medische prior-kennis (bijv. de maagbel bevindt zich typisch nabij de kleine as van de buikellips).

3. Leren met Graph Convolutional Networks (GCN):

   • Een GCN wordt gebruikt om de interacties tussen deze concepten te modelleren, wat de beslissingsprocessen van een arts nabootst.
   • Het netwerk voert message aggregation en updates uit om de bijdrage van elke knoop (concept) en rand (relatie) tot de uiteindelijke classificatie te leren.
   • Een MLP (Multi-Layer Perceptron) verwerkt de grafische features om een waarschijnlijkheidsverdeling voor de klasse (het type scanvlak) te genereren.

4. Post-hoc Uitleg (Explainability):

   • Om het beslissingsproces te visualiseren, worden drie grafische uitlegmogelijkheden toegepast op het getrainde GCN:
     • Graph Sensitivity Analysis (SA): Berekent de bijdrage via de gradiënt.
     • Graph Integrated Gradients (IG): Meet de belangrijkheid door het invoer te schalen ten opzichte van een baseline.
     • Graph Grad-CAM: Visualiseert activaties en gradiënten in tussenliggende lagen om een "heatmap" van conceptbelang te genereren.

Belangrijkste Bijdragen

1. Concept-gebaseerd Raamwerk: Het introduceren van een interpreteerbaar model voor foetale US-classificatie dat medische concepten identificeert via medische prior-kennis, in plaats van puur op pixels te vertrouwen.
2. GCN voor Cognitieve Uitleg: Het gebruik van een GCN om de ruimtelijke relaties tussen medische concepten te coderen, waardoor de uitleg overeenkomt met de cognitieve manier waarop sonografisten redeneren.
3. Validatie door Experts: Een uitgebreide kwalitatieve en kwantitatieve evaluatie van grafische uitlegtechnieken, waarbij de resultaten zijn gevalideerd door ervaren sonografisten.

Resultaten

• Dataset: Het onderzoek gebruikte een privé-dataset van twee ziekenhuizen in Shenzhen (Hospital A en B), met in totaal duizenden 2D-echoscopie-afbeeldingen van drie standaardvlakken (FASP, FTSP, FFSP) en een "andere" klasse.
• Kwantitatieve Prestaties:
  • De GCN-modellen presteerden zeer goed op de testset en op de externe validatieset (Hospital B).
  • Modellen zoals DenseNet121 en MobileNetV2 als basis voor de GCN bereikten een nauwkeurigheid (ACC) van ongeveer 96-97% op de testset en 84-85% op de externe set (Hospital B), wat aantoont dat het model goed generaliseert.
  • ResNet50 toonde uitstekende prestaties op de externe dataset onder de CNN-modellen.
• Kwalitatieve Beoordeling:
  • Visuele resultaten (Figures 3, 4, 5) tonen aan dat de methode correcte anatomische structuren (zoals de ruggengraat en maagbel) identificeert als cruciaal voor de beslissing.
  • Een enquête onder vijf artsen bevestigde dat hun methode klinisch nuttiger is dan bestaande methoden (zoals Grad-CAM of CAMERAS). De artsen gaven aan dat het inzicht in de relaties tussen concepten het vertrouwen in het model verhoogt en helpt bij het begrijpen van fouten.

Betekenis en Conclusie

Deze studie biedt een doorbraak in medische AI door de kloof tussen "black-box" algoritmen en klinische praktijk te overbruggen. Door de beslissingen van een AI te vertalen naar medische concepten en hun relaties, wordt het model niet alleen nauwkeuriger, maar ook vertrouwenswaardiger voor medisch personeel.

De auteurs concluderen dat dit cognitieve uitlegmodel potentieel heeft om de adoptie van AI in de computer-geassisteerde diagnose (CAD) te versnellen, omdat het de redenering van de machine in termen presenteert die artsen begrijpen en kunnen verifiëren. Beperkingen van het huidige werk zijn de beperkte grootte van de externe dataset en het feit dat het momenteel alleen op statische afbeeldingen werkt, niet op realtime video.