BrainFusionNet: a deep learning and XAI model to understand local, global, and sequential features of MRI images for improved brain tumour detection

Het Grote Plaatje: Een Detectiveteam voor Breenscans

Stel je voor dat je probeert een kleine, verborgen schat (een hersentumor) te vinden in een zeer lawaaierige, mistige kamer (een MRI-scan). Soms is de mist zo dik dat je de randen van de schat niet kunt zien. Soms lijkt de schat precies op de meubels eromheen.

Al een lange tijd proberen computers (Deep Learning) dit puzzelstukje op te lossen. Maar ze raken vaak in de war omdat:

1. De ruis de randen verbergt.
2. De complexiteit het moeilijk maakt om het verschil te zien tussen gezond weefsel en ziek weefsel.
3. Het "vergetelheidsprobleem": Terwijl de computer dieper in de afbeelding kijkt om details te vinden, vergeet hij soms het grote plaatje, of andersom.

De auteurs van dit artikel hebben een nieuwe tool gebouwd genaamd BrainFusionNet. Zie dit niet als een enkele detective, maar als een gespecialiseerd driepersonen-detectiveteam dat samenwerkt om de zaak op te lossen.

Het Driepersonen-Detectiveteam

In plaats van slechts één type "computerbrein" te gebruiken, combineert dit model drie verschillende "hersenen" (algoritmen) om de MRI vanuit verschillende hoeken te bekijken:

1. De "Lokale" Detective (CNN):

   • Wat het doet: Deze detective gebruikt een vergrootglas. Hij kijkt naar kleine, specifieke plekken in de afbeelding om kleine details, texturen en randen te vinden.
   • De Analogie: Stel je voor dat je naar een schilderij kijkt en je concentreert op de individuele penseelstreken om te zien of de verf barst vertoont. Dit deel van het model is erg goed in het spotten van de "korrel" van de tumor.

2. De "Globale" Detective (Vision Transformer of ViT):

   • Wat het doet: Deze detective doet een stap terug en kijkt in één keer naar de hele kamer. Hij legt de verbanden tussen verschillende delen van de afbeelding om de context te begrijpen.
   • De Analogie: Stel je voor dat je een stap terug doet van het schilderij om het hele plaatje te zien. Het helpt het model om te begrijpen hoe de tumor zich verhoudt tot de rest van de hersenen, zodat het niet verdwaalt in de kleine details. Het werkt als een "self-attention" mechanisme, dat beslist welke delen van de afbeelding belangrijk zijn om op te focussen.

3. De "Verhalenverteller" (GRU):

   • Wat het doet: Deze detective neemt de aantekeningen van de lokale en globale detectives en zet ze in de juiste volgorde. Hoewel een MRI een statische afbeelding is, hebben de kenmerken binnenin een sequentie (zoals een verhaal).
   • De Analogie: Stel je een detective voor die luistert naar de eerste twee getuigen en dan zegt: "Oké, op basis van wat zij in deze volgorde hebben gezegd, is dit de conclusie." Dit deel helpt het model om de relatie tussen de lokale details en het globale plaatje te begrijpen voordat er een definitieve beslissing wordt genomen.

Het Resultaat: Door deze drie benaderingen te fuseren, kan het model zowel de kleine details als het grote plaatje tegelijkertijd zien, wat leidt tot een veel nauwkeurigere diagnose.

Het "Black Box"-probleem: De computer zichzelf laten uitleggen

Meestal, wanneer een computer zegt: "Dit is een tumor," kunnen artsen niet vragen: "Waarom?" De computer geeft gewoon een antwoord, wat als een "black box" (zwarte doos) werkt.

Om dit op te lossen, hebben de auteurs Explainable AI (XAI) tools toegevoegd. Ze gebruikten drie verschillende "zaklampen" (LIME, SHAP en Grad-CAM) om op de MRI-afbeelding te schijnen en precies te laten zien waar de computer naar keek toen hij een beslissing nam.

• Groene highlights: "Dit deel van de afbeelding deed mij denken dat het een tumor is."
• Rode highlights: "Dit deel deed mij denken dat het geen tumor is."

Dit stelt artsen in staat om te verifiëren of de computer naar de werkelijke tumor kijkt of dat hij slechts gokt op basis van een willekeurige schaduw.

Het Experiment: Hoe goed werkte het?

Het team heeft hun nieuwe "Driepersonen-Team" getest tegen zes andere beroemde computermodellen (zoals VGG16 en ResNet) met behulp van twee verschillende sets hersenscan-data.

• De Score: BrainFusionNet behaalde 98% nauwkeurigheid.
• De Competitie: De beste van de andere modellen behaalde ongeveer 96%.
• Het Geheime Ingrediënt: Het paper vond dat het nieuwe model vooral goed was in het vinden van kleine tumoren die andere modellen misten. Het kon ook beter omgaan met de "ruis" in de afbeeldingen.

Een Verrassende Ontdekking: De Helderheid van de Afbeelding

De onderzoekers deden iets unieks: ze analyseerden de pixelintensiteit (hoe helder of donker de pixels zijn) in de afbeeldingen.

• De Bevinding: Ze ontdekten dat afbeeldingen met een hogere helderheid (hogere pixelintensiteit) veel gemakkelijker door de computer correct geclassificeerd konden worden.
• De Analogie: Het is alsof je een boek probeert te lezen. Als de lichten fel zijn (hoge intensiteit), kun je de woorden gemakkelijk lezen. Als de lichten gedimd zijn (lage intensiteit), lees je misschien een woord verkeerd. De computer heeft meer moeite wanneer de "verlichting" in de MRI slecht of inconsistent is.

Wat het Paper Niet Zegt

Het is belangrijk om vast te houden aan wat het paper daadwerkelijk beweert:

• Het is geen geneesmiddel: Het paper gaat over het detecteren en classificeren van tumoren, niet over het behandelen ervan.
• Het is nog geen ziekenhuisinstrument: Hoewel de auteurs vermelden dat ze een prototype-app hebben gebouwd (een webinterface en een Android-app) om te laten zien hoe het zou kunnen werken, richt het paper zich op het onderzoek en het testen van het model zelf, niet op de implementatie in echte ziekenhuizen.
• Het is beperkt tot MRI: Het model is alleen getest op MRI-scans. De auteurs geven toe dat ze het nog niet op CT-scans, röntgenfoto's of echografiebeelden hebben getest.
• Transfer Learning faalde: Het paper merkt op dat wanneer ze "Transfer Learning" probeerden te gebruiken (een model dat getraind is op algemene foto's toepassen op hersenscans), dit eigenlijk slechter presteerde dan trainen vanaf nul. Dit suggereert dat hersenscans zo uniek zijn dat algemene kennis hier niet veel helpt.

Samenvatting

BrainFusionNet is een nieuw, hybride computermodel dat drie verschillende manieren combineert om naar hersenscans te kijken (kleine details, het grote plaatje en de sequentie van kenmerken) om tumoren te vinden. Het is nauwkeuriger dan huidige topmodellen, vooral voor kleine tumoren, en bevat een "zaklamp"-functie die artsen precies laat zien waarom het een beslissing heeft genomen. De studie onthulde ook dat de helderheid van de MRI-afbeelding zelf een enorme rol speelt in hoe goed de computer de tumor kan zien.