BrainFusionNet: a deep learning and XAI model to understand local, global, and sequential features of MRI images for improved brain tumour detection

Das Große Ganze: Ein Detektiv-Team für Gehirnscans

Stellen Sie sich vor, Sie versuchen, einen winzigen, verborgenen Schatz (einen Hirntumor) in einem sehr verrauschten, nebligen Raum (einem MRT-Scan) zu finden. Manchmal ist der Nebel so dicht, dass man die Ränder des Schatzes nicht sehen kann. Manchmal sieht der Schatz genau aus wie die Möbel um ihn herum.

Schon lange versuchen Computer (Deep Learning), dieses Rätsel zu lösen. Aber sie werden oft verwirrt, weil:

1. Der Lärm die Kanten verbirgt.
2. Die Komplexität es schwierig macht, zwischen gesundem Gewebe und krankem Gewebe zu unterscheiden.
3. Das „Vergessen“-Problem: Während der Computer tiefer in das Bild eintaucht, um Details zu finden, vergisst er manchmal das große Ganze, oder umgekehrt.

Die Autoren dieser Arbeit haben ein neues Werkzeug namens BrainFusionNet entwickelt. Betrachten Sie es nicht als einen einzelnen Detektiv, sondern als ein spezialisiertes Drei-Personen-Detektiv-Team, das zusammenarbeitet, um den Fall zu lösen.

Das Drei-Personen-Detektiv-Team

Anstatt nur ein einziges „Computergehirn“ zu verwenden, kombiniert dieses Modell drei verschiedene „Gehirne“ (Algorithmen), um das MRT aus verschiedenen Blickwinkeln zu betrachten:

1. Der „lokale“ Detektiv (CNN):

   • Was er tut: Dieser Detektiv benutzt eine Lupe. Er betrachtet winzige, spezifische Stellen im Bild, um kleine Details, Texturen und Kanten zu finden.
   • Die Analogie: Stellen Sie sich vor, Sie betrachten ein Gemälde und konzentrieren sich auf die einzelnen Pinselstriche, um zu sehen, ob die Farbe rissig ist. Dieser Teil des Modells ist großartig darin, die „Körnung“ des Tumors zu erkennen.

2. Der „globale“ Detektiv (Vision Transformer oder ViT):

   • Was er tut: Dieser Detektiv tritt einen Schritt zurück und betrachtet den gesamten Raum auf einmal. Er verbindet die Punkte zwischen verschiedenen Teilen des Bildes, um den Kontext zu verstehen.
   • Die Analogie: Stellen Sie sich vor, Sie treten vom Gemälde zurück, um das ganze Bild zu sehen. Es hilft dem Modell zu verstehen, wie der Tumor mit dem Rest des Gehirns zusammenhängt, damit es sich nicht in den winzigen Details verliert. Er fungiert wie ein „Self-Attention“-Mechanismus, der entscheidet, welche Teile des Bildes wichtig sind, um darauf zu fokussieren.

3. Der „Geschichtenerzähler“ (GRU):

   • Was er tut: Dieser Detektiv nimmt die Notizen der lokalen und globalen Detektive entgegen und bringt sie in eine richtige Reihenfolge. Obwohl ein MRT ein statisches Bild ist, besitzen die Merkmale innerhalb des Bildes eine Sequenz (wie eine Geschichte).
   • Die Analogie: Stellen Sie sich einen Detektiv vor, der den Berichten der ersten beiden Zeugen zuhört und dann sagt: „Okay, basierend auf dem, was sie in dieser Reihenfolge gesagt haben, ist dies das Fazit.“ Dieser Teil hilft dem Modell, die Beziehung zwischen den lokalen Details und dem globalen Bild zu verstehen, bevor es eine endgültige Entscheidung trifft.

Das Ergebnis: Durch die Verschmelzung dieser drei Ansätze kann das Modell die kleinen Details und das große Ganze gleichzeitig sehen, was zu einer viel genaueren Diagnose führt.

Das „Black Box“-Problem: Den Computer erklären lassen

Normalerweise, wenn ein Computer sagt: „Das ist ein Tumor“, können Ärzte nicht fragen: „Warum?“ Der Computer gibt einfach eine Antwort, was wie eine „Black Box“ ist.

Um dies zu beheben, haben die Autoren Werkzeuge der Erklärbaren KI (XAI) hinzugefügt. Sie verwendeten drei verschiedene „Taschenlampen“ (LIME, SHAP und Grad-CAM), um das MRT-Bild anzuleuchten und genau zu zeigen, worauf der Computer geschaut hat, als er seine Entscheidung traf.

• Grüne Hervorhebungen: „Dieser Teil des Bildes hat mich glauben lassen, dass es ein Tumor ist.“
• Rote Hervorhebungen: „Dieser Teil hat mich glauben lassen, dass es kein Tumor ist.“

Dies ermöglicht es Ärzten zu verifizieren, ob der Computer tatsächlich auf den Tumor schaut oder nur aufgrund eines zufälligen Schattens rät.

Das Experiment: Wie gut hat es funktioniert?

Das Team hat sein neues „Drei-Personen-Team“ gegen sechs andere berühmte Computermodelle (wie VGG16 und ResNet) unter Verwendung von zwei verschiedenen Datensätzen von Gehirnscans getestet.

• Die Punktzahl: BrainFusionNet erreichte eine Genauigkeit von 98 %.
• Der Wettbewerb: Die besten der anderen Modelle erreichten etwa 96 %.
• Das Geheimrezept: Die Arbeit fand heraus, dass das neue Modell besonders gut darin war, kleine Tumore zu finden, die andere Modelle übersahen. Es konnte auch besser mit dem „Rauschen“ in den Bildern umgehen.

Eine überraschende Entdeckung: Die Helligkeit des Bildes

Die Forscher haben etwas Einzigartiges gemacht: Sie analysierten die Pixelintensität (wie hell oder dunkel die Pixel sind) in den Bildern.

• Das Ergebnis: Sie entdeckten, dass Bilder mit höherer Helligkeit (höherer Pixelintensität) viel einfacher für den Computer korrekt zu klassifizieren waren.
• Die Analogie: Es ist wie beim Lesen eines Buches. Wenn das Licht hell ist (hohe Intensität), können Sie die Wörter leicht lesen. Wenn das Licht gedimmt ist (niedrige Intensität), könnten Sie ein Wort falsch lesen. Der Computer hat mehr Schwierigkeiten, wenn die „Beleuchtung“ im MRT schlecht oder inkonsistent ist.

Was das Papier nicht sagt

Es ist wichtig, sich an das zu halten, was die Arbeit tatsächlich behauptet:

• Es ist keine Heilung: In der Arbeit geht es um das Erkennen und Klassifizieren von Tumoren, nicht um deren Behandlung.
• Es ist noch kein Krankenhaus-Werkzeug: Obwohl die Autoren erwähnen, dass sie einen Prototyp einer App (eine Web-Oberfläche und eine Android-App) gebaut haben, um zu zeigen, wie es funktionieren könnte, konzentriert sich die Arbeit auf die Forschung und das Testen des Modells selbst, nicht auf dessen Einsatz in echten Krankenhäusern.
• Es ist auf MRT beschränkt: Das Modell wurde nur an MRT-Scans getestet. Die Autoren geben zu, dass sie es noch nicht an CT-Scans, Röntgenbildern oder Ultraschallbildern getestet haben.
• Transfer Learning scheiterte: Die Arbeit stellt fest, dass, als sie versuchten, „Transfer Learning“ anzuwenden (ein Modell, das auf allgemeinen Fotos trainiert wurde, auf Gehirnscans zu übertragen), es tatsächlich schlechter abschnitt als ein Training von Grund auf. Dies deutet darauf darauf hin, dass Gehirnscans so einzigartig sind, dass allgemeines Wissen hier kaum hilft.

Zusammenfassung

BrainFusionNet ist ein neues, hybrides Computermodell, das drei verschiedene Arten der Betrachtung von Gehirnscans kombiniert (winzige Details, das große Ganze und die Sequenz der Merkmale), um Tumore zu finden. Es ist genauer als aktuelle Top-Modelle, insbesondere bei kleinen Tumoren, und enthält eine „Taschenlampen“-Funktion, die Ärzten zeigt, warum es seine Entscheidung getroffen hat. Die Studie zeigte auch, dass die Helligkeit des MRT-Bildes selbst eine große Rolle dabei spielt, wie gut der Computer einen Tumor sehen kann.