Multimodal Brain Tumour Classification Using Feature Fusion

Technische Samenvatting: Multimodale classificatie van hersentumoren middels feature fusie

Probleemstelling
Huidige deep learning-benaderingen voor de classificatie van hersentumoren vertrouwen voornamelijk op unimodale inputs, waarbij uitsluitend MRI- of CT-beelden worden gebruikt. Deze beperking slaagt er niet in om de klinische diagnostische workflow te repliceren, waarbij clinici diverse informatiebronnen — inclusief symptomen, medische geschiedenis en kwantitatieve beeldgegevens — synthetiseren tot een verenigd oordeel. De auteurs stellen dat het uitsluitend vertrouwen op ruwe beeldgegevens de potentiële voordelen van het integreren van handmatige radiomische kenmerken over het hoofd ziet, die expliciete kwantitatieve beschrijvers bieden van tumorkenmerken die vaak in de klinische redenering worden gebruikt.

Methodologie
De studie stelt een tweetaalig multimodal framework voor dat is ontworpen om hersentumoren te classificeren in vier categorieën: glioma, meningioom, hypofyse en geen tumor. De architectuur verwerkt twee afzonderlijke datastromen:

1. Beeldstroom: Ruwe MRI-scans (herverkleind naar 224×224) worden verwerkt door een voorgetrainde CNN-backbone. Drie architecturen werden geëvalueerd: EfficientNet-B3, ResNet-50 en DenseNet-121. Deze backbones produceren een 256-dimensionale visuele embedding via een 'head' bestaande uit dropout, lineaire lagen en Layer Normalization-lagen.
2. Radiomische stroom: Een specifieke driedelige ongesuperviseerde segmentatiepijplijn extraheert drie ruimtelijke regio's uit elke MRI: een hersenmasker, een tumor ROI (region of interest) en een 15-pixel brede peritumorale ring. Uit deze regio's worden 91 radiomische kenmerken geëxtraheerd over tien families, waaronder eerste-orde intensiteitsstatistieken, vormbeschrijvers, GLCM-textuur, GLRLM, NGTDM, GLDM, gradiënt/HOG-kenmerken en boundary/heterogeniteit/fractale beschrijvers. Deze kenmerken worden gecodeerd door een drie-laagse MLP (Batch Norm, lineaire lagen, Layer Norm) naar een overeenkomstige 256-dimensionale numerieke embedding.

Feature Fusie Strategieën
De twee 256-dimensionale embeddings worden gefuseerd met behulp van één van de drie strategieën om de uiteindelijke classificatie te genereren:

• Concatenatie: Eenvoudige concatenatie van de twee vectoren.
• Gated Fusion: Maakt gebruik van dual geleerde sigmoid gates om per dimensie gewichten toe te kennen aan de modaliteiten.
• Bidirectionele Cross-Modale Attentie: Gebruikt aandachtmechanismen met residuele verbindingen om de stromen met elkaar te laten interageren.

Experimentele Opzet en Dataset
Het framework werd geëvalueerd op een gebalanceerde dataset van 7.200 hersen-MRI-beelden (1.600 per klasse voor training, 400 per klasse voor testen) samengesteld uit meerdere publieke repositories (Sartaj, BRaTS, etc.). De studie erkent een beperking met betrekking tot de dataset: aangezien patiëntidentificaties niet beschikbaar waren, vindt de splitsing plaats op beeldniveau in plaats van op patiëntniveau, wat betekent dat overlap tussen training en testsets op patiëntniveau niet kan worden uitgesloten.

Het experimentele ontwerp bestond uit een grid van negen runs (3 CNN backbones × 3 fusiestrategieën). De training omvatte het bevriezen van de backbone voor 8 epochs, gevolgd door het finetunen van de laatste drie blokken voor 12 epochs, waarbij gebruik werd gemaakt van weighted sampling, label smoothing, gradient clipping en mixed precision.

Belangrijkste Resultaten

• Unimodale Baselines: Onder de enkelvoudige modaliteitsmodellen behaalde DenseNet-121 de hoogste nauwkeurigheid van 95,50%, gevolgd door ResNet-50 (95,37%) en EfficientNet-B3 (94,94%). De meningioom-klasse bleek consequent de grootste uitdaging voor classificatie te vormen vanwege een lagere recall.
• Multimodale Prestaties: Alle multimodale configuraties presteerden beter dan hun respectieve unimodale baselines. De beste prestatie werd bereikt door ResNet-50 + Gated Fusion en DenseNet-121 + Gated Fusion, die beide een nauwkeurigheid van 96,13% bereikten. Andere sterke presteerders waren DenseNet-121 + Attention (96,06%) en DenseNet-121 + Concatenation (95,81%).
• Klasse-specifieke Winsten: De klassen "geen tumor" en "hypofyse" profiteerden significant van multimodale fusie, waarbij ze een bijna perfecte recall bereikten. Hoewel meningioom de moeilijkste klasse bleef, toonde de gated fusion-strategie de meest consistente winsten over verschillende architecturen.
• Vergelijking: Het voorgestelde framework (96,13%) is competitief met recente literatuur, zoals Aziz et al. (2024), die 96,9% rapporteerde met een DenseNet-gebaseerd MRI-only framework.

Betekenis en Claims
Het artikel claimt dat het integreren van handmatige radiomische beschrijvers met diepe CNN beeld-embeddings via multimodale fusie een robuuste verbetering biedt ten opzichte van unimodale beeld-only baselines. De studie benadrukt dat gated fusion de meest effectieve strategie is voor het combineren van deze modaliteiten.

De auteurs nemen echter een bescheiden standpunt in over de omvang van deze verbeteringen. Ze erkennen expliciet dat de geobserveerde winsten relatief bescheiden zijn omdat beide takken afkomstig zijn van dezelfde MRI-bron. Bijgevolg is de mate van werkelijke complementariteit tussen de "modaliteiten" beperkt. De auteurs positioneren dit werk als een voorlopige stap en merken op dat toekomstig onderzoek zich zal richten op het vervangen van de radiomische tak door onafhankelijke klinische databronnen (bijv. gestructureerde rapporten, laboratoriumresultaten, patiëntgeschiedenis) om de werkelijke multimodale klinische redenering beter te simuleren en informatie te introduceren die volledig afwezig is in het beelddomein.