Multimodal MRI Report Findings Supervised Brain Lesion Segmentation with Substructures

Deze paper introduceert MS-RSuper, een nieuwe methode voor de segmentatie van hersenlaesies met multimodale MRI die onvolledige en hiërarchische radiologische rapporten effectiever benut dan eerdere methoden door een eenzijdige, onzekerheidsbewuste aanpak te combineren met anatomische priors.

De kern

Stel je voor dat je een zeer ervaren radioloog bent die elke dag duizenden MRI-schermen van hersenen bekijkt. Deze schermen tonen verschillende lagen en kleuren (zoals T1, T2, FLAIR), en de radioloog moet precies aangeven waar de tumor zit, hoe groot hij is en of er zwelling (oedeem) omheen zit.

Het probleem is: het maken van een perfecte, pixel-perfecte tekening van elke tumor op elke scan kost ontzettend veel tijd en geld. Het is alsof je duizenden foto's van een landschap moet inkleuren, waarbij elke boom en elke rots exact moet worden getekend.

In deze paper proberen de auteurs een slimme oplossing te vinden: Waarom kijken we niet naar de verslagen die de artsen al schrijven? Die verslagen zijn vaak gratis beschikbaar en bevatten veel informatie, maar ze zijn niet perfect. Ze zeggen soms alleen "er is een tumor" of "er is een lichte zwelling", zonder exacte maten.

Hier is hoe hun nieuwe methode, MS-RSuper, werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Onvolledige" Verslagen

Stel je voor dat je een verslag leest dat zegt: "Er is een grote tumor van 5 cm, en misschien nog een paar kleine."

• De oude manier (R-Super): Een computer die dit leest, denkt: "Oké, de totale grootte moet precies 5 cm zijn." Hierdoor gaat de computer de kleine tumoren die niet in het verslag staan, wegdrukken of de grote tumor kleiner maken om aan het getal te voldoen. Het is alsof je een taart moet bakken op basis van een recept dat alleen zegt "bak een taart", maar je probeert hem dan precies 1000 gram te wegen, terwijl je niet weet of er nog extra ingrediënten bij horen.
• De nieuwe manier (MS-RSuper): De computer leert dat het verslag onvolledig kan zijn. Als er staat "een grote tumor", dan is dat een minimale maat. De computer mag dus gerust een tumor van 6 cm maken, zolang hij maar minimaal 5 cm is. Hij straft de computer niet als er extra kleine tumoren zijn die niet genoemd zijn.

2. De Drie Slimme Trucs van de Computer

De auteurs hebben drie creatieve regels bedacht om de computer te helpen:

A. De "Kleur-Code" Regel (Modality-Substructure Alignment)

MRI-scans hebben verschillende "kleuren" of modi (zoals T1c en FLAIR).

• T1c (een bepaalde scan) laat zien waar de tumor versterkt (lichte plekken).
• FLAIR (een andere scan) laat zien waar er zwelling (oedeem) is.

De analogie: Stel je voor dat je een schilderij maakt.

• Als het verslag zegt: "Er is versterking op de T1c", dan zegt de computer: "Oké, ik moet op de T1c-plekken een stukje tumor schilderen."
• Als het verslag zegt: "Er is zwelling op de FLAIR", dan zegt de computer: "Oké, ik moet op de FLAIR-plekken een stukje zwelling schilderen."
  De computer leert dus niet alleen dat er iets is, maar waar dat iets precies hoort te zitten op basis van de scan-kleur.

B. De "Minimaal" Regel (One-Sided Loss)

Verslagen zijn vaak vaag: "Mogelijk een tumor" of "Lichte zwelling".

• De oude manier: Als de computer een tumor tekent en het verslag zegt "misschien", dan denkt de oude computer: "Oh nee, ik heb iets getekend dat misschien niet bestaat, ik straf mezelf!"
• De nieuwe manier: De computer denkt: "Het verslag zegt 'misschien'. Als ik niets teken, ben ik fout. Maar als ik wel iets teken, ben ik in orde, zelfs als het later blijkt dat het niet bestond."
  Het is alsof een leraar zegt: "Je moet minimaal 10 vragen beantwoorden." Als je 15 antwoordt, krijg je geen straf, zelfs als de leraar dacht dat er maar 10 waren. Dit voorkomt dat de computer bang is om iets te tekenen.

C. De "Locatie-Check" (Anatomical Priors)

Er zijn twee soorten hersentumoren in deze studie:

1. Meningiomen: Deze zitten buiten het hersenweefsel (tegen het schedeldak aan).
2. Metastasen: Deze zitten binnen het hersenweefsel.

De analogie: Stel je voor dat je een postbode bent.

• Als het verslag zegt "Meningioom", dan weet de computer: "Ah, dit moet op het dak van het huis (buiten) worden geplaatst." Als hij het binnen in de woonkamer zet, krijgt hij een flinke boete.
• Als het verslag zegt "Metastase", dan weet de computer: "Ah, dit moet binnen in de woonkamer." Als hij het op het dak zet, krijgt hij een boete.
  Dit helpt de computer om niet op de verkeerde plek te gaan zoeken.

3. Het Resultaat: Een Slimme Assistent

De auteurs hebben deze methode getest op bijna 1200 hersenscans.

• Zonder verslagen: De computer kon maar een paar scans goed tekenen (hij had te weinig voorbeelden).
• Met de oude verslag-methode: Het ging niet veel beter, omdat de computer verward raakte door de onvolledige verslagen.
• Met hun nieuwe methode (MS-RSuper): De computer werd veel beter! Hij kon de tumoren, de randen en de zwelling veel nauwkeuriger tekenen, zelfs met de vaagheid van de verslagen.

Conclusie

In het kort: De auteurs hebben een manier bedacht om computers te leren kijken naar medische verslagen, zonder dat ze perfect moeten zijn. Ze hebben regels bedacht die zeggen: "Als het verslag zegt 'groot', moet het inderdaad groot zijn, maar mag het ook groter zijn." en "Als het verslag zegt 'zwelling', moet dat op de juiste scan-kleur staan."

Hierdoor kunnen artsen in de toekomst sneller en nauwkeuriger diagnoses stellen, omdat de computer de zware klus van het "inkleuren" van de scans voor hen doet, geleid door de slimme, maar soms onvolledige, notities van de radioloog.

Technische samenvatting

Probleemstelling

Het nauwkeurig segmenteren van hersenlaesies (zoals tumoren) in 3D multimodale MRI-scans is cruciaal voor diagnose en behandeling, maar het genereren van voxel-voor-voxel annotaties is kostbaar en subjectief. Bestaande methoden voor Rapport-gestuurd leren (Report-supervised of RSuper) proberen dit probleem op te lossen door radiologieverslagen te gebruiken als supervisie in plaats van volledige maskers. Echter, bij hersentumoren (specifiek meningiomen en hersenmetastasen) lopen deze bestaande methoden tegen drie belangrijke beperkingen aan:

1. Complexiteit van substructuren en modaliteiten: Hersentumoren hebben substructuren (Tumor Core, Versterkende Tumor, Oedeem) die correleren met specifieke MRI-sequenties (T1c, FLAIR, etc.). Bestaande methoden behandelen verslagen vaak als globale tekst, zonder deze fijnmazige koppeling tussen tekstuele bevindingen en specifieke substructuren te benutten.
2. Onvolledige en kwalitatieve rapporten: Radiologieverslagen beschrijven vaak alleen de grootste laesie, geven kwalitatieve indicaties ("licht", "mogelijk") of onzekerheden, en vermelden geen exacte volumes voor alle tumoren. Klassieke RSuper-verliezen (die de som van het voorspelde volume vergelijken met het gerapporteerde volume) leiden hierdoor tot hallucinaties van niet-gerapporteerde laesies of onterechte verkleiningen van tumoren om aan een gedeeltelijk volume te voldoen.
3. Gebrek aan cohort-specifieke priors: Wanneer datasets van verschillende ziekten worden gecombineerd (bijv. metastasen vs. meningiomen), gaan anatomische prioren verloren. Metastasen zijn typisch intra-axiaal (in de hersenweefsels), terwijl meningiomen extra-axiaal (aan de dura) zijn. Een simpele RSuper-methode kan deze fundamentele anatomische verschillen niet onderscheiden, wat leidt tot foute positieven.

Methodologie: MS-RSuper

De auteurs stellen MS-RSuper (Multi-Substructure Report-Supervised) voor, een framework dat een 3D-segmentatienetwerk (gebaseerd op nnU-Net) traint met een combinatie van een klein aantal volledig gelabelde data en een groot aantal data met alleen verslagen. Het framework gebruikt een Large Language Model (LLM) om de verslagen te parsen en introduceert een uniek, éénzijdig en onzekerheidsbewust verliesfunctie-systeem.

De kerncomponenten zijn:

1. Hiërarchische Rapport Parsing & Mapping:

   • Een LLM (Llama 3.1) splitst verslagen op in Quantitatieve Globale Cues (grootte, aantal) en Kwalitatieve Modality-specifieke Cues (bijv. "ringversterking" op T1c, "oedeem" op FLAIR).
   • Er wordt een Modality-Substructure Alignment Principle toegepast: T1c-bevindingen koppelen aan de Enhancing Tumor, FLAIR-bevindingen aan Oedeem, en globale cues aan het Totale Tumor.
   • Onzekerheidswoorden (zoals "mogelijk") worden omgezet in een schalingsfactor ($\lambda$) voor het verlies.

2. Universeel Rapport-Constraint Verlies ($L_{report}$):

   • Substructuur Kwalitatieve Existentie- en Afwezigheidsverlies: In plaats van een symmetrisch volume-verlies, wordt er een verlies berekend op basis van aanwezigheid of afwezigheid. Als een verslag "oedeem aanwezig" zegt, straft het model alleen als er geen enkel voxel wordt voorspeld (existential loss). Als er "geen versterking" staat, straft het model elke voorspelling van versterking (absence loss).
   • Eénzijdige Gedeeltelijke Cue Verliezen:
     • Grootte: Er wordt alleen een ondergrens gehanteerd voor de grootste laesie. Het model wordt niet gestraft als het extra kleine laesies vindt die niet in het verslag staan, maar wel gestraft als de grootste laesie te klein is.
     • Aantal: Voor kwalitatieve tellingen (bijv. "meerdere") wordt een minimale integer (bijv. 2) afgeleid. Het model wordt alleen gestraft als het minder laesies vindt dan dit minimum.
   • Cohort-specifiek Anatomisch Prior Verlies: Gebaseerd op sleutelwoorden in het verslag (bijv. "falx" vs. "parenchyma") wordt een straffend verlies toegevoegd voor anatomisch onwaarschijnlijke voorspellingen (bijv. intra-axiale voorspellingen voor meningiomen worden gestraft).

3. Totale Verliesfunctie:
   Het model wordt eerst voorgeprogrammeerd op gelabelde data en vervolgens fijnge tuned op een mix van gelabelde en verslag-gestuurde data, waarbij de rapport-gebaseerde verliezen worden gewogen.

Belangrijkste Bijdragen

• Modality-Substructuur Alignering: Een nieuwe verliesfunctie die kwalitatieve bevindingen uit verslagen direct koppelt aan de juiste segmentatie-substructuren (ET, ED, TC) via existentie- en afwezigheidsstraffen.
• Eénzijdige Gedeeltelijke Rapport Verliezen: Een innovatieve aanpak voor onvolledige rapporten (alleen grootste laesie, kwalitatieve tellingen) die voorkomt dat het model "hallucineert" of onterecht krimpt.
• Cohort-specifieke Priors: Integratie van anatomische kennis (intra- vs. extra-axiaal) in het verlies, wat essentieel is bij het mengen van verschillende tumorsoorten.

Resultaten

Het framework werd getest op een dataset van 1238 scans (1000 meningiomen en 238 metastasen) met bijbehorende verslagen.

• Vergelijking: MS-RSuper presteerde aanzienlijk beter dan een baseline die alleen gebruikmaakte van 100 gelabelde scans ("Masks-Only") en een naive RSuper-methode.
• Dice Scores:
  • Voor Meningiomen (MEN): MS-RSuper bereikte een Dice-score van 0.554 voor het totale tumorvolume (WT), tegenover 0.481 voor de baseline.
  • Voor Metastasen (MET): MS-RSuper bereikte 0.529, tegenover 0.420 voor de baseline.
• Ablatiestudie: De studie toonde aan dat elke component (gedeeltelijke cues, kwalitatieve alignering, anatomische priors) een cumulatieve verbetering oplevert. De kwalitatieve losses waren cruciaal voor metastasen (om "meerdere" laesies en oedeem te detecteren), terwijl de anatomische prior cruciaal was voor meningiomen om valse positieven in het hersenweefsel te verminderen.

Betekenis en Conclusie

Dit werk demonstreert dat het ontwerpen van verliesfuncties die de hiërarchische, kwalitatieve en vaak onvolledige aard van radiologieverslagen trouw weerspiegelen, leidt tot aanzienlijke verbeteringen in de segmentatie van hersenlaesies. In plaats van te proberen verslagen te forceren tot exacte volumetrische labels, gebruikt MS-RSuper ze als flexibele, onzekerheidsbewuste constraints. Dit maakt het mogelijk om grote hoeveelheden bestaande, niet-geannoteerde medische data (verslagen) effectief te benutten om de prestaties van AI-modellen te verhogen, wat een grote stap is richting praktische toepassing in de kliniek.