Impact of simulated MRI artifacts on deep learning-based brain age prediction

Deze studie toont aan dat de nauwkeurigheid van deep learning-algoritmen voor het voorspellen van de hersenleeftijd aanzienlijk varieert afhankelijk van het type en de ernst van MRI-artefacten, wat benadrukt dat algoritmespecifieke kwetsbaarheden en artefactbewuste strategieën essentieel zijn voor de betrouwbare toepassing van deze biomarker in klinisch onderzoek.

De kern

Hoe "slecht" MRI-beelden de hersenleeftijd-berekening verstoren: Een verhaal over drie voorspellers en vier soorten ruis

Stel je voor dat je een zeer slimme computer hebt die naar een MRI-scan van je hoofd kijkt en zegt: "Jouw hersenen zijn biologisch 45 jaar oud," terwijl je eigenlijk 40 bent. Dit heet hersenleeftijd. Het is een handige manier om te zien of iemand sneller veroudert dan normaal, wat een waarschuwingssignaal kan zijn voor ziektes.

Maar hier zit een addertje onder het gras: deze computers zijn getraind op perfecte, kristalheldere foto's. In het echte leven, bij een ziekenhuisbezoek, zijn foto's vaak niet perfect. Er kan trilling zijn (beweging), een dubbel beeld (ghosting), wazigheid (blur) of statische ruis (zoals op een oud televisieapparaat).

De vraag die deze studie beantwoordt is: Wat gebeurt er met de voorspelling van de computer als de foto niet perfect is?

Om dit uit te zoeken, hebben de onderzoekers een slim experiment gedaan. Ze namen 293 gezonde, perfect schone MRI-scans en lieten de computer erop "spelen" met een digitale tool. Ze voegden vier soorten "smerigheid" toe, van heel licht tot extreem slecht, alsof je een foto steeds meer verwarmt, schudt of met vlekken bedekt.

Ze testten dit op drie verschillende "voorspellers" (diep-lerende algoritmen):

1. Pyment: Een model getraind op heel veel perfecte, wetenschappelijke foto's.
2. MIDI: Een model getraind op foto's uit de dagelijkse ziekenhuispraktijk (waar mensen soms niet stil kunnen liggen).
3. MCCQR: Een model dat getraind is op een grote Duitse dataset en ook een "onzekerheids-meter" heeft.

Hier zijn de belangrijkste bevindingen, vertaald in alledaagse taal:

1. Niet alle voorspellers zijn even sterk

Het is alsof je drie verschillende auto's hebt die een ritje maken over een weg met gaten.

• Pyment (de auto getraind op de racebaan) kwam er het slechtst uit. Zodra de weg een beetje hobbelig werd (lichte beweging of ghosting), begon hij te haperen en gaf hij totaal verkeerde koersaanwijzingen. Zijn voorspellingen werden onbetrouwbaar en wisselend.
• MIDI (de auto getraind op de stadswegen) was veel robuuster. Hij kon prima over de gaten rijden. Zelfs als de weg erg slecht was, bleef hij redelijk stabiel.
• MCCQR was een mix: heel nauwkeurig op een goede weg, maar bij extreme schade (zware beweging) gaf hij soms grote fouten in de afstand, ook al wist hij nog wel welke kant op te gaan.

2. De "dodelijke" vijanden: Bewegen en Geesten

Er zijn twee soorten ruis die het meest verwoestend zijn: beweging (als iemand tijdens het scannen even zucht of verschuift) en ghosting (een spookbeeld dat over de foto loopt).

• Dit is alsof je probeert een gezicht te herkennen terwijl iemand continu voor je gezicht loopt of er een dubbelbeeld overheen wordt geprojecteerd.
• Bij deze twee soorten ruis gaven de voorspellers vaak een hersenleeftijd die wel 100% hoger of lager lag dan de werkelijkheid. De computer dacht dan plotseling dat een 40-jarige een 80-jarige was, of andersom.

3. Wazigheid en Ruis zijn minder erg (maar niet onschuldig)

• Wazigheid (Blur): Alsof je door een vieze bril kijkt. Dit had weinig effect op de betere modellen, maar bij de slechtste modellen werd het toch lastig.
• Ruis (Noise): Alsof er statische ruis op een radio zit. De meeste modellen konden hier goed tegen, maar MIDI werd hierbij een beetje onzeker.

4. Waarom is dit belangrijk voor jou?

Stel je voor dat een arts deze computer gebruikt om te zien of je Alzheimer ontwikkelt. De arts kijkt naar het verschil tussen je echte leeftijd en je hersenleeftijd.

• Als de foto een beetje "slecht" is (bijvoorbeeld omdat je even niet stil kon zitten), en je gebruikt de Pyment-computer, kan de computer zeggen: "Oh, je hersenen zijn 10 jaar ouder dan je bent!"
• In werkelijkheid is er niets aan de hand, maar door de beweging in de foto denkt de computer dat je hersenen verschrompeld zijn.
• Dit kan leiden tot valse alarms: mensen krijgen onterecht de diagnose dat ze versneld verouderen of ziek zijn, puur omdat de foto niet perfect was.

De grote les

Deze studie zegt eigenlijk: "Pas op met je meetinstrumenten!"

Als je een hersenleeftijd-berekening wilt gebruiken in de echte wereld (bijvoorbeeld in een ziekenhuis), moet je weten welk algoritme je gebruikt.

• Als je Pyment gebruikt, moet je de foto's extreem schoon hebben, anders is de uitspraak waardeloos.
• Als je MIDI gebruikt, is het iets minder kritisch, want dat model is getraind op de "smerige" realiteit van het ziekenhuis.

Conclusie in één zin:
Net zoals een slechte foto van een gezicht je niet laat zien hoe iemand er echt uitziet, kan een slechte MRI-scan een computer laten denken dat je hersenen veel ouder of jonger zijn dan ze zijn; en niet elke computer is even goed in het negeren van die slechte foto's.

Technische samenvatting

Probleemstelling

De voorspelling van de "hersenenleeftijd" (brain age) op basis van structurele MRI-scans is een veelbelovende biomarker voor het detecteren van atypische veroudering en neurodegeneratieve ziekten. De nauwkeurigheid en betrouwbaarheid van deze voorspellingen zijn echter sterk afhankelijk van de kwaliteit van de MRI-beelden. Hoewel deep learning-algoritmes vaak worden getraind op hoogwaardige, artefactvrije onderzoeksdata, worden ze in de klinische praktijk geconfronteerd met beelden van mindere kwaliteit, beïnvloed door artefacten zoals beweging (motion), ghosting, wazigheid (blurring) en ruis (noise).

Het is tot nu toe onduidelijk hoe deze veelvoorkomende degradaties de prestaties van bestaande deep learning-algoritmes beïnvloeden. De afwezigheid van systematisch geannoteerde datasets met klinische beeldkwaliteit en artefacten beperkt het inzicht in de robuustheid van deze modellen in real-world scenario's. Dit kan leiden tot onnauwkeurige voorspellingen en misleidende klinische conclusies.

Methodologie

De studie voerde een systematische evaluatie uit van het effect van gesimuleerde MRI-artefacten op de hersenenleeftijdvoorspelling.

• Dataset: Gebruik werd gemaakt van de ABRIM-dataset, bestaande uit T1-gewogen MPRAGE-scans van 293 gezonde volwassenen (leeftijd 18-85 jaar, 54% vrouw), opgenomen op een 3T Siemens Prisma scanner.
• Artefactgeneratie: Met behulp van de open-source toolbox TorchIO werden vier soorten artefacten gesimuleerd:
  1. Beweging (Motion)
  2. Ghosting
  3. Wazigheid (Blurring)
  4. Ruis (Noise)
     Voor elk type werden 10 ernstigheidsniveaus (1-10) gegenereerd, gekalibreerd op de visuele PondrAI QC-rating-schaal (van "perfect" tot "terrible"). Dit resulteerde in totaal in 3.223 afbeeldingen (293 origineel + 2.930 gereduceerd).
• Algoritmes: Drie veelgebruikte deep learning-algoritmes werden getest, elk met verschillende trainingsdata, preprocessing-pipelines en architecturen:
  1. Pyment: Getraind op 34.285 gezonde individuen (onderzoeksdata), gebruikmakend van FreeSurfer voor preprocessing en een Simple Fully Convolutional Network (SFCN).
  2. MIDI: Getraind op 2.387 klinische scans (radiologisch normaal), gebruikmakend van HD-BET voor preprocessing en een DenseNet121-architectuur.
  3. MCCQR: Getraind op 10.691 individuen uit de Duitse Nationale Cohort (onderzoeksdata), gebruikmakend van CAT12 preprocessing en een 3D CNN met Monte Carlo Dropout en Composite Quantile Regression.
• Statistische Analyse:
  • Lineaire mixed-effects modellen om het effect van artefacttype, ernst en algoritme op de voorspelde leeftijd te analyseren.
  • Prestatiemetrics: Pearson-correlatie (R), Mean Absolute Error (MAE), en Root Mean Squared Error (RMSE).
  • Stabiliteitsmetriek: Intraclass Correlation Coefficient (ICC) en within-subject coefficient of variation (wsCV).
  • Analyse per leeftijdsgroep (jong, middelbaar, oud) en correctie voor leeftijdsbias.

Belangrijkste Bijdragen

1. Systematische kwantificering: Eerste studie die systematisch de impact van vier artefacttypes over een breed spectrum van ernstigheidsniveaus evalueert op drie verschillende, veelgebruikte brain-age algoritmes.
2. Vergelijking van trainingsdata: Inzicht in hoe algoritmes getraind op onderzoeksdata (Pyment, MCCQR) zich verhouden tot die getraind op klinische data (MIDI) bij blootstelling aan artefacten.
3. Stabiliteit vs. Prestatie: Onderscheid tussen de nauwkeurigheid van de voorspelling (MAE/R) en de consistentie van de voorspelling binnen een individu (stabiliteit/ICC) onder degradatie.
4. Klinische drempels: Kwantificering van wanneer artefacten de voorspellingen onbruikbaar maken voor klinische toepassingen (bijv. het detecteren van pathologische veroudering).

Resultaten

De resultaten tonen aanzienlijke verschillen in robuustheid tussen de algoritmes en artefacttypes:

• Algoritme-afhankelijke gevoeligheid: Er was een significante interactie tussen algoritme, artefacttype en ernst (p < 0.001).
  • Pyment (onderzoeksdata) was het meest gevoelig. Bij ernstigheidsniveau 10 steeg de MAE met tot 110% (motion) en 75% (ghosting). De voorspelling werd ook zeer onstabiel (ICC daalde van uitstekend naar slecht).
  • MIDI (klinische data) toonde de grootste robuustheid. De MAE steeg slechts met 16% (motion) en 34% (ghosting) bij maximale ernst. De voorspelling bleef stabiel.
  • MCCQR toonde een gemengd profiel: zeer stabiel bij ruis en wazigheid, maar grote MAE-stijgingen bij motion (112%) en ghosting (135%).
• Type artefact:
  • Motion en Ghosting veroorzaakten de grootste schade aan zowel nauwkeurigheid als stabiliteit voor alle algoritmes.
  • Wazigheid (Blurring) had bij lage tot matige ernst weinig effect, maar veroorzaakte bij maximale ernst grote MAE-stijgingen bij Pyment en MCCQR.
  • Ruis (Noise) had een minimaal effect op Pyment en MCCQR, maar leidde tot een significante daling in prestaties voor MIDI.
• Preprocessing-falen: Pyment faalde bij het voorverwerken van veel gereduceerde beelden (vooral bij ruis en wazigheid), wat leidde tot dataverlies. MIDI slaagde in 100% van de gevallen.
• Leeftijdsinvloed: De gevoeligheid voor artefacten varieerde per leeftijdsgroep. Oudere volwassenen vertoonden vaak grotere prestatiedalingen bij motion en ghosting, wat relevant is voor de toepassing bij neurodegeneratieve ziekten.
• Bias-correctie: Het corrigeren voor leeftijdsbias verminderde de waargenomen gevoeligheid van Pyment aanzienlijk, wat suggereert dat een deel van de gevoeligheid werd veroorzaakt door leeftijdsafhankelijke voorspellingsbias in plaats van puur beeldkwaliteit.

Betekenis en Conclusie

De studie concludeert dat de keuze van het algoritme en de onderliggende trainingsdata cruciaal zijn voor de toepasbaarheid van brain-age biomarkers in de kliniek.

• Klinische relevantie: Algoritmes getraind op zuivere onderzoeksdata (zoals Pyment) zijn kwetsbaar voor artefacten die in de kliniek vaak voorkomen, zelfs bij niveaus die visueel nog als "goed" worden beoordeeld. Dit kan leiden tot foutieve diagnoses (bijv. het verkeerd interpreteren van een artefact als versnelde veroudering).
• Robuustheid door klinische data: Het algoritme getraind op klinische data (MIDI) toonde over het algemeen de beste robuustheid, wat suggereert dat training op diverse, real-world datasets essentieel is voor klinische implementatie.
• Aanbevelingen: Er is een dringende noodzaak voor "artefact-bewuste" evaluatie en mitigatiestrategieën. Toekomstige modellen moeten worden getraind op datasets die de volledige variatie in beeldkwaliteit en pathologie omvatten om betrouwbare voorspellingen te garanderen in heterogene klinische omgevingen.

Kortom, zonder rekening te houden met beeldkwaliteit en de specifieke robuustheid van het gekozen algoritme, kan de hersenenleeftijd als biomarker misleidend zijn in de dagelijkse klinische praktijk.