Automatic quality control in multi-centric fetal brain MRI super-resolution reconstruction

Probleemstelling

Kwaliteitscontrole (QC) is essentieel voor de betrouwbaarheid van neurobeeldvormingsstudies, maar dit is bijzonder uitdagend bij foetale hersen-MRI. In tegenstelling tot volwassen MRI, waar protocollen gestandaardiseerd zijn, worden foetale scans vaak verkregen als meerdere stacks van dikke 2D-slices (T2-gewogen). Deze moeten worden samengevoegd tot een enkel, isotroop 3D-volume via een proces genaamd Super-Resolution Reconstruction (SRR).

Hoewel SRR-methoden ingebouwde mechanismen hebben om uitschieters te verwijderen, kunnen ze falen en volumes produceren die onbruikbaar zijn voor verdere analyse (bijv. door topologische inconsistenties, geometrische vervormingen, ruis of lage contrasten). Bestaande geautomatiseerde QC-tools voor volwassenen zijn niet toepasbaar op foetale data omdat ze vaak aannames doen die in de baarmoeder ongeldig zijn (zoals lucht als achtergrond). Er was tot nu toe een gebrek aan robuuste, open-source methoden voor geautomatiseerde QC van SRR-volumes, vooral niet voor multi-centrische data met verschillende reconstructie-algoritmen.

Methodologie: FetMRQCSR

De auteurs stellen FetMRQCSR voor, een machine-learning methode voor geautomatiseerde kwaliteitscontrole. De aanpak bestaat uit twee hoofdstappen:

1. Extractie van Image Quality Metrics (IQMs):

   • In plaats van diepe learning (deep learning) te gebruiken, worden meer dan 100 handgemaakte kenmerken (IQMs) uit de SRR-volumes gehaald.
   • Deze metrics omvatten:
     • Intensiteitsstatistieken: Gemiddelde intensiteit, SSIM tussen naburige slices, etc.
     • Maskerstatistieken: Coördinaten van het centrum van het hersenmasker.
     • Segmentatie-gerelateerde statistieken: Volumetrische gegevens en contrast tussen weefsels (berekend met de state-of-the-art tool BOUNTI).
     • Topologische metrics: Nieuwe metrics gebaseerd op Betti-getallen en Euler-karakteristieken om de topologische kwaliteit van de segmentatie te kwantificeren.
   • Er wordt voorafgaand aan de IQM-berekening een pre-processing toegepast (zoals intensiteitssaturatie en hersenmaskering) om fouten door extreme pixelwaarden te voorkomen.

2. Predictive Model (Random Forest):

   • Een Random Forest-model wordt getraind om een binaire classificatie te maken: moet het volume worden uitgesloten (kwaliteit < 1) of geaccepteerd?
   • De training gebruikt een dataset van 673 handmatig beoordeelde volumes van drie ziekenhuizen (CHUV, BCNatal, KISPI) en vier verschillende SRR-methoden (SVRTK, NeSVoR, NiftyMIC, MIALSRTK).
   • De auteurs testen varianten, waaronder:
     • Reweighting: Het toekennen van gewichten aan trainingssamples op basis van hoe "duidelijk" hun kwaliteitslabel is (samples dicht bij de beslissingsgrens krijgen een lager gewicht).
     • Pred_artifacts: Een model dat eerst specifieke artefacten voorspelt en deze als extra input gebruikt voor de globale kwaliteitsvoorspelling.

Belangrijkste Bijdragen

1. Unieke Dataset: Het verzamelen van een grote, diverse dataset van 673 SRR-volumes met handmatige kwaliteitslabels van meerdere centra en reconstructiemethoden.
2. Robuuste Non-Deep Learning Aanpak: Het aantonen dat een Random Forest-model, gecombineerd met zorgvuldig ontworpen IQMs en pre-processing, uitstekende prestaties levert met een beperkte dataset, zonder de complexiteit en instabiliteit van deep learning-modellen.
3. Out-of-Domain Validatie: Een rigoureuze evaluatie in "leave-one-site-out" en "leave-one-SRR-out" scenario's om de generaliseerbaarheid te testen op onbekende ziekenhuizen en reconstructie-algoritmen.
4. Foutanalyse: Een diepgaande studie van falende gevallen, waarbij wordt aangetoond dat veel fouten te wijten zijn aan ambiguïteit in de handmatige labels (grensgevallen) in plaats van een fundamenteel tekortkoming van het model.

Resultaten

• Prestaties: In een in-domain setting (cross-validatie) bereikte FetMRQCSR een ROC AUC van 0,93 en een gebalanceerde nauwkeurigheid (BA) van 0,85.
• Out-of-Domain (OOD): Zelfs in de meest uitdagende setting (een nieuw ziekenhuis én een onbekende SRR-methode), behaalde het model een AUC van 0,89. Dit toont aan dat de methode goed generaliseert.
• Vergelijking: Het model presteerde aanzienlijk beter dan een simpele statistische baseline en een Multi-Layer Perceptron (MLP). Hoewel het iets onder de "Oracle" (een model dat gebruikmaakt van perfecte handmatige artefact-labels) bleef, was de kloof klein (~7-8%).
• Foutanalyse: Van de 673 gevallen werden 95 (14%) consequent verkeerd voorspeld.
  • 45% van deze fouten waren "ambiguïteitsgevallen": de handmatige beoordeling lag dicht bij de drempel (rond 1,0), wat betekent dat een andere expert een ander oordeel had kunnen vellen.
  • De resterende fouten waren vaak te wijten aan specifieke artefacten die door de IQMs moeilijk te vangen zijn (zoals sterke bias-velden of zeer lage contrasten) of aan pathologische gevallen waarbij de segmentatie (BOUNTI) faalde.

Betekenis en Conclusie

Dit werk biedt FetMRQCSR als de eerste open-source, gebruiksvriendelijke baseline voor geautomatiseerde kwaliteitscontrole van foetale hersen-MRI SRR-data. De studie benadrukt dat voor complexe, multifacette taken zoals QC, een traditionele machine-learning-aanpak met goed ontworpen kenmerken vaak robuuster en betrouwbaarder is dan complexe deep-learning-modellen, vooral bij kleinere datasets.

De auteurs concluderen dat de beperkingen van het model vaak liggen in de onzekerheid van de "ground truth" (handmatige labels) en de inherent moeilijke aard van het detecteren van bepaalde artefacten met handmatige metrics. Toekomstig werk zal gericht zijn op het onderzoeken van deep learning-aanpakken die direct uit data leren, maar FetMRQCSR dient als een cruciaal referentiepunt voor de gemeenschap. De code en data zijn openbaar beschikbaar op GitHub.