sFRC for assessing hallucinations in medical image restoration

In dit artikel wordt sFRC voorgesteld, een nieuwe methode die Fourier Ring Correlatie toepast op kleine patches om hallucinaties in door deep learning gereconstrueerde medische beelden te detecteren en te kwantificeren.

De kern

Titel: De "Hallucinatiedetecteur" voor Medische Beelden: Hoe we AI's dromen van de waarheid kunnen scheiden

Stel je voor dat je een oude, wazige foto van je oma herstelt. Je gebruikt een slimme app (kunstmatige intelligentie of AI) die de foto scherper maakt en de ruis verwijdert. De foto ziet er prachtig uit, veel mooier dan het origineel. Maar... heeft de AI misschien iets toegevoegd dat er niet was? Misschien een bloemetje op de vaas die er nooit was, of een glimlach die er niet zat?

In de medische wereld is dit gevaarlijker. Als een AI een röntgenfoto of MRI-scan herstelt en er een "fantoomtumor" of een "fictief bloedvat" in tekent die er niet is, kan een arts een verkeerde diagnose stellen. Dit noemen we hallucinaties: de AI "droomt" details die er niet zijn.

Deze paper introduceert een nieuwe methode, genaamd sFRC, om deze dromen op te sporen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Te Schone" Foto

AI's zijn geweldig in het maken van beelden die er visueel aantrekkelijk uitzien. Ze maken beelden glad, verwijderen ruis en vullen gaten op. Maar soms vullen ze die gaten op met dingen die er niet horen.

• Vergelijking: Het is alsof je een schilderij bekijkt dat zo perfect is dat je denkt: "Wow, dit is echt!" Maar als je er heel dicht bij kijkt, zie je dat de kunstenaar een extra boom heeft geschilderd in een bos waar die boom nooit heeft gestaan. Normale meetinstrumenten (die kijken naar de hele foto) zeggen vaak: "Deze foto is 99% perfect!" en missen die ene fout.

2. De Oplossing: De "Microscoop" (sFRC)

De auteurs van dit onderzoek hebben een nieuwe meetlat bedacht: scanning-Fourier Ring Correlation (sFRC).
In plaats van de hele foto in één keer te bekijken, doet sFRC het volgende:

• De Puzzel: De AI-afbeelding en de echte, perfecte referentie-afbeelding worden in duizenden kleine stukjes (puzzelstukjes) verdeeld.
• De Muziek: Elk stukje wordt ontleed in zijn "muzieknoten" (frequentiebanden).
  • Lage tonen: De grote vormen (zoals de contouren van een orgaan).
  • Hoge tonen: De fijne details (zoals de randen van een bot of een klein bloedvatje).
• De Vergelijking: sFRC kijkt per stukje: "Klinkt de muziek van de AI-afbeelding hetzelfde als de echte afbeelding?"
  • Als de AI een stukje heeft "gehallucineerd" (bijvoorbeeld een extra bloedvat getekend), dan zal de muziek van dat specifieke stukje heel anders klinken dan de echte muziek.
  • sFRC slaat dan een rode vlag: "Hier is een droom! Hier is een hallucinatie!"

3. Hoe werkt het in de praktijk? (De Analogie van de "Tune-in")

Stel je voor dat je een radio afstemt.

• De AI probeert het signaal te versterken.
• De sFRC is als een slimme luisteraar die precies weet welke frequenties (toonhoogtes) er moeten zijn op basis van hoe de scanmachine werkt.
• Als de AI probeert een frequentie te creëren die fysiek onmogelijk is (bijvoorbeeld omdat de scanner niet genoeg informatie heeft opgevangen), dan weet de luisteraar (sFRC) direct: "Dat kan niet kloppen, dat is een hallucinatie."

De onderzoekers hebben deze "luisteraar" eerst getraind door experts (artsen) te vragen: "Kijk eens naar dit stukje, dit is een hallucinatie." De sFRC leerde toen: "Oké, als het geluid in dit specifieke bereik zo klinkt, dan is het vals." Vervolgens past de sFRC deze kennis toe op duizenden andere beelden om nieuwe, onbekende hallucinaties te vinden.

4. Wat hebben ze ontdekt?

Ze hebben deze methode getest op drie soorten medische beelden:

1. CT-scan (Super-resolutie): Het scherper maken van wazige beelden.
2. MRI-scan: Het herstellen van beelden die snel zijn gemaakt (met minder data).
3. CT-scan (Weinig hoeken): Het reconstrueren van beelden met weinig straling.

De resultaten waren verhelderend:

• De "Schoonheidslieg": Veel AI-methoden scoorden hoog op traditionele meetwaarden (zoals PSNR of SSIM), wat betekent dat ze er "mooi" uitzagen. Maar sFRC ontdekte dat ze toch hallucinaties bevatten.
• De Gevaarlijke Dromen: De AI voegde soms kleine, onzichtbare fouten toe, zoals een extra laag darmwand of een verdwijning van een klein bloedvatje. Voor een arts kan dit dodelijk zijn.
• De Robuustheid: Zelfs als de AI beter werd getraind (van SRGAN naar SR-WGAN), bleef sFRC de fouten vinden. Het bleek een betrouwbare "leugendetector" te zijn.

5. Waarom is dit belangrijk?

Voor de toekomst van AI in de geneeskunde is dit cruciaal.

• Veiligheid: Voordat we AI-toestellen in ziekenhuizen zetten, moeten we zeker weten dat ze niet "dromen" van ziektes die er niet zijn.
• Betrouwbaarheid: sFRC geeft artsen en ontwikkelaars een objectief bewijs: "Kijk, hier heeft de AI iets verzonnen."
• Geen "Black Box": In plaats van te vertrouwen op het gevoel van een arts ("dit ziet er raar uit"), geeft sFRC een meetbare, wetenschappelijke reden waarom een beeld niet betrouwbaar is.

Conclusie

Deze paper is als het uitvinden van een nieuwe soort veiligheidscontrole voor AI. Terwijl andere methoden zeggen: "Deze foto is 99% perfect!", zegt sFRC: "Wacht even, in dit kleine hoekje heeft de AI een fantasiegebouw neergezet. Laten we dat niet gebruiken voor een diagnose."

Het zorgt ervoor dat we kunnen vertrouwen op de kracht van AI, zonder bang te hoeven zijn voor de dromen die de machine maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "sFRC for assessing hallucinations in medical image restoration" in het Nederlands.

Titel: sFRC voor het beoordelen van hallucinaties in medische beeldherstel

Auteurs: Prabhat Kc, Rongping Zeng, Nirmal Soni, en Aldo Badano (FDA, VS)

---

1. Het Probleem

Diep leren (Deep Learning - DL) wordt steeds vaker ingezet om medische beelden te herstellen vanuit schaarse data (bijv. lage dosis CT, onderbemonsterde MRI, of super-resolutie). Hoewel de gegenereerde beelden visueel aantrekkelijk kunnen lijken (minder ruis, gladde kenmerken), lijden ze vaak aan "hallucinaties".

• Hallucinaties: Dit zijn kunstmatige structuren die door het model worden toegevoegd (additief) of echte structuren die worden verwijderd (subtraherend), maar die niet aanwezig zijn in de werkelijke patiënt.
• Het risico: Deze fouten zijn voor het blote oog vaak niet te onderscheiden van echte anatomie en kunnen leiden tot misdiagnoses.
• De beperking van bestaande methoden: Traditionele kwaliteitsmetrieken zoals PSNR, SSIM of RMSE zijn onvoldoende omdat ze globale beeldkwaliteit meten en geen lokale, subtiele hallucinaties detecteren. Ook fysieke kwaliteitsmetrieken (zoals MTF en NPS) zijn ontworpen voor lineaire systemen en falen bij niet-lineaire DL-methoden. Bestaande "task-based" methoden (zoals observer studies) zijn te specifiek en kunnen niet alle onvoorspelbare hallucinaties vangen.

2. Methodologie: Scanning Fourier Ring Correlation (sFRC)

De auteurs stellen sFRC voor, een nieuwe methode om hallucinaties objectief en lokaal te detecteren. De kern van de methode is gebaseerd op twee observaties:

1. Hallucinaties zijn vaak beperkt tot kleine regio's van belang (ROI's) en niet het hele beeld.
2. Hallucinaties manifesteren zich vaak in specifieke ruimtelijke frequentiebanden in het Fourier-domein.

De werking van sFRC:

• Patch-gebaseerde analyse: In plaats van het hele beeld te vergelijken, worden kleine patches (bijv. 64x64 pixels) uit het DL-herstelde beeld en het referentiebeeld (volledig bemonsterd) over elkaar heen geschoven.
• Fourier Ring Correlation (FRC): Voor elke patch-paar wordt de FRC berekend. FRC meet de correlatie tussen twee beelden als functie van de ruimtelijke frequentie.
• Detectie van hallucinaties:
  • Als een patch in het DL-beeld hallucinaties bevat, zal de FRC-curve sneller dalen dan bij een correct herstelde patch.
  • Er wordt een hallucinatie-drempel ($x_{ht}$) ingesteld. Dit is een verticale lijn in het FRC-plot.
  • Als het snijpunt van de FRC-curve en een vooraf bepaalde correlatiedrempel ($Y$, bijv. 0.5) links van $x_{ht}$ ligt, wordt de patch gemarkeerd als een kandidaat voor hallucinatie.
• Kalibratie: De parameter $x_{ht}$ kan worden ingesteld op basis van:
  • Expertannotaties van hallucinaties in een trainingsset.
  • Theoretische modellen (bijv. null-space hallucinaties gebaseerd op lineaire operatortheorie).
  • De onderbemonsteringsratio van het beeld.

3. Belangrijkste Bijdragen

1. Locale detectie: sFRC identificeert specifiek de gebieden (patches) waar hallucinaties optreden, in plaats van een enkel getal voor het hele beeld te geven.
2. Robuustheid voor niet-lineaire methoden: In tegenstelling tot globale metrieken (PSNR/SSIM) wordt sFRC niet beïnvloed door delen van het beeld die correct zijn hersteld. Het respecteert de "data processing inequality" (meer verwerking leidt niet automatisch tot meer informatie).
3. Algemene toepasbaarheid: De methode werkt voor verschillende beeldvormingsmodaliteiten (CT, MRI) en verschillende herstelmethoden (GAN's, U-Net, regularisatie-methoden zoals PLS-TV, en geavanceerde unrolled-methoden zoals PAIL).
4. Hallucination Operating Characteristic (HOC) curve: De auteurs introduceren het concept van een HOC-curve (analoog aan een ROC-curve), waarbij de hallucinatie-rate wordt uitgezet tegen de strengheid van de drempel ($x_{ht}$). Dit stelt ontwikkelaars in staat om de prestaties van hun model te kwantificeren onder verschillende operationele voorwaarden.

4. Resultaten

De methode werd getest op drie scenario's:

• CT Super-resolutie (SRGAN & SR-WGAN):

  • sFRC detecteerde hallucinaties zoals valse plaques, onnatuurlijke inkepingen en vervormingen van darmstructuren.
  • Het model presteerde slechter op "out-of-distribution" data (scherpe kernels) dan op trainingsdata (zachte kernels), wat door sFRC duidelijk werd aangetoond, terwijl PSNR/SSIM dit verschil minder duidelijk maakten.
  • Zelfs modellen met hoge PSNR/SSIM-waarden (zoals SR-WGAN) bleken hallucinaties te bevatten die door sFRC werden opgespoord.

• MRI Subsampled Restauratie (U-Net & PLS-TV):

  • sFRC werd getuned met behulp van theoretische hallucinatiekaarten (Bhadra et al.) en toonde een hoge overlap met deze theorie.
  • Het detecteerde klinisch relevante fouten zoals het verdwijnen van sulci, verdikking van grijze stof en bandartefacten.
  • De hallucinatie-rate nam toe naarmate de onderbemonstering toename (van 1x naar 3x versnelling), wat consistent is met het verlies aan informatie.

• CT Sparse View (PAIL-model):

  • Zelfs voor een state-of-the-art model (PAIL) dat bekend staat om stabiele reconstructies, detecteerde sFRC subtiele hallucinaties zoals vervaagde bloedvaten en onduidelijke darmwandlagen die niet zichtbaar waren in visuele inspectie zonder grondige vergelijking.

Vergelijking met andere metrieken:

• PSNR/SSIM/Hellinger Distance: Deze gaven vaak een misleidend positief beeld, vooral bij DL-modellen die visueel "mooie" beelden produceren maar lokale fouten bevatten.
• sFRC: Leverde een nauwkeurige kwantificering van de hallucinatie-ratio en identificeerde specifiek de defecte anatomische structuren.

5. Betekenis en Conclusie

Dit artikel introduceert een cruciaal hulpmiddel voor de validatie van AI-gedreven medische beeldvorming.

• Patientveiligheid: sFRC biedt een objectieve manier om te garanderen dat AI-modellen geen valse structuren introduceren die tot misdiagnoses kunnen leiden.
• Ontwikkeling: AI-ontwikkelaars kunnen sFRC gebruiken om hun modellen te optimaliseren en hallucinaties te minimaliseren voordat ze worden ingezet in de kliniek.
• Toekomstvisie: De auteurs pleiten voor het gebruik van de HOC-curve als een standaardmetriek, vergelijkbaar met hoe ROC-curves worden gebruikt voor diagnostische tests. Dit zou de overgang van puur "visueel aantrekkelijk" naar "klinisch betrouwbaar" versnellen.

De studie concludeert dat hoewel DL-methoden indrukwekkende resultaten laten zien, ze inherent onstabiel kunnen zijn bij het herstellen van onderbemonsterde data. sFRC is een noodzakelijke stap om deze onzekerheid te kwantificeren en te beheersen.