Triggering hallucinations in model-based MRI reconstruction via adversarial perturbations

Deze studie toont aan dat generatieve modellen voor MRI-reconstructie, zoals UNet en VarNet, kwetsbaar zijn voor kleine adversariële verstoringen die hallucinaties veroorzaken die niet door traditionele kwaliteitsmetingen worden gedetecteerd, wat wijst op de noodzaak van nieuwe detectiemethoden en robuustere trainingsroutines.

De kern

De "Magische" MRI: Waarom Kunstmatige Intelligentie soms Dingen ziet die er niet zijn

Stel je voor dat je een foto maakt van een oud, stoffig schilderij. Je wilt het schoonmaken en de kleuren weer helder maken, zodat je de details kunt zien. In de medische wereld doen artsen iets vergelijkbaars met MRI-schermen. Patiënten bewegen, de machines maken ruis, en soms missen ze stukjes informatie. Om een scherp beeld te krijgen, gebruiken ze slimme computerprogramma's (kunstmatige intelligentie of AI) om de ontbrekende stukjes in te vullen.

Het probleem? Deze slimme computers zijn soms te creatief. Ze "hallucineren". Ze vullen de ontbrekende stukjes in met details die er helemaal niet zijn, alsof ze een verhaal verzinnen in plaats van de werkelijkheid te tonen. In een ziekenhuis kan dit dodelijk zijn: de computer ziet een tumor waar geen is, of ziet een gezonde knie als gebroken.

De auteurs van dit onderzoek (Suna, Yvan en Jonathan) hebben een experiment gedaan om te bewijzen hoe kwetsbaar deze systemen zijn. Hier is hoe ze het deden, vertaald in een simpel verhaal:

1. De "Onzichtbare Ruis" (De Aanval)

Stel je voor dat je een heel stil gesprek hebt in een kamer. Als je heel zachtjes een piepje toevoegt (zoals een vlieg die tegen het raam vliegt), hoor je het misschien niet, maar het verstoort de concentratie.

De onderzoekers hebben een soort "digitale vlieg" bedacht. Ze voegden een heel klein beetje ruis toe aan de ruwe MRI-data voordat deze naar de computer ging. Voor het menselijk oog was dit ruisje onzichtbaar; het leek alsof er niets gebeurd was. Maar voor de AI was dit een signaal om te gaan "dromen".

2. De "Magische Toverstaf" (Het Resultaat)

Toen de computer deze "vervuilde" data kreeg, gebeurde er iets vreemds. De AI probeerde het beeld te reconstrueren, maar door dat kleine ruisje dacht hij: "Oh, hier moet een lijn zijn!" of "Hier is een scheurtje!".

• Het experiment: Ze lieten de AI een hersenfoto maken. Door de ruis zag de AI plotseling een extra plooitje in de hersenen dat er niet was.
• Of: Ze lieten een knie zien. De AI zag plotseling een gescheurd kraakbeen, terwijl de knie helemaal gezond was.

Het is alsof je een schilderij bekijkt en door een heel klein stofje op je bril, je ineens een monster ziet dat er niet is. De computer is zo gevoelig dat hij uit het niets een ziekte "creëert".

3. De "Valse Vriend" (De Metingen)

Je zou denken: "Wacht, als de computer een fout maakt, zien we dat toch wel aan de cijfers? De kwaliteit moet toch slechter zijn?"

De onderzoekers keken naar de standaard meetlatjes die artsen en ingenieurs gebruiken (zoals scherpte en helderheid). Het verrassende nieuws? De meetlatjes gaven geen alarm.
De computer zei: "De kwaliteit is nog steeds 99% perfect!" terwijl er een groot foutje in het beeld zat. Het is alsof je een vervalst biljet hebt dat er zo perfect uitziet dat de geldautomaat er geen verschil in ziet. De "hallucinaties" waren zo goed verstopt dat de traditionele controles ze niet konden zien.

Waarom is dit gevaarlijk?

Dit onderzoek laat zien dat de slimme AI's die we nu gebruiken voor MRI's, heel fragiel zijn. Ze kunnen makkelijk worden "gehackt" door een heel klein beetje ruis, en ze doen dit zonder dat we het merken.

• Het risico: Een arts kan een diagnose stellen op basis van een beeld dat de computer heeft verzonnen.
• De oplossing? We kunnen niet zomaar vertrouwen op de huidige meetmethoden. We hebben nieuwe, slimmere manieren nodig om te checken of een beeld echt is of een "droom" van de computer. Misschien moeten we de computers zelfs trainen met deze "valse" beelden, zodat ze leren om niet meer in de val te trappen.

Kort samengevat:
Deze slimme MRI-computers zijn als een te enthousiaste illustrator die soms te veel toevoegt aan een tekening. De onderzoekers hebben bewezen dat je met een heel klein beetje "ruis" deze illustrator kunt dwingen om valse ziektes te tekenen, en dat onze huidige controles dit niet eens merken. Het is een waarschuwing: we moeten voorzichtig zijn met AI in de geneeskunde en beter leren hoe we deze "hallucinaties" kunnen opsporen.

Technische samenvatting

Probleemstelling

Generatieve modellen, zoals deep learning-architecturen, worden steeds vaker ingezet om de kwaliteit van medische beeldvorming (zoals MRI en CT) te verbeteren door ruwe meetdata te reconstrueren. Een bekend nadeel van deze modellen is echter hun gevoeligheid voor hallucinaties. Dit betekent dat het model structuren of kenmerken in de gereconstrueerde afbeelding kan toevoegen die niet in de oorspronkelijke data aanwezig waren, of omgekeerd, bestaande kenmerken kan verwijderen.

In een medische context is dit kritiek: hallucinaties kunnen leiden tot verkeerde diagnoses en daarmee directe schade aan de patiënt toebrengen. Hoewel er veel onderzoek is gedaan naar de robustheid van classificatiemodellen tegen adversariële aanvallen, is er minder bekend over de kwetsbaarheid van reconstructiemodellen voor dergelijke hallucinaties. Het huidige probleem is dat er geen effectieve methoden bestaan om te detecteren wanneer een reconstructie door een hallucinatie is vervuild.

Methodologie

De auteurs ontwikkelen een adversariële aanval die specifiek is ontworpen om hallucinaties te provoceren in state-of-the-art model-based MRI-reconstructies.

1. Doel van de aanval: Het creëren van onzichtbare perturbaties (verstoringen) in de ruwe k-ruimte data (Fourier-ruimte) van een MRI-scan. Wanneer deze verstoarde data door een generatief model wordt gereconstrueerd, moet het model een specifiek, niet-bestaand detail (een "hallucinatie") toevoegen aan de afbeelding.
2. Optimalisatieprobleem: De aanval lost een optimalisatieprobleem op om een perturbatie $\delta$ te vinden die de volgende doelstelling minimaliseert:
   • Het verschil tussen de gereconstrueerde afbeelding en een doelafbeelding ($y_t$) binnen een specifiek masker $m$ (waar het kunstmatige detail moet verschijnen).
   • Het verschil tussen de gereconstrueerde afbeelding en de originele reconstructie buiten dit masker (om de rest van de afbeelding trouw te houden).
   • De perturbatie is beperkt tot een kleine $L_\infty$-norm ($\epsilon$), zodat deze voor het menselijk oog onzichtbaar blijft in de invoerdata.
3. Implementatie: De aanval is geïnspireerd op de Basic Iterative Method (BIM). De perturbaties worden toegepast op de reële componenten van de complexe k-ruimte data.
4. Doelwit: De aanval is generiek en kan elk detail toevoegen, maar in dit experiment wordt gekozen voor het toevoegen van een witte lijn in het midden van de afbeelding als testcase.
5. Modellen en Data: De evaluatie is uitgevoerd op de fastMRI-dataset (hersenen en knie) met twee populaire architecturen: UNet en E2E-VarNet.

Belangrijkste Bijdragen

• Actieve provocatie van hallucinaties: De auteurs tonen aan dat het mogelijk is om systematisch hallucinaties te genereren in MRI-reconstructies door middel van microscopisch kleine perturbaties in de invoerdata.
• Ontmaskering van kwetsbaarheid: Het werk demonstreert dat zelfs zeer geavanceerde modellen (UNet, VarNet) extreem instabiel zijn ten opzichte van kleine ruis, wat verklaart waarom hallucinaties in de praktijk kunnen optreden.
• Onderschatting van bestaande metrics: De auteurs tonen aan dat traditionele beeldkwaliteitsmetrieken (zoals PSNR, NRMSE en SSIM) niet geschikt zijn om hallucinaties te detecteren. De verdeling van deze waarden voor "schone" en "gehallucineerde" reconstructies overlapt bijna volledig.
• Richting voor toekomstig onderzoek: Het artikel pleit voor wiskundig onderbouwde methoden (zoals geverifieerde defensies of adversariële training) in plaats van puur data-gedreven detectoren, gezien de historische mislukkingen van het laatste type in het domein van adversariële machine learning.

Resultaten

• Succes van de aanval: De aanval slaagde erin om hallucinaties (de toegevoegde lijn) te genereren in de gereconstrueerde beelden terwijl de perturbaties in de invoerdata onzichtbaar bleven.
• Kwaliteitsmetrieken:
  • Voor de invoerdata (k-ruimte) waren de verschillen minimaal (hoge PSNR, lage NRMSE, SSIM $\approx$ 1), wat bevestigt dat de perturbaties onzichtbaar zijn.
  • Voor de reconstructies daalde de kwaliteit echter aanzienlijk (PSNR daalde naar ~30-40 dB, NRMSE nam toe met een orde van grootte).
  • Cruciaal punt: Wanneer men probeert een hallucinatie te detecteren door de model-reconstructie te vergelijken met een klassieke reconstructie (bijv. Total Variation) via deze metrieken, overlapen de verdelingen bijna volledig. Dit betekent dat een arts of systeem niet kan vertrouwen op PSNR of SSIM om te bepalen of een beeld betrouwbaar is of niet.
• Kwalitatieve observaties: De hallucinaties leidden niet alleen tot het toegevoegde detail, maar veroorzaakten vaak ook verdere, biologisch plausibele vervormingen in de omgeving van het doelgebied, wat de diagnose verder kan verstoren.

Betekenis en Conclusie

Dit onderzoek waarschuwt voor de ernstige risico's van het gebruik van generatieve deep learning-modellen in de medische beeldvorming zonder adequate robustheid. Het feit dat hallucinaties niet betrouwbaar kunnen worden gedetecteerd met standaard kwaliteitsmetrieken, betekent dat er nieuwe, fundamentele benaderingen nodig zijn.

De auteurs concluderen dat:

1. State-of-the-art MRI-reconstructiemodellen fundamenteel instabiel zijn voor kleine ruis.
2. Traditionele detectiemethoden ontoereikend zijn.
3. Toekomstig onderzoek zich moet richten op wiskundig onderbouwde defensies (bijvoorbeeld via geverifieerde stabiliteit in compressieve sensing) en adversariële training om de robustheid van deze modellen te verbeteren.

De code voor de experimenten is openbaar beschikbaar gesteld om verdere research naar detectie en mitigatie van hallucinaties te faciliteren.