A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

Probleemstelling

Generatieve modellen voor medische beeldvorming (zoals MRI) worden steeds vaker gebruikt om data-schaarste en class-ongelijkheid aan te pakken. Een groot risico bij deze modellen is echter data-lekkage (of "memorization"), waarbij het model trainingsdata exact of bijna exact dupliceert in plaats van nieuwe, algemene patronen te leren. Dit vormt een ernstig privacyrisico voor patiënten.

Bestaande methoden om dit te detecteren hebben echter significante tekortkomingen:

• Kwaliteitsmetrieken (zoals FID, MMD): Deze zijn vaak contraproductief. Als trainingsdata wordt gedupliceerd, komt de testverdeling dichter bij de trainingsverdeling te liggen, waardoor deze scores verbeteren (wat suggereert dat het model beter presteert), terwijl er juist sprake is van memorisatie.
• Specifieke duplicatie-metrieken (zoals CT-score, Vendi score): Deze zijn vaak gebaseerd op features van modellen die zijn getraind op natuurlijke afbeeldingen (zoals InceptionV3). Deze features transfereren slecht naar medische beelden, die gekenmerkt worden door hoge anatomische regulariteit en beperkte variatie. Ze verwarren vaak opname-ruis met "diversiteit" of worden makkelijk om de tuin geleid door simpele augmentaties.
• Gebrek aan kalibratie: Bestaande metrieken hebben willekeurige schalen die per dataset verschillen, waardoor het moeilijk is om universele drempelwaarden te stellen voor wat een "veilige" score is.

Methodologie

De auteurs introduceren een nieuwe, gekalibreerde, multi-schaal metriek genaamd de Memorization Index (MI) en de Overfit/Novelty Index (ONI). De pipeline bestaat uit vier stappen:

1. Feature Extractie:

   • Er wordt gebruik gemaakt van een domeinspecifiek foundation model voor MRI: MRI-CORE (een SAM ViT-B encoder).
   • Features worden geëxtraheerd uit meerdere lagen van de transformer (lagen 3, 7 en 11). Dit vangt zowel fijne textuurpatronen (vroege lagen) als grove anatomische structuren (late lagen) op.
   • De features worden ruimtelijk gepooled via adaptieve gemiddelde pooling.

2. Whitening en Lagen-gebaseerde Similariteit:

   • Om vergelijkbaarheid tussen lagen te garanderen, wordt ZCA-whitening toegepast op de trainingsfeatures per laag. Dit decorreleert de features zonder de oorspronkelijke feature-ruimte te roteren (in tegenstelling tot PCA).
   • Voor elk test-voorbeeld wordt de maximale cosine-similariteit berekend met alle trainingsvoorbeelden per laag.

3. Multi-Schaal Aggregatie:

   • De similariteiten van de verschillende lagen worden geaggregeerd tot één score per voorbeeld via een geometrisch gemiddelde.
   • Dit werkt als een "product-of-experts": een voorbeeld wordt alleen als zeer gelijkaardig beoordeeld als het gelijktijdig dichtbij ligt in vroege, midden- en late features. Dit onderdrukt outliers in één enkele laag.

4. Kalibratie en Indexen:

   • Om betekenisvolle drempels te stellen, wordt een empirische nulverdeling geconstrueerd door bootstrapping van de trainingsset (het vergelijken van onafhankelijke subsets van de trainingsdata).
   • De geschatte similariteit ($s_j$) wordt gestandaardiseerd tot de Memorization Index (MI):
     $$MI_j = \frac{s_j - \mu_{null}}{\sigma_{null}}$$
   • De MI wordt vervolgens gemapt naar een gebonden Overfit/Novelty Index (ONI) via de tangens hyperbolicus functie:
     $$ONI_j = -\tanh(MI_j)$$
   • Interpretatie:
     • ONI $\approx -1$: Hoge similariteit (potentiële memorisatie/duplicaat).
     • ONI $\approx 0$: Similariteit consistent met de nulverdeling (normale, onverwachte similariteit tussen ongerelateerde samples).
     • ONI $\approx +1$: Novelty (nieuw, niet-gememoriseerd).

Belangrijkste Bijdragen

• Domeinspecifieke Features: Het gebruik van MRI-CORE in plaats van generieke natural-image modellen, wat essentieel is voor de subtiele variaties in medische beelden.
• Gekalibreerde Schaal: De methode levert een consistente schaal op die over verschillende datasets (hersenen, knie, ruggengraat) bruikbaar is, in tegenstelling tot bestaande methoden.
• Per-Sample Detectie: In tegenstelling tot veel set-level metrieken, kan deze methode individuele gedupliceerde afbeeldingen identificeren en markeren.
• Robuustheid: De metriek is ontworpen om robuust te zijn tegen veelvoorkomende data-augmentaties (ruis, rotaties, flips).

Resultaten

De methode werd getest op drie openbare MRI-datasets (BRATS hersentumoren, knie/thigh, en ruggengraat) met gecontroleerde duplicatiepercentages (5% tot 45%) en diverse augmentaties.

• Robuustheid tegen Augmentaties: De voorgestelde MI is 6 tot 20 keer stabieler dan de CT-score. De standaardafwijking van de scores over verschillende augmentaties is aanzienlijk lager, wat betekent dat de score minder fluctueert bij kleine veranderingen in de input.
• Consistentie over Datasets: De variatiecoëfficiënt (CV) van de MI over verschillende datasets is 5,5 keer lager dan die van de CT-score. Dit maakt het mogelijk om universele drempelwaarden te stellen (bijv. een ONI < 0,68 duidt op duplicatie), ongeacht de dataset.
• Detectieprestaties:
  • Bij schone data, ruis en intensiteitsschaling bereikt de methode een perfecte detectie (AUC $\approx$ 1,0).
  • Bij geometrische transformaties (rotaties, flips) blijft de detectie goed (AUC > 0,72), hoewel iets lager dan bij schone data.
• Vergelijking met andere metrieken:
  • FID/MMD nemen af bij meer duplicatie (misleidend).
  • Vendi score geeft nauwelijks signaal.
  • AuthPct is zeer gevoelig voor augmentaties.
  • De MI toont een bijna lineaire toename bij meer duplicatie, zelfs met augmentaties.

Betekenis en Conclusie

Dit paper presenteert een praktische oplossing voor een kritiek probleem in de medische AI: het veiligstellen van generatieve modellen tegen data-lekkage.

De belangrijkste implicaties zijn:

1. Van Diagnose naar Actie: De methode transformeert memorisatie-evaluatie van een passieve diagnose naar een actief curatie-instrument. Omdat het per-sample scores geeft, kunnen onderzoekers specifieke "gelekte" slices identificeren en verwijderen uit de dataset.
2. Vertrouwen in Generatieve Modellen: Door het combineren van deze metriek met bestaande kwaliteitsmetrieken (zoals FID), kunnen onderzoekers beter onderscheid maken tussen een model dat goede nieuwe beelden genereert en een model dat simpelweg de trainingsdata kopieert.
3. Universele Toepasbaarheid: De gekalibreerde aard van de ONI/MI maakt het mogelijk om veiligheidsdrempels te definiëren die gelden voor verschillende medische beeldvormingsmodaliteiten, mits een geschikt domeinspecifiek feature-model wordt gebruikt.

Kortom, de auteurs bieden een robuust, schaalbaar en interpreteerbaar instrument om privacyrisico's in generatieve medische AI te mitigeren.