Technische Samenvatting: Vergeten is bewaren: Machine Unlearning voor 3D medische beeldsegmentatie

1. Probleemstelling

De snelle adoptie van deep learning in de medische beeldvorming, met name voor 3D volumetrische data zoals MRI en CT, roept kritieke zorgen op over gegevensprivacy. Regelgeving zoals de AVG (Artikel 17), HIPAA en de Indiase DPDPA 2023 verlenen individuen het "recht op gegevenswissing", wat vereist dat persoonlijke gegevens niet alleen uit opslag worden verwijderd, maar ook uit getrainde machine learning-modellen.

In de context van 3D medische beeldsegmentatie vormt dit een unieke uitdaging. In tegen tegenstelling tot 2D classificatietaken waarbij "vergeten" het verwijderen van volledige klassen kan inhouden, vereist medische unlearning het verwijderen van data op subjectniveau (d.w.z. specifieke patiënten). Bovendien is de output een dichte, voxel-gewijze voorspelling in plaats van een enkele label. De standaardmethode voor naleving — het opnieuw trainen van een model vanaf nul op de resterende data — is computationeel onhaalbaar voor 3D volumetrische datasets, aangezien dit vaak honderden GPU-uren vereist. Daarom is er behoefte aan benaderende machine unlearning strategieën die een bestaand vooraf getraind model kunnen modificeren om specifieke subjecten te "vergeten", terwijl de hoge prestaties op de behouden data worden gehandhaafd, zonder de kosten van volledige hertraining.

2. Methodologie

2.1 Backbone Architectuur

De studie maakt gebruik van een 3D ResNet-50 architectuur die is voorgetraind met het Med3D framework. Deze backbone is gekozen vanwege het vermogen om robuuste volumetrische representaties te leren van diverse 3D medische datasets (long, lever, hersenen) over CT- en MRI-modaliteiten heen. Het model is gedecomposeerd in:

• Encoder ($E_\phi$): Een 3D ResNet-50 die spatiotemporele kenmerken extraheert.
• Decoder/Segmentatiekop ($G_\psi$): Een multi-layer decoder bestaande uit 3D getransponeerde convoluties en verfijningslagen die de kenmerken mappen naar voxel-gewijze klasse-logits.

Het model is gefinetuned op de MRBrainS18 dataset, die expert-annotaties bevat voor hersenstructuren bij oudere proefpersonen.

2.2 Experimentele Opzet

• Dataset: MRBrainS18 (10 subjecten).
• Forget Set ($D_f$): 2 subjecten (20% van de data).
• Retain Set ($D_r$): De overige 8 subjecten.
• Taak: Binaire segmentatie (hersenweefsel versus niet-hersenweefsel).
• Trainingshorizonten: Unlearning-strategieën werden geëvalueerd over 20 en 50 epochs.
• Metrieken:
  • Dice Similarity Coefficient (DSC): Meet ruimtelijke overlap.
  • Mean Absolute Error (MAE): Meet de afwijking in voorspellingswaarschijnlijkheid.
  • Gap-metrieken: $\Delta$Dice ($D_r - D_f$) en $\Delta$MAE ($D_f - D_r$) om de trade-off tussen vergeten en behoud te kwantificeren.

2.3 Unlearning Strategieën

De studie evalueert verschillende benaderende unlearning-strategieën die zijn aangepast uit het I2I-framework en andere literatuur, gecategoriseerd in vier mechanismen:

1. Gradient-gebaseerde benaderingen (GA):

   • Retain Label / Max Loss: Modificeert de loss-functie door de gradiënt voor de forget set te negeren (de fout maximaliseren) terwijl de fout voor de retain set wordt geminimaliseerd.
   • Risico: Onbegrensde gradiënt-ascent kan leiden tot catastrofale degradatie van de retain set.

2. Label- en datamanipulatie:

   • Noisy Label (NL): Vervangt de ground-truth voxel-labels van de forget-subjecten door uniform willekeurige labels tijdens de training. Het model wordt geoptimaliseerd op deze gemanipuleerde distributie, waardoor de gememoriseerde representaties voor de forget-subjecten effectief worden overschreven terwijl de retain-subjecten worden versterkt.

3. Interventies in de feature-ruimte:

   • Random Encoder (RE): Overschrijft de latente feature maps van de forget-subjecten met Gaussische ruis voordat ze de decoder bereiken.
   • Learn Others (LO) & Learn Noise (LN): Gebruikt een teacher-student distillatieparadigma. De student-encoder wordt gedwongen om de forget-subjecten te mappen naar een generiek doel (ofwel het gemiddelde van de huidige batch kenmerken, ofwel dynamische Gaussische ruis), terwijl hij de teacher spiegelt voor de retain-subjecten.

4. Finetuning en selectieve hertraining:

   • Fix Decoder (FD): Bevriest de segmentatiekop (decoder) en werkt alleen de encoder-parameters bij via distillatie. Dit beoogt het vergeten te beperken tot de latente feature-ruimte om decoder-drift te voorkomen.

3. Belangrijkste Resultaten

De experimenten toonden significante verschillen aan in de trade-offs tussen effectiviteit van het vergeten en nut-behoud:

• Noisy Label (NL) Strategie: Deze benadering vertoonde de beste algemene trade-off.

  • Na 50 epochs behaalde het een Dice Gap van +0.6963 en een MAE Gap van +0.091.
  • Het verminderde de Dice-score van de forget set met 93% (van 0.9226 naar 0.0613).
  • Cruciaal was dat het 84% nauwkeurigheid behield op de retain set (Dice-score van 0.7576).
  • In tegenstelling tot andere methoden verbeterde de prestatie bij deze methode bij langere trainingshorizonten, waarbij simultaan zowel het vergeten als het behoud werd versterkt.

• Gradient-gebaseerde methoden (Retain Label/Max Loss): Hoewel effectief in het verwijderen van de prestaties op de forget set, leden deze methoden onder catastrofale degradatie van de retain set, vooral bij 50 epochs. De ongecontroleerde loss-negatie dreef het model naar slechte regio's in de parameterruimte.

• Interventies in de feature-ruimte (RE, LO, LN):

  • Random Encoder behield de prestaties van de retain set maar bereikte zeer beperkt vergeten (Dice gap ~0.01–0.04), wat suggereert dat de decoder de gecorrumpeerde encoder-features kan compenseren.
  • Learn Others/Noise veroorzaakte een bijna volledige instorting van de retain-prestaties, wat aangeeft dat agressieve feature-manipulatie de geleerde representaties te sterk verstoorde.

• Fix Decoder (FD): Toonde matig unlearning bij 20 epochs, maar werd instabiel bij 50 epochs, waarbij het uiteindelijk het beoogde gedrag omkeerde door beter te presteren op de forget set dan op de retain set.

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen en betekenis:

1. Eerste Systematische Benchmark: Naar weten van de auteurs is dit de eerste studie die meerdere benaderende unlearning-strategieën systematisch evalueert specifiek voor 3D medische beeldsegmentatie met subject-niveau forget sets. Eerdere benchmarks waren grotendeels beperkt tot 2D classificatietaken (bijv. CIFAR-10, ImageNet).
2. Empirische Evaluatie van 3D Unlearning: De studie past deze strategieën aan en evalueert ze op een Med3D ResNet-50 framework, waarmee de eerste uitgebreide empirische data worden geleverd over het verwijderen van patiëntspecifieke kennis uit 3D volumetrische modellen.
3. Reproduceerbaar Evaluatieprotocol: De auteurs stellen een protocol vast met segmentatie-specifieke metrieken (Dice en MAE) om de trade-off tussen effectiviteit van het vergeten en behouden klinisch nut te kwantificeren, waarmee de moeilijkheid van het toepassen van 2D-metrieken op 3D dichte voorspellingstaken wordt geadresseerd.
4. Identificatie van de Optimale Strategie: De studie identificeert de Noisy Label strategie als de meest robuuste methode voor dit domein, in staat om sterk vergeten te bereiken terwijl het merendeel van het nut van het model op de behouden data wordt behouden.

5. Conclusie en Toekomstig Werk

De studie concludeert dat hoewel er veel unlearning-strategieën bestaan, ze vaak falen in de hoogdimensionale, complexe context van 3D medische beeldvorming, ofwel door ineffectief te vergeten, ofwel door het nut van het model te vernietigen. De Noisy Label strategie komt naar voren als de meest levensvatbare oplossing voor subject-niveau unlearning in dit domein.

De auteurs merken op dat toekomstig werk zich moet richten op:

• Formele adversariële privacy-evaluaties met behulp van membership inference of model inversion attacks om de verwijdering van residuele informatie rigoureus te bewijzen.
• Het onderzoeken van adaptieve optimalisatie-algoritmen (bijv. dynamische alpha-scheduling) en parameter-efficiënte fine-tuning (bijv. LoRA) om unlearning in de feature-ruimte verder te stabiliseren.

Het artikel benadrukt dat het ontwikkelen van effectieve unlearning-methoden een noodzakelijke stap is naar het bouwen van betrouwbare klinische AI-systemen die de privacyprincipes in de echte gezondheidszorg respecteren.