The pretraining domain outweighs the training objective in setting the privacy-utility trade-off of differentially private medical image analysis

Technische Samenvatting: Het Pretraining-domein weegt zwaarder dan het Trainingsobjectief in Differentieel Privé Medische Beeldanalyse

Probleemstelling
Differentiële privacy (DP) biedt een formele garantie tegen reconstructie-aanvallen en membership inference in medische beeldvorming door de invloed van elke individuele patiënt op het model te beperken via Differentially Private Stochastic Gradient Descent (DP-SGD). Deze bescherming brengt echter een aanzienlijke utility-kost met zich mee, wat modellen vaak klinisch onbruikbaar maakt onder strikte privacybudgetten ($\epsilon \approx 1$). Hoewel pretraining bekend staat om het verzachten van dit verlies, verwarren bestaande literatuur twee cruciale variabelen: het pretraining-objectief (gesuperviseerd versus zelf-gesuperviseerd) en het pretraining-domein (generieke natuurlijke beelden versus domeinspecifieke medische beelden). Bovendien behandelen standaard private fine-tuning pipelines het pretraining-corpus vaak als publiek, zelfs wanneer dat corpus uit gevoelige patiëntgegevens bestaat, wat de end-to-end privacygarantie doorbreekt. De centrale vraag blijft: onder differentiële privacy, drijft de keuze van het pretraining-objectief of de keuze van het pretraining-domein de diagnostische utility?

Methodologie
De auteurs voerden een grootschalige empirische studie uit om deze variabelen te ontrafelen met behulp van een vaste ConvNeXt-backbone en een gestandaardiseerde DP-SGD-pipeline.

• Initialisaties: Vijf verschillende initialisatiestrategieën werden vergeleken, waarbij het objectief en het domein onafhankelijk werden gevarieerd:
  1. Random (He): Getraind vanaf nul.
  2. ImageNet: Gesuperviseerde pretraining op natuurlijke beelden.
  3. DINOv3: Zelf-gesuperviseerde pretraining op natuurlijke beelden.
  4. InDomain-stand: Gesuperviseerde pretraining op borstfoto's (MIMIC-CXR).
  5. InDomain-priv: Differentieel private gesuperviseerde pretraining op MIMIC-CXR (voldoet aan een $(\epsilon, \delta)$-garantie met $\epsilon=7.93$).
• Experimentele Opzet: De modellen werden gefinetuned op ConvNeXt-Small (49,5M parameters) en ConvNeXt-Tiny (27,8M parameters) over vier privacy-budgetniveaus ($0 < \epsilon < 1$, $1 < \epsilon < 3$, $3 < \epsilon < 6$, $6 < \epsilon < 9$) en een niet-private referentie.
• Evaluatie: Prestaties werden geëvalueerd op vijf externe borstfoto-datasets uit vier landen (VinDr-CXR, CheXpert, ChestX-ray14, PadChest, UKA-CXR), in totaal meer dan 590.000 beelden. Gemeten metrieken waren macro-gemiddelde AUROC, AUPRC, mAP, accuratesse, sensitiviteit, specificiteit, Brier score en Expected Calibration Error (ECE).
• Aanvullende Analyses: De studie beoordeelde de generalisatie naar ongeziene instellingen (leave-one-dataset-out), de impact van parameter-efficiënte fine-tuning (Low-Rank Adaptation en head-only training) en demografische eerlijkheid over subgroepen van geslacht en leeftijd.

Belangrijkste Resultaten

1. Domein domineert Objectief: Het pretraining-domein was de sterkste voorspeller van accuratesse onder privacy. Gesuperviseerde pretraining op borstfoto's (InDomain-stand) rangschikte als eerste in 24 van de 25 dataset- en budgetcombinaties. Naarmate het privacybudget strenger werd van niet-privaat naar $0 < \epsilon < 1$, werd de prestatiekloof tussen InDomain-stand en generieke ImageNet-pretraining groter van 2,5 naar 14,6 punten in macro AUROC. Het domeineffect overtrof het objectieveffect (zelf-gesuperviseerd versus gesuperviseerd) met een factor 2,2 tot 3,4.
2. Robuustheid tegen Privacyruis: In-domein representaties absorbeerden de ruis en gradiëntclipping van DP-SGD met minimaal verlies. De overgang van niet-privaat naar strikte privacy ($0 < \epsilon < 1$) kostte InDomain-stand slechts 5,3 punten in macro AUROC, vergeleken met 17,3 punten voor ImageNet en 20,8 punten voor training vanaf nul.
3. Kosten van het Privatiseren van Pretraining: Privately pretrainen op MIMIC-CXR (InDomain-priv) bracht een stabiel verlies van ongeveer 5 punten met zich mee ten opzichte van standaard in-domein pretraining. Cruciaal is dat zelfs met deze penalty, InDomain-priv alle publieke initialisaties (ImageNet, DINOv3) overtrof onder downstream privacybeperkingen.
4. Privacy-efficiëntie: Modellen met een sterke in-domein initialisatie convergeerden sneller en verbruikten aanzienlijk minder van de privacybudget-cap. InDomain-stand bereikte zijn piekprestaties nadat het gemiddeld slechts 66% van de striktste budgetcap had verbruikt, terwijl training vanaf nul bijna 100% verbruikte.
5. Parameter-efficiënte Fine-tuning: Low-Rank Adaptation (LoRA) compenseerde zwakke initialisaties en verbeterde de prestaties met gemiddeld 8,0 punten voor random initialisatie. Echter, LoRA slaagde er niet in de kloof tussen generieke en in-domein modellen te dichten; het beste generieke model met LoRA bleef achter bij het in-domein model met volledige fine-tuning.
6. Demografische Eerlijkheid: De privacykosten vielen ongelijk over leeftijds-subgroepen, met name voor die ouder dan 70. InDomain-stand behield de hoogste "vloer" (prestatie van de slechtst presterende subgroep) over alle datasets, waarbij de slechtste subgroep boven de 70 macro AUROC bleef, terwijl andere initialisaties aanzienlijk lager uitvielen.

Betekenis en Claims
Het artikel betoogt dat voor private medische AI, waar een model begint belangrijker is dan hoe het is onderwezen of hoe groot het is. De auteurs beweren dat het cureren en delen van domein-overeenkomstige pretraining-corpora een effectievere route is naar private medische AI dan het nastreven van steeds grotere generieke pretraining-objectieven.

Belangrijke implicaties die worden benadrukt zijn onder meer:

• End-to-End Privacy: Het is haalbaar en voordelig om het pretraining-corpus zelf te beschermen, waardoor een pipeline ontstaat waarin de privacygarantie geldt van de eerste afbeelding die wordt gezien tot de uiteindelijke voorspelling.
• Herformulering van de Trade-off: Een goed afgestemde initialisatie fungeert als een hefboom aan beide kanten van de privacy-utility trade-off: het maximaliseert de utility terwijl het het daadwerkelijke verbruikte privacybudget minimaliseert.
• Rapportage van Eerlijkheid: De auteurs waarschuwen dat smalle discrepantiegaten niet noodzakelijkerwijs gelijkstaan aan eerlijkheid als de algehele prestatie slecht is. Ze pleiten voor het rapporteren van het prestatieniveau van de slechtst bediende subgroep naast de gap-statistieken.

De studie concludeert dat het koppelen van een domein-overeenkomstige initialisatie aan parameter-efficiënte private fine-tuning een groot deel van de accuratesse herstelt die verloren is gegaan door strikte privacy, waardoor privacy-bewuste diagnostische beeldvorming minder een compromis is.