Res-MIA: A Training-Free Resolution-Based Membership Inference Attack on Federated Learning Models

Technische Samenvatting: Res-MIA

Probleemstelling
Membership Inference Attacks (MIA's) vormen een kritieke privacydreiging waarbij aanvallers kunnen bepalen of een specifieke datasample deel uitmaakte van de trainingsset van een model. Hoewel Federated Learning (FL) ontworpen is om privacy te waarborgen door data te decentraliseren, wijst recent bewijs uit dat het uiteindelijke globale model nog steeds lidmaatschapsinformatie kan lekken via black-box toegang. Bestaande MIA's vertrouwen vaak op computationeel dure schaduwmodellen, vereisen hulpdata, of zijn afhankelijk van single-query metrieken (zoals loss of entropie) die er niet in slagen om genuanceerde gedragsverschillen tussen leden en niet-leden te vangen. Bovendien worstelen veel huidige methoden in beperkte black-box settings waar alleen confidence scores of labels beschikbaar zijn.

Methodologie: Res-MIA
Het artikel introduceert Res-MIA, een nieuwe, training-vrije, black-box membership inference attack. De kernintuïtie is dat deep learning modellen die getraind zijn op specifieke datasets de neiging hebben tot overfitting door hoogfrequente, fijnmazige details in de trainingssamples te memoriseren. In tegen plaats leunen voorspellingen op ongeziene (niet-lid) samples meer op robuuste, laagfrequente, grove kenmerken.

Res-MIA maakt gebruik van deze gevoeligheid door de resolutie van de input progressief te degraderen en het daaropvolgende verval in de voorspellingszekerheid van het model te observeren. De aanvals-pipeline werkt als volgt:

1. Progressieve Erosie: Begin met een inputafbeelding $x_0$, waarbij de methode een reeks van $K$ erosiestappen toepast. In elke stap $k$ wordt de resolutie van de afbeelding verlaagd via average pooling en vervolgens hersteld naar de oorspronkelijke grootte met behulp van nearest-neighbor interpolatie. Deze specifieke combinatie fungeert als een low-pass filter dat hoogfrequente details onderdrukt zonder ze kunstmatig te reconstrueren (een risico bij gladdere interpolaties zoals bilinear).
2. Confidence Tracking: Het doelmodel wordt bij elke erosiestap $k$ bevraagd om de prediction confidence $c_k$ voor de voorspelde klasse te verkrijgen.
3. Scoring: Een Confidence Decay Score, $S(x)$, wordt berekend als de gemiddelde snelheid van het verlies aan confidence over de erosiestappen:
   $$S(x) = \frac{f_{y^*}(x_0) - f_{y^*}(x_K)}{K}$$
   waarbij $y^*$ de voorspelde klasse is voor de oorspronkelijke input.
4. Inference: De hypothese is dat lidmaatschaps-samples een aanzienlijk steilere daling in confidence vertonen (hogere $S(x)$) naarmate hoogfrequente details worden verwijderd, terwijl niet-lid samples een meer geleidelijke daling laten zien.

Belangrijkste Bijdragen

• Training-Vrij en Black-Box: In tegenstelling tot shadow-model-gebaseerde aanvallen vereist Res-MIA geen hulpdata, geen training van attack classifiers, en geen toegang tot de gradiënten van het model. Het opereert uitsluitend op basis van forward passes van het doelmodel.
• Nieuw Signaal: Het artikel identificeert "frequentie-gevoelige overfitting" als een robuuste bron van privacy-lekken. Het toont aan dat de snelheid van de confidence decay onder resolutie-erosie een sterker lidmaatschaps-signaal is dan statische metrieken zoals initiële confidence of entropie.
• Efficiëntie: De aanval is computationeel lichtgewicht en vereist slechts een klein aantal forward passes (bijv. $K+1$ queries) per sample.

Experimentele Resultaten
De auteurs evalueerden Res-MIA op een Federated ResNet-18 model getraind op de CIFAR-10 dataset met 10 clients.

• Prestaties: Res-MIA bereikte een AUC van 0,88, waarmee het bestaande training-vrije baselines aanzienlijk verslaat, inclus\n_bij een loss-gebaseerde aanval (AUC 0,75) en een entropie-gebaseerde aanval (AUC 0,68).
• False Positive Rate: Bij een vaste True Positive Rate (TPR) van 80%, reduceerde Res-MIA de False Positive Rate (FPR) tot 0,19, wat bijna de helft is van de confidence-gebaseerde baseline (0,38).
• Robuustheid: De aanval vertoonde consistente prestaties over alle 10 de federated clients, met client-specifieke AUC-waarden variërend tussen 0,86 en 0,89, wat aangeeft dat het niet afhankelijk is van client-specifieke artefacten.
• Ablatie: De studie bevestigde dat nearest-neighbor upsampling cruciaal is; het gebruik van bilinear interpolatie degradeerde de prestaties (AUC daalde naar 0,72), waarschijnlijk omdat gladdere interpolatie het effect van het verwijderen van hoogfrequente details maskeert.
• Overhead: De computationele kosten waren bescheiden, met een inferentietijd van 18,9 ms per sample (vergeleken met 3,1 ms voor een enkele forward pass), wat het haalbaar maakt voor grootschalige scenario's.

Betekenis en Claims
Het artikel claimt dat Res-MIA een voorheen onderbelicht mechanisme van privacy-lekken belicht: de afhankelijkheid van overfitte modellen van fijnmazige, niet-robuuste inputkenmerken. De auteurs stellen dat deze bevinding suggereert dat privacy-bewust modelontwerp verder moet gaan dan alleen het verbeteren van generalisatie; het vereist het expliciet verminderen van de afhankelijkheid van een model van hoogfrequente details.

Het werk positioneert zich als een aanvulling op de bestaande defensieve literatuur (zoals Differential Privacy of adversarial regularization). Door aan te tonen dat lidmaatschaps-signalen puur via input-transformatie kunnen worden geëxtraheerd zonder hertraining, benadrukt het artikel de noodzaak voor modellen die inherent robuust zijn tegen frequentie-gebaseerde perturbaties. De auteurs concluderen dat het mitigeren van deze risico's een verschuiving vereist in hoe modellen worden ontworpen, om ervoor te zorgen dat zij geen breekbare, sample-specifieke cues memoriseren.