Technische Samenvatting: Betrouwbaarheid van Efficiënte Evaluatie van Kwetsbaarheden voor Lidmaatschapsinferentie

1. Probleemstelling

Lidmaatschapsinferentie-aanvallen (MIA's) zijn de standaard empirische methode voor het beoordelen van privacylekken in machine learning-modellen. De kwetsbaarheid wordt doorgaans gemeten aan de hand van de True Positive Rate (TPR) bij een vaste, lage False Positive Rate (FPR). Het betrouwbaar schatten van de TPR bij zeer lage FPR's (bijv. $FPR \le 0,01$) vereist echter een verbodsbepalend groot aantal doelmodellen ($M$), aangezien $M$ moet voldoen aan $M \ge 10/FPR$ voor een stabiele schatting.

Om deze computerkosten te omzeilen, aggregeren practitioners vaak MIA-scores over meerdere doelmodellen en meerdere datasamples (concatenatie). Het artikel identificeert twee kritieke gebreken in deze "efficiënte" evaluatiepijplijn:

1. Foutkalibratie in Geconcateneerde Evaluatie: Het simpelweg concateneren van scores van verschillende samples en toepassen van één enkele globale drempelwaarde garandeert geen uniforme FPR over individuele samples. Dit leidt tot heterogene per-sample FPR's, waardoor de globale metriek onbetrouwbaar wordt voor het auditen van differentieel privacy of het vergelijken van verdedigingen.
2. Bias door Beperkte Populatie in Efficiënte LiRA: De veelgebruikte implementatie van "efficiënte LiRA" (Carlini et al., 2022) hergebruikt een beperkte set shadow-modellen. Omdat deze modellen worden getraind op overlappende subsets van een beperkte dataset zonder teruglegging, wordt de empirische variantie van de leerresultaten onderschat. Dit resulteert in een positieve bias in de schattingen van kwetsbaarheid, waardoor modellen kwetsbaarder lijken dan ze zijn ten opzichte van de onderliggende dataverdeling.

2. Methodologie

Theoretisch Kader

De auteurs kaderen MIA in als een binair hypothese-toets ($H_0$: sample $\notin$ trainingsset vs. $H_1$: sample $\in$ trainingsset). Zij onderscheiden tussen:

• Per-sample kwetsbaarheid: De onderscheidbaarheid van een specifiek sample $x$ over verschillende leerresultaten (stochasticiteit in training).
• Geconcateneerde kwetsbaarheid: Het aggregeren van scores over $M$ modellen en $N$ samples om een gemiddelde kwetsbaarheid te schatten.

Voorgestelde Oplossingen

A. Post-processing voor FPR-kalibratie

Om de foutkalibratie van geconcateneerde scores aan te pakken, stellen de auteurs een post-processing-methode voor op basis van affiene transformaties van de MIA-scores (LiRA-scores).

• Aanname: De in/uit-verdelingen voor een sample $x$ kunnen worden benaderd als Gaussisch: $S^{out}_x \sim \mathcal{N}(\mu_{out,x}, \sigma^2_{out,x})$ en $S^{in}_x \sim \mathcal{N}(\mu_{in,x}, \sigma^2_{in,x})$.
• Transformatie: De scores worden gestandaardiseerd met behulp van de parameters van de uit-verdeling:
  $$f_x(t) = \text{sign}(\Delta_x) \frac{t - \mu_{out,x}}{\sigma_{out,x}}$$
  waarbij $\Delta_x = \mu_{in,x} - \mu_{out,x}$.
• Effect: Onder deze transformatie wordt de uit-verdeling voor alle samples een standaardnormale verdeling $\mathcal{N}(0, 1)$. Vervolgens kan één enkele globale drempelwaarde $t_\alpha = \Phi^{-1}(1-\alpha)$ worden toegepast om ervoor te zorgen dat de FPR exact $\alpha$ is voor elk sample (onder de aanname van gelijke varianties of gebruik van de standaardnormale benadering).
• Ongelijke Varianties: Zelfs als de varianties verschillen ($\sigma_{in,x} \neq \sigma_{out,x}$), zorgt de transformatie ervoor dat de uit-verdeling standaardnormaal is, waardoor de FPR-kalibratie behouden blijft. Hoewel de toets niet langer de Uniformly Most Powerful (UMP)-toets is, biedt het een gekalibreerde ondergrens voor de gemiddelde kwetsbaarheid.

B. Correctie voor Beperkte Populatie (FPC)

Om de bias in efficiënte LiRA aan te pakken, passen de auteurs klassieke steekproeftheorie toe (Cochran, 1977).

• Observatie: Wanneer trainingssets worden gesampled zonder teruglegging uit een beperkte superset $D_{full}$ van grootte $N_+$, wordt de variantie van de schatter gereduceerd met een factor van $(1 - N/N_+)$, waarbij $N$ de grootte van de trainingsset is.
• Correctie: De empirische varianties die worden geschat vanuit shadow-modellen moeten worden opgeschaald met het omgekeerde van de Finite Population Correction (FPC)-factor:
  $$\text{FPC} = 1 - \frac{N}{N_+}$$
  $$\sigma^2_{corrected} \approx \frac{\sigma^2_{empirical}}{\text{FPC}}$$
  Deze correctie brengt de empirische variantie in lijn met de variantie die wordt verwacht bij onafhankelijke trekkingen uit de onderliggende populatieverdeling.

3. Belangrijkste Bijdragen

1. Theoretische Analyse van Aggregatie: Het artikel verduidelijkt de bronnen van willekeur in per-sample versus geconcateneerde MIA-evaluaties, en toont aan dat één enkele globale drempelwaarde heterogene per-sample FPR's induceert, waardoor naïeve concatenatie onbetrouwbaar is voor auditing bij lage FPR's.
2. Kalibratiemethode: Er wordt een eenvoudige post-processing-methode voorgesteld om per-sample FPR's te kalibreren, waardoor geconcateneerde evaluaties een gemiddelde TPR kunnen rapporteren bij een beoogde FPR onder milde Gaussische aannames.
3. Identificatie van Bias door Beperkte Populatie: De auteurs identificeren dat efficiënte LiRA-implementaties lijden aan onderschatting van variantie door het hergebruik van beperkte shadow-datasets. Zij stellen een op FPC gebaseerde oplossing voor om deze bias te corrigeren.
4. Empirische Validatie: Experimenten met TabPFN-modellen getraind op de UCI Adult- en Credit-datasets tonen aan dat naïeve concatenatie het privacyrisico overschat, terwijl de voorgestelde post-processing stabiele, lagere schattingen oplevert. Simulaties bevestigen dat de FPC-correctie de analytische standaardafwijking van de leerresultaten herstelt.

4. Experimentele Resultaten

• Vergelijking van Strategieën: Met behulp van TabPFN-modellen vergeleken de auteurs naïeve concatenatie, gepost-processed concatenatie en per-sample gemiddelden.
  • Naïeve Concatenatie: Leverde consequent hogere TPR's op en overschatte het risico omdat het geen rekening hield met per-sample variantieverschillen.
  • Gepost-processed Concatenatie (PP): Produceerde lagere, stabielere TPR-schattingen. Naarmate het aantal modellen ($M$) toenam, convergeerde de "Gemiddelde TPR/Sample" (de ground truth voor per-sample aggregatie) naar de "Geconcateneerde TPR (PP)", wat PP valideert als een betrouwbare, computerefficiënte proxy.
  • Drempelwaarde-toepassing: Het gebruik van een analytische drempelwaarde gebaseerd op $\mathcal{N}(0,1)$ leidde tot opgeblazen TPR's voor kleine $M$. Het gebruik van een Student's $t$-verdeling drempelwaarde leverde nauwkeurigere resultaten op voor $M \ge 256$.
• Bias door Beperkte Populatie: In analytische simulaties met Gaussische data was de empirische standaardafwijking ($\sigma_{emp}$) van efficiënte LiRA consequent kleiner dan de analytische standaardafwijking ($\sigma_{ana}$). De verhouding $\sigma_{emp}/\sigma_{ana}$ concentreerde zich rond $\sqrt{\text{FPC}}$. Het toepassen van de FPC-correctie herstelde succesvol de analytische variantie.

5. Betekenis en Claims

Het artikel claimt een betrouwbaarder en efficiënter kader te bieden voor het evalueren van MIA-kwetsbaarheid, specifiek voor de gemiddelde kwetsbaarheid over een dataset bij lage FPR's.

• Betrouwbaarheid: De voorgestelde post-processing zorgt ervoor dat de gerapporteerde TPR overeenkomt met de beoogde FPR over samples, waardoor een kritiek gebrek in huidige "efficiënte" auditpraktijken wordt aangepakt.
• Efficiëntie: De methode maakt een geldige schatting bij lage FPR's mogelijk zonder het enorme aantal doelmodellen dat anders nodig zou zijn voor per-sample kalibratie.
• Correctie van Bias: De identificatie en correctie van de bias door beperkte populatie in efficiënte LiRA voorkomen de systematische overschatting van kwetsbaarheid die wordt veroorzaakt door het hergebruik van beperkte shadow-datasets.

De auteurs houden een bescheiden standpunt, waarbij zij opmerken dat hoewel de gemiddelde TPR een nuttige metriek is, deze het risico van de meest kwetsbare samples kan "verwateren". Zij erkennen dat het identificeren en testen van de meest kwetsbare samples nog steeds de gouden standaard blijft, maar computervermogen vereist dat verboden is. Hun aanpak biedt een "relatief goedkoop en eenvoudig alternatief" voor het verkrijgen van een geldige TPR bij een bekende FPR, een mogelijkheid die eerder niet beschikbaar was in efficiënte evaluatiepijplijnen.