Technische Samenvatting: Privacy-auditing met nul (0) trainingsrun

1. Probleemstelling

Privacy-auditing is essentieel voor het empirisch vaststellen van ondergrenzen voor de differentieel privacy (DP)-parameters van leeralgoritmen, ter aanvulling van theoretische garanties. Echter, bestaande auditmethodieken (zoals Multi-Run en One-Run) vertrouwen op interventieve toegang tot het trainingsproces. Zij vereisen óf het hertrainen van modellen meerdere keren met gerandomiseerde data-invoegingen, óf het éénmalig uitvoeren van het algoritme met gerandomiseerde lidmaatschapsindicatoren.

Deze interventieve vereiste maakt auditing onuitvoerbaar voor grote, ingezette fundatiemodellen (zoals Large Language Models) vanwege:

• Rekenkundige Verbodsbepalingen: Het hertrainen of heruitvoeren van trainingspijplijnen verbruikt duizenden GPU-dagen.
• Logistieke Barrières: Toegang tot interne datapijplijnen en de mogelijkheid om data-opname te randomiseren, zijn vaak niet beschikbaar bij black-box-implementaties.
• Het Verantwoordelijkheidskloof: De systemen die het grootste privacyrisico vormen, zijn het meest geïsoleerd van onafhankelijke evaluatie, wat dwingt tot vertrouwen in plaats van verificatie.

Bovendien faalt een naïeve poging tot auditing zonder interventie (met statische datasets van bekende leden en niet-leden) omdat dit verstorende distributieverschuivingen introduceert. Als datasets van leden en niet-leden verschillende onderliggende verdelingen volgen ($P_1 \neq P_0$), kan een lidmaatschapsinference-aanval (MIA) slagen door deze distributieverschillen uit te buiten in plaats van algoritmische lekkage, wat leidt tot vals-positieven en ongeldige privacygrenzen.

2. Methodologie: Zero-Run Auditing

De auteurs stellen Zero-Run Auditing voor, een post-hoc raamwerk dat privacy-auditing behandelt als een observationeel inferentieprobleem, analoog aan causale inferentie. Het raamwerk werkt zonder het algoritme of de datapijplijn te wijzigen, en vertrouwt uitsluitend op de modeloutput en twee vaste datasets:

1. $D_1$ (Leden): Een subset van de trainingsdata (of bekende pre-training data).
2. $D_0$ (Niet-leden): Een dataset waarvan bekend is dat deze is uitgesloten van training (bijvoorbeeld post-training data of synthetische samples).

Het raamwerk verloopt in vier stappen:

1. Observatie: De auditor observeert de modeloutput $\theta = A(D_{train})$ en de observationele data $\{X_i\} = D_1 \cup D_0$.
2. Lidmaatschapsinference: Een standaard MIA genereert ruwe schattingen $T_i \in \{-1, 0, 1\}$ voor elke $X_i$.
3. Propensiteitsschatting: De auditor schat een propensiteitsscore $\hat{\pi}(X_i) \approx P(S_i=1 | X_i)$, die de waarschijnlijkheid vertegenwoordigt dat een datapunt een lid is, uitsluitend gebaseerd op zijn kenmerken. Dit isoleert de structurele selectiewaarschijnlijkheid van het algoritmische signaal.
4. Correctie: Het raamwerk past correcties toe om distributieverschuiving te ontkoppelen van algoritmische lekkage met twee complementaire benaderingen.

Correctiebenaderingen

Het artikel formaliseert twee methoden om het verstorende effect van distributieverschuiving te corrigeren:

• Globale Correctie (Adaptieve Composities):

  • Modelleert de waargenomen lekkage als de adaptieve compositie van twee mechanismen: een distributieverschuivingsmechanisme ($M_{DS}$) en het geauditeerde algoritme ($A$).
  • Treat de totale lekkage als $f_{Tot} = f \otimes f_{DS}$, waarbij $\otimes$ het tensorproduct van trade-off-functies is.
  • Resultaat: Produceert conservatieve globale grenzen. Het neemt de worst-case lekkage door distributieverschuiving aan voor alle datapunten, wat kan leiden tot verlies van statistische kracht als de verschuiving heterogeen is.

• Conditionele Correctie (Puntsgewijze Auditing):

  • Conditioneert op de waargenomen voorbeelden $X_i$. Het erkent dat de bijdrage van distributieverschuiving aan inferentie lokaal is, gedefinieerd door de log-odds $\epsilon_{DS}(x_i) = |\log \pi(x_i) - \log(1-\pi(x_i))|$.
  • Manipulatiemechanisme: Om oververtrouwen door distributieverschuiving te voorkomen, "manipuleert" het raamwerk de MIA-schattingen. Voor een voorbeeld met een sterk onbalans in de propensiteitsscore (bijvoorbeeld $\pi(x) \approx 1$), is een correcte schatting minder indicatief voor algoritmische lekkage. Het raamwerk behoudt dergelijke schattingen met een lagere waarschijnlijkheid $b_i$, wat effectief randomiseren van onthouding betekent.
  • Resultaat: Levert scherpere, instance-afhankelijke grenzen die robuust zijn tegen distributieverschuivingen zonder de zware straffen van de globale worst-case-benadering.

Kwantificering van Onzekerheid

Omdat propensiteitsscores uit data moeten worden geschat, integreert het raamwerk bootstrapping om onzekerheid te kwantificeren. Door de dataset voor propensiteitsschatting te hersteekproeven, produceert de methode empirische ondergrenzen die rekening houden met schattingsfouten, zodat de uiteindelijke audit met hoge waarschijnlijkheid geldig blijft.

3. Belangrijkste Bijdragen

1. Formalisatie van Zero-Run Auditing: Het artikel definieert een post-hoc auditregime waarbij lidmaatschap niet wordt gerandomiseerd. Het toont aan dat naïeve audits op dergelijke data lekkage overschatten en verbindt deze setting expliciet met observationele causale inferentie, waarbij een "overlap"-aanneming (positiviteit) tussen de verdelingen van leden en niet-leden vereist is.
2. Lekkagecorrectie-Raamwerken:
   • Een Compositie-perspectief dat distributieverschuiving deconvolueert van algoritmische lekkage via adaptieve compositie.
   • Een Conditioneel perspectief dat puntsgewijze lidmaatschapsschattingen aanpast op basis van propensiteitsscores, wat robuuste, verschuiving-afhankelijke correcties oplevert.
3. Kwantificering van Onzekerheid: Integratie van bootstrapping om statistisch geldige ondergrenzen te bieden die rekening houden met fouten in de schatting van propensiteitsscores.
4. Schaalbaarheid: Aantonen dat privacy-audits kunnen worden uitgevoerd op grote, ingezette modellen waar hertraining rekenkundig of logistiek onmogelijk is.

4. Experimentele Resultaten

De auteurs evalueren Zero-Run auditing op synthetische data en real-world benchmarks (iWildCam):

• Synthetische Data: Bij toenemende groottes van distributieverschuiving produceren standaard One-Run audits (die verschuiving negeren) ongeldige grenzen. Globale correcties verliezen snel statistische kracht door worst-case straffen. Daarentegen behoudt de propensiteitsbewuste conditionele correctie informatieve, relatief vlakke empirische grenzen over verschillende verschuivingsniveaus.
• Real-world Data (iWildCam): In aanwezigheid van ernstige natuurlijke distributieverschuivingen (geografisch/omgeving) leveren globale en propensiteitsonbewuste methoden niet-positieve (gebruikloze) grenzen op. De propensiteitsbewuste conditionele correctie slaagt erin een geldige privacyondergrens ($\hat{\mu} = 0.645$) te extraheren voor out-of-distribution (OOD) data, wat sterk overeenkomt met de grens bereikt door een ideale IID-split ($\hat{\mu} = 0.652$).
• Kosten: De Zero-Run-benadering brengt een straf van ongeveer $\approx 1$ eenheid met zich mee in de $\mu$-GDP-metriek ten opzichte van ideale One-Run auditing, toegeschreven aan de kosten van propensiteitsscore-schatting en kwantificering van onzekerheid.

5. Betekenis en Claims

Het artikel beweert dat post-hoc privacy-auditing mogelijk is, maar dat dit moet worden behandeld als een observationeel inferentieprobleem. De belangrijkste betekenis ligt in:

• Overbrugging van de Verantwoordelijkheidskloof: Het verschaffen van tools aan regelgevers en onderzoekers om privacygaranties voor fundatiemodellen te verifiëren zonder toegang tot trainingsinfrastructuur.
• Causale Analogie: Het succesvol toepassen van principes van causale inferentie (propensiteitsscores, verstorende aanpassing) op het domein van privacy-auditing.
• Praktijktoepasbaarheid: Het mogelijk maken van privacy-evaluatie in scenario's waar theoretische garanties ondoorzichtig zijn en experimentele heruitvoering onuitvoerbaar is.

De auteurs blijven bescheiden en erkennen beperkingen:

• Propensiteitsschatting: Het raamwerk is afhankelijk van nauwkeurige schatting van propensiteitsscores, wat uitdagend is in hoge-dimensionale, eindige-steekproefsettings.
• Overgenomen Beperkingen: Zero-Run auditing erft de inefficiënties van One-Run-methoden voor eindige steekproeven en is afhankelijk van de basiskracht van de onderliggende MIA.
• Falsifieerbaarheid: Hoewel de audit geldig is, kunnen de propensiteitsscore-grenzen zelf niet formeel worden gecertificeerd; ze zijn computationeel falsifieerbaar via adversariale testen, maar vertrouwen op empirische validatie.

Concluderend stelt het artikel vast dat distributieverschuiving een onderscheiden bron van lidmaatschapsinformatie is die moet worden gekwantificeerd en gecorrigeerd. Door propensiteitsscores te gebruiken, zet Zero-Run auditing deze verstorende factoren om in geldige empirische ondergrenzen voor algoritmische privacylekkage.