Technische Samenvatting: Sequentiële Lidmaatschapsinference-aanvallen

Probleemstelling

Moderne machine learning-modellen zijn zelden statisch; ze ondergaan gedurende hun levenscyclus continue updates, fine-tuning en versiebeheer. Hoewel privacy-auditing doorgaans focust op een enkel statisch modelmoment, faalt deze aanpak om gebruik te maken van de temporale structuur van modelreleases. Bestaande methoden behandelen modelupdates vaak als geïsoleerde gebeurtenissen of aggregeren scores heuristisch, wat het signaal van privacylekken kan verdunnen naarmate de trainingsdata toeneemt. Het artikel adresseert de uitdaging om Sequentiële Lidmaatschapsinference (SeMI)-aanvallen te ontwerpen die de reeks vrijgegeven modellen benutten om strengere privacy-audits uit te voeren. Specifiek onderzoeken de auteurs of een aanvaller, met toegang tot een reeks van $T$ modelmomenten en de mogelijkheid om het tijdstip $\tau$ van invoeging van een doelwit-"canary" (een specifiek datapunt) te controleren, een hogere onderscheidende kracht kan bereiken dan aanvallen die beperkt zijn tot het laatste modelmoment.

Methodologie

Theoretisch Kader: Het SeMI-spel

De auteurs formaliseren het probleem als een hypothese-toetsingspel tussen een "maker" (die het doelwit invoegt) en een "aanvaller" (die de modelreeks observeert).

• Hypothese: De aanvaller toetst $H_0$ (het doelwit $z^*$ staat niet in de trainingsdata) tegen $H_\tau^1$ (het doelwit werd specifiek ingevoegd in de batch op stap $\tau$).
• Privacy-auditing: De fouten van de SeMI-aanval (Type-I en Type-II) worden omgezet in een ondergrens voor de differentieel-private parameter $\epsilon$ met behulp van een gegeneraliseerde versie van het composities-theorema voor differentieel privacy. Een strakkere grens wordt bereikt door deze fouten te minimaliseren.

Afleiding van de Optimale Aanval: Empirisch Gemiddelde

Het artikel leidt eerst de optimale aanval af voor het mechanisme van het empirisch gemiddelde op Gaussische data.

• SeMI* (Optimale Aanval): Met behulp van het lemma van Neyman-Pearson leiden de auteurs de Likelihood Ratio (LR)-toets af voor een bekende invoegingstijd $\tau$.
• Isolatie-eigenschap: Een belangrijke theoretische bevinding is de isolatie-eigenschap. De likelihood-ratio voor de volledige reeks $(o_1, \dots, o_T)$ factoriseert zodanig dat de toetsingsstatistiek alleen afhangt van de batchstatistieken direct voor en na de invoegstap ($\hat{\mu}_{\tau-1}$ en $\hat{\mu}_\tau$). De bijdragen van alle andere stappen vallen tegen elkaar weg.
• Implicatie: In tegenstelling tot een "Final Observation"-aanval, die het doelwit poolt onder $nT$ samples (waardoor het signaal wordt verdund met een factor $T$), werkt de SeMI*-aanval op een herstelde batch van grootte $n$. Bijgevolg blijft de onderscheidende kracht constant, ongeacht het totale aantal trainingsstappen $T$.
• Onbekend $\tau$: De auteurs leiden ook varianten af voor onbekende invoegingstijden: SeMI$_{max}$ (Generalized Likelihood Ratio-toets) en SeMI$_{Unif}$ (onder de aanname van een uniforme prior op $\tau$).

Uitbreiding naar (DP-)SGD

Om deze inzichten toe te passen op praktisch diep leren, breiden de auteurs het kader uit tot modellen die zijn getraind met (Differentieel Private) Stochastic Gradient Descent (DP-SGD).

• Aanname: Ze gaan ervan uit dat batch-gradiënten een Gaussische verdeling volgen (gerechtvaardigd door het Centrale Limiettheorema).
• SeMI$_{SGD}$ (White-Box): Onder deze aanname geldt de isolatie-eigenschap voor de parameterupdates. De optimale toetsingsstatistiek is een Mahalanobis-gewogen inproduct tussen de geschaalde parameterupdate ($\theta_\tau - \theta_{\tau-1}$) en de afwijking van de gradiënt van het doelwit van het populatiegemiddelde.
• Black-Box-aanvallen: Wanneer alleen verlieswaarden toegankelijk zijn, stellen de auteurs Loss Diff en Loss Ratio-statistieken voor. Deze vergelijken het verlies van het doelwit op het model voor en na de invoegstap ($\ell(\theta_{\tau-1}; z^*)$ versus $\ell(\theta_\tau; z^*)$), en beperken hiermee effectief eerdere heuristieken (zoals Back-Front of Delta) tot de specifieke overgang waar het signaal geconcentreerd is.

Belangrijkste Bijdragen

1. Optimale SeMI-aanval (SeMI*): De afleiding van de theoretisch optimale lidmaatschapsinference-aanval voor sequentiële observaties, geparametriseerd door de invoegingstijd. Het artikel bewijst dat deze aanval een isolatie-eigenschap bereikt, waardoor de kracht onafhankelijk is van het totale aantal trainingsstappen $T$, in tegenstelling tot statische aanvallen.
2. White-Box en Black-Box SeMI-aanvallen voor (DP-)SGD: De uitbreiding van het optimale LR-kader naar gradiëntgebaseerd training. Dit omvat SeMI$_{SGD}$ (met gebruik van gradiënten) en praktische loss-gebaseerde vervangers (Loss Diff, Loss Ratio) die bestaande heuristieken herstellen en verfijnen door zich te richten op de specifieke invoegovergang.
3. Protocol voor Sequentiële Privacy-auditing: Een formalisering van privacy-auditing als een sequentieel spel. De auteurs demonstreren hoe de foutpercentages van SeMI-aanvallen kunnen worden omgezet in strakke ondergrenzen voor $\epsilon$.
4. Empirische Validatie: Uitgebreide experimenten op synthetische data en real-world datasets (Fashion-MNIST, CIFAR-10, Purchase-100) getraind met DP-SGD.

Resultaten

• Superioriteit ten opzichte van statische baselines: Over alle datasets en modellen heen bereiken SeMI-aanvallen consistent een hogere onderscheidende kracht (TPR bij vaste FPR) en leveren ze strakkere privacy-ondergrenzen ($\hat{\epsilon}$) op dan snapshot-onafhankelijke baselines zoals LiRA, Back-Front en Delta-aanvallen.
• Invloed van sequentielengte ($T$): In de setting van het empirisch gemiddelde blijft de kracht van SeMI* constant naarmate $T$ toeneemt, terwijl de kracht van de "Final Observation"-aanval aanzienlijk verslechtert. In DP-SGD-experimenten levert het observeren van de volledige reeks snapshots strakkere $\epsilon$-grenzen op dan alleen het observeren van het laatste model.
• Optimaliteit van LR-gebaseerde methoden: De likelihood-ratio-gebaseerde SeMI$_{SGD}$ presteert beter dan heuristische loss-gebaseerde methoden (Delta, Back-Front), met name in regimes met lage privacy (lage $\epsilon$) en regimes met een lage false-positive rate, die cruciaal zijn voor strakke auditing.
• Rol van invoegingstijd ($\tau$):
  • Het kennen van de invoegingstijd $\tau$ levert aanzienlijk strakkere audits op dan het behandelen van $\tau$ als onbekend (vergelijking van SeMI$_{SGD}$ versus SeMI$_{SGD}^{max}$).
  • De strakheid van de audit hangt sterk af van $\tau$. In DP-SGD fine-tuning-scenario's leveren latere invoegingstijden vaak strakkere grenzen op, wat suggereert dat het signaal sterker is zodra het model zich heeft verwijderd van de initialisatie.

Betekenis en Claims

Het artikel beweert dat het onderzoeken van de reeks vrijgegeven modellen strakkere privacy-audits oplevert dan het analyseren van een enkel laatste moment. Door gebruik te maken van de isolatie-eigenschap voorkomen SeMI-aanvallen dat het privacy-signaal wordt verdund naarmate de trainingsdata toeneemt.

De auteurs benadrukken dat hun aanpak een principiële, theoriegedreven ontwerp biedt voor lidmaatschapsinference-aanvallen, verdergaand dan heuristische scoreaggregatie. Zij betogen dat de mogelijkheid om de invoegingstijd $\tau$ te controleren fungeert als een nieuwe actiehefboom voor auditors, waardoor ze optimale momenten voor invoeging kunnen selecteren om de auditstrakheid te maximaliseren. Het werk overbrugt de kloof tussen theoretische differentieel-private garanties en empirische privacy-schattingen, en toont aan dat sequentiële toegang de precisie van privacy-audits voor moderne, evoluerende ML-systemen aanzienlijk kan verbeteren.

Het artikel blijft bescheiden wat betreft zijn aannames, en merkt op dat de theoretische optimaliteit berust op Gaussische gradiëntbenaderingen en bekende verdelingen, hoewel empirische resultaten op DP-SGD suggereren dat de isolatie-eigenschap robuust blijft gelden, zelfs in complexe deep learning-settings. Er wordt voorgesteld om toekomstig werk te richten op het aanpassen van single-run auditing-technieken aan de sequentiële setting en op het verder onderzoeken van de impact van distributieveranderingen tussen modelreleases.