Technische Samenvatting: Detecteerbaarheid in Diversiteit: Verbeterde Canarievorming voor Privacy-auditing in Eén Run

Probleemstelling

Privacy-auditing heeft tot doel privacylekken in machine learning-modellen empirisch te beoordelen, vaak om ondergrenzen voor Differential Privacy (DP)-parameters af te leiden. Dit wordt doorgaans bereikt via Membership Inference Attacks (MIAs), waarbij een adversary probeert te bepalen of een specifiek datapunt deel uitmaakte van de trainingsset van een model.

Standaard auditbenaderingen vereisen het trainen van duizenden onafhankelijke modellen met variërende canary-opnames om statistisch betrouwbare schattingen te verkrijgen, wat computatief onhaalbaar is. Om dit aan te pakken, werd "one-run" auditing voorgesteld, waarbij één enkel model wordt getraind op een dataset die meerdere canaries bevat, waarbij elk onafhankelijk met een waarschijnlijkheid van 1/2 is opgenomen. De adversary leidt vervolgens de opnamestatus van alle canaries af uit dit enkele model.

Er bestaat echter een aanzienlijke kloof tussen de theoretische privacybovengrenzen (geleverd door accounting-methoden) en de empirische ondergrenzen (geschat door one-run auditing). Recent literatuur schrijft deze kloof toe aan interferentie tussen canaries: de opname of uitsluiting van één canary $z'$ kan de MIA-vertrouwensscore van een andere canary $z$ veranderen, vooral wanneer canaries vergelijkbaar zijn in de representatieruimte. Deze interferentie verslechtert het vermogen van de adversary om leden van niet-leden te onderscheiden, wat leidt tot zwakkere lek-schattingen in vergelijking met multi-run methoden. Bestaande canary-vormingsmethoden dwingen geen diversiteit af om deze interferentie te mitigeren.

Methodologie

De auteurs stellen IBIS (Influence-Bilevel canary crafting with Interference Suppression) voor, een twee-traps pijplijn die is ontworpen om canaries te vormen die zowel sterk detecteerbaar (sterk gememoriseerd) als divers (minimaal interfererend) zijn.

1. Greedy Initialisatie via Invloedsfuncties

De eerste trap selecteert een initiële set canaries uit de trainingsdata met behulp van invloedsfuncties, die het effect meten van het opwaarderen van een datasample op een model.

• Zelf-invloed ($I_s(z, z)$): Een proxy voor memoriseerbaarheid. Een hoge zelf-invloed geeft aan dat een punt sterk door het model wordt gememoriseerd.
• Kruis-invloed ($I_s(z, z')$): Een proxy voor interferentie. Een hoge kruis-invloed geeft aan dat de aanwezigheid van $z'$ de score van $z$ significant beïnvloedt.
• Selectiestrategie: Het algoritme selecteert gretig een set van $m$ canaries om de verhouding van zelf-invloed tot de maximale kruis-invloed van andere geselecteerde canaries te maximaliseren. Dit wordt geformuleerd als een combinatorisch optimalisatieprobleem dat wordt opgelost via een greedy-heuristiek. Deze stap biedt een sterke initialisatie met lage paarwise interferentie tegen lage computatiekosten.

2. Bilevel-optimalisatie met Diversiteitsregularisatie

De tweede trap verfijnt de geselecteerde canaries met behulp van op gradienten gebaseerde optimalisatie. In tegenstelling tot eerdere werken die het opnieuw trainen van het model vereisen voor elke subset van canaries (computationeel onuitvoerbaar), formuleren de auteurs een hanteerbaar bilevel-optimalisatieprobleem.

• Doel: Minimaliseren van een onderscheidingsdoel dat het scoreverschil tussen opgenomen en uitgesloten canaries maximaliseert, onderworpen aan de beperking dat de modelparameters de empirische risico minimaliseren.
• Diversiteitsregularisator: Om interferentie expliciet te onderdrukken, wordt een regularisator $R(C)$ toegevoegd die orthogonaliteit in de representatieruimte (embeddings) van de canaries bevordert:
  $$R_{\theta^*}(C) = \lambda \sum_{z, z' \in C, z \neq z'} \langle \phi_{\theta^*}(z), \phi_{\theta^*}(z') \rangle^2$$
  waarbij $\phi_{\theta^*}$ samples afbeeldt op hun embeddings onder het basismodel $\theta^*$.
• Efficiënte Oplosser (SOBA): De auteurs maken gebruik van een benaderende impliciete differentiatie (AID)-benadering, waarbij het SOBA-algoritme wordt aangepast. Dit behoudt gekoppelde variabelen voor de modelparameters ($\theta$), de invloedsvector ($v$) en de canary-inputs ($C_x$). Cruciaal wordt het model incrementeel bijgewerkt naast de canaries in plaats van bij elke stap volledig opnieuw te worden getraind, wat efficiënte berekening van hypergradienten mogelijk maakt.

Belangrijkste Bijdragen

1. Greedy op Invloed Gebaseerde Selectie: Een goedkoop algoritme dat trainingspunten identificeert met hoge memorabiliteit en lage wederzijdse interferentie, dienend als een robuuste initialisatie voor verdere optimalisatie.
2. Bilevel-optimalisatieformulering: Een nieuwe formulering die een expliciete diversiteitsregularisator integreert om orthogonaliteit in de representatieruimte af te dwingen. Deze formulering maakt efficiënte bilevel-algoritmen mogelijk door het model incrementeel bij te werken, waardoor de onhaalbare kosten van opnieuw trainen voor elke subset van canaries worden vermeden.
3. IBIS-pijplijn: Een unificerend kader dat de bovenstaande componenten combineert. Het bereikt sterkere privacylek-schattingen dan bestaande methoden terwijl het aanzienlijk lagere computatiemiddelen vereist.

Experimentele Resultaten

De methode werd geëvalueerd op WideResNet (WRN16-4) en CNN-architecturen met behulp van de CIFAR-10-dataset.

• Ablatiestudies: Op invloed gebaseerde preselectie presteerde beter dan willekeurige selectie, zelfs vóór bilevel-optimalisatie. In niet-privacy-instellingen verbeterde de diversiteitsregularisator de prestaties verder.
• Membership Inference (MIA): Bij het vormen van canaries met dezelfde architectuur als het geauditeerde model (WRN16-4), bereikte de geregulariseerde IBIS bijna perfecte True Positive Rates (TPR) bij een False Positive Rate (FPR) van 0,05, wat significant beter presteerde dan willekeurige baselines en de prestaties van de state-of-the-art methode van Boglioni et al. [6] evenaarde of overtrof.
• DP-auditing: De methode leverde concurrerende ondergrenzen voor de privacyparameter $\epsilon$ in vergelijking met bestaande benaderingen. Hoewel de schattingen een hoge variantie vertoonden (consistent met de moeilijkheid van de DP-auditing-instelling), evenaarde IBIS de prestaties van eerder werk.
• Computatie-efficiëntie: De voorgestelde methode is aanzienlijk efficiënter. Het genereren van 1000 canaries vereiste ongeveer 2,5 GPU-uren op een NVIDIA A100, in vergelijking met 90–120 uur gerapporteerd voor de op opnieuw trainen gebaseerde aanpak van Boglioni et al. [6]. Deze winst in efficiëntie vloeit voort uit de incrementele modelupdates in plaats van volledig opnieuw trainen.

Betekenis en Claims

Het artikel stelt dat de primaire beperking van bestaande one-run auditbenaderingen de interferentie tussen canaries is. Door dit expliciet aan te pakken via op invloed gebaseerde selectie en een diversiteitsbevorderende bilevel-optimalisatie, tonen de auteurs aan dat het mogelijk is de kloof tussen one-run en multi-run auditprestaties te dichten.

De betekenis van dit werk ligt in het maken van one-run privacy-auditing computationeel haalbaar en statistisch sterker. Door de computatiekosten met een orde van grootte te verminderen terwijl de auditkracht behouden of verbeterd wordt, stelt de methode auditors in staat om de specifieke architectuur van het te auditeren model te gebruiken voor canary-generatie, wat volgens de auteurs de prestaties aanzienlijk verbetert. De auteurs positioneren dit als een praktische vooruitgang voor empirische privacy-evaluatie, met name voor grootschalige modellen waar multi-run auditing onhaalbaar is.