Membership Inference Risks in Quantized Models: A Theoretical and Empirical Study

Technische Samenvatting: Een Indicator voor Lidmaatschapsinference-beveiliging in Na-training Gequantiseerde Modellen

Probleemstelling
Kwantisering is een veelgebruikte techniek om de geheugen- en rekenkosten van machine learning-modellen te verlagen, met name voor implementatie op randapparaten. Hoewel de efficiëntievoordelen goed gedocumenteerd zijn, blijft de impact van kwantisering op modelprivacy onderbelicht. Specifiek is het onduidelijk of het verlagen van de parameterprecisie inherent de weerbaarheid van een model tegen Lidmaatschapsinference-aanvallen (MIAs) versterkt, die erop gericht zijn om te bepalen of een specifiek datapunt deel uitmaakte van de trainingsset van het model.

Bestaande methoden voor privacyevaluatie vertrouwen sterk op empirische benchmarks met specifieke aanvalsstrategieën. Deze benaderingen zijn echter beperkt omdat ze afhankelijk zijn van de specifieke kennis en mogelijkheden van de aanvaller. Om dit aan te pakken, werd het concept van Lidmaatschapsinference-beveiliging (MIS) geïntroduceerd om de kwetsbaarheid te karakteriseren tegen de sterkst mogelijke aanvallen, ongeacht de kennis van de aanvaller. Het direct berekenen van MIS is echter computerverbiedend, aangezien het het schatten van divergenties tussen hoogdimensionale verdelingen vereist. Dit artikel vult de lacune in het bieden van een praktische, theoretisch onderbouwde en aanvalsvrije indicator om de privacybeveiliging van na-training gequantiseerde modellen te evalueren en te rangschikken.

Methodologie
De auteurs stellen een nieuwe MIS-indicator voor die is afgeleid uit een theoretische asymptotische analyse van gequantiseerde leerprocedures. Het kerntheoretische inzicht is dat, voor grote datasets, de MIS van een gequantiseerd leeralgoritme wordt gekenmerkt door de verdeling van per-sample verliezen over verschillende gequantiseerde parameterconfiguraties.

1. Theoretische Grondslag: Het artikel stelt vast dat naarmate de datasetgrootte $n$ toeneemt, de MIS met een snelheid die wordt bepaald door het verlieslandschap van de gequantiseerde modellen, nadert tot 1 (wat hoge beveiliging aangeeft). Specifiek wordt de snelheid bepaald door de verhouding tussen het kwadraat van het gat tussen de verwachte verliezen van de beste en de op één na beste gequantiseerde configuratie en de variantie van het verschil in hun per-sample verliezen.
2. De MIS-indicator ($r_{Q_n}$): Gebaseerd op dit asymptotische resultaat definiëren de auteurs een nieuwe indicator:
   $$r_{Q_n} := \frac{1}{2} \min_{k>1} \frac{\left( \mathbb{E}[\ell(\bar{\theta}_n^k, z)] - \mathbb{E}[\ell(\bar{\theta}_n^1, z)] \right)^2}{\text{Var}\left( \ell(\bar{\theta}_n^k, z) - \ell(\bar{\theta}_n^1, z) \right)}$$
   waarbij $\bar{\theta}_n^k$ de $k$-de gequantiseerde parameterconfiguratie voorstelt, gesorteerd op verwacht verlies, en $\ell$ de verliesfunctie is. Deze indicator is "aanvalsvrij" omdat deze uitsluitend steunt op de statistische eigenschappen van de verliesfunctie in plaats van het trainen van een specifieke adversary.
3. Schattingstrategie: Aangezien de ruimte van alle mogelijke gequantiseerde modellen vaak exponentieel groot is, stellen de auteurs een praktische schattingsmethode voor. Zij stellen vast dat de indicator empirisch wordt gedomineerd door gequantiseerde modellen met het laagste verlies. Daarom schatten zij $r_{Q_n}$ door de trainingspaden van het model te analyseren, met name met focus op checkpoints en gequantiseerde versies van gewichten die lage verlieswaarden vertonen.

Belangrijkste Bijdragen

• Theoretische Karakterisering: De auteurs bewijzen dat voor grote datasets de MIS van een gequantiseerde leerprocedure volledig wordt gekenmerkt door de verdeling van per-sample verliezen over gequantiseerde modellen (Stelling 3.4).
• Nieuwe Indicator: Zij introduceren $r_{Q_n}$, een nieuwe, aanvalsvrije indicator die vergelijking mogelijk maakt van verschillende kwantisatieprocedures op basis van hun inherente privacyeigenschappen.
• Praktische Schatting: Er wordt een methodologie gepresenteerd om deze indicator te schatten met behulp van trainingspaden, waardoor de computereconomische onuitvoerbaarheid van het enumereren van alle mogelijke gequantiseerde toestanden wordt vermeden.
• Empirische Validatie: De benadering wordt gevalideerd op zowel synthetische datasets als real-world toepassingen, waaronder geneesmiddelenontdekkingstaken met taalmodellen en voorspelling van moleculaire eigenschappen.

Resultaten

• Synthetische Data: Experimenten op synthetische datasets tonen een sterke Spearman-correlatie (gemiddeld $\rho_{sp} = 0.86$) aan tussen de voorgestelde $r_{Q_n}$-indicator en een basale MIS-schatting (die vertrouwt op het trainen van een discriminator om trainingsleden van niet-leden te onderscheiden). De rangschikking van kwantisatoren op privacyniveau is consistent tussen de nieuwe indicator en de basislijn.
• Stabiliteit: De voorgestelde methode bereikt stabiele rangschikkingen met aanzienlijk minder trainingsruns (ongeveer 15 runs) in vergelijking met de basislijn-MIS-methode, die aanzienlijk meer runs (ongeveer 150) vereist om te convergeren.
• Real-world Toepassingen (Taalmodellen): In de context van geneesmiddelenontdekking met fine-tuned LLM's (Qwen2.5), correleert $r_{Q_n}$ succesvol met de prestaties van diverse black-box MIAs (inclusief LiRa- en op LOSS gebaseerde aanvallen). Hogere $r_{Q_n}$-waarden corresponderen met lagere MIA-prestaties (hogere beveiliging).
• Real-world Toepassingen (Moleculaire Voorspelling): Bij taken voor het voorspellen van moleculaire eigenschappen onthult de studie een afweging tussen prestaties en privacy. Sterkere kwantisering (bijvoorbeeld 1,58 bits met 90% sparsiteit) verbetert de privacy aanzienlijk (hogere $r_{Q_n}$), maar brengt een kostenplaatje voor prestaties met zich mee (ongeveer 10% daling in AUROC voor classificatie). Omgekeerd behoudt kwantisering bij 2 bits of hoger de prestaties, maar biedt minder privacyverbetering.

Betekenis en Claims
Het artikel claimt een kritieke lacune in het theoretische begrip van privacy in gequantiseerde modellen op te vullen. Door een rigoureuze, aanvalsvrije indicator te bieden, stelt het practitioners in staat om de privacyweerstand van verschillende kwantisatiestrategieën te beoordelen en te rangschikken zonder de noodzaak van computerverbiedende aanvalsimulaties. De auteurs benadrukken dat hun werk een praktisch hulpmiddel biedt voor het balanceren van efficiëntie en privacy bij modelimplementatie.

De auteurs blijven bescheiden over hun bevindingen, met de opmerking dat de indicator hoewel deze kwantisatoren effectief rangschikt, momenteel geen enkele kwantisator identificeert die tegelijkertijd sterke downstream-prestaties en hoge beveiliging bereikt. Zij suggereren dat toekomstig werk Quantization-Aware Training (QAT)-methodes zou kunnen verkennen om gezamenlijk te optimaliseren voor taakprestaties en de maximalisatie van $r_{Q_n}$. De studie richt zich op na-training kwantisering (PTQ), met de erkenning dat de resultaten kunnen verschillen voor andere trainingsparadigma's.