Quantamination: Dynamic Quantization Leaks Your Data Across the Batch

1. Probleemstelling

Het artikel identificeert een kritieke privacykwetsbaarheid in dynamische kwantisatie-strategieën die worden gebruikt in moderne inferentieframeworks voor machine learning.

• Context: Om GPU-gebruik te optimaliseren en memorykosten te verlagen, batchen multi-tenant LLM-inferentiemodellen (zoals vLLM, SGLang) gelijktijdige gebruikersverzoeken. Om inferentie verder te versnellen, maken deze systemen vaak gebruik van dynamische kwantisatie, waarbij activaties met hoge precisie (FP16/FP32) tijdens runtime worden omgezet naar lagere precisie (INT8/FP8).
• De Kwetsbaarheid: In tegenstelling tot statische kwantisatie (waarbij parameters offline worden vastgesteld), berekent per-tensor dynamische kwantisatie schaalparameters (min/max-waarden) op basis van de hele batch invoer tegelijkertijd.
• Het Gevolg: Dit creëert een cross-user side channel. De invoergegevens van het slachtoffer beïnvloeden de kwantisatieparameters die op de invoer van de aanvaller worden toegepast. Door verstoringen in hun eigen output-logits waar te nemen, kan een aanvaller gevoelige informatie afleiden over de gegevens van het slachtoffer die in dezelfde batch zijn ondergebracht. De auteurs noemen dit fenomeen "Quantamination".

2. Methodologie

De auteurs stellen een side-channel-aanval voor die misbruik maakt van de data-afhankelijke aard van per-tensor dynamische kwantisatie.

Bedreigingsmodel

• Capaciteiten van de Aanvaller: De aanvaller kan een vervaardigde invoer injecteren in een batch die een geheim invoer van een slachtoffer bevat (batch co-location). Ze kunnen de output van het model (logits of top-1 log-probabiliteiten) voor hun eigen invoer observeren.
• Aannames: De aanval gaat ervan uit dat het systeem per-tensor dynamische kwantisatie gebruikt (het berekenen van één schalingsfactor voor de hele batch) in plaats van per-token (het berekenen van een schalingsfactor voor elk token afzonderlijk).
• Instellingen: De aanval wordt geëvalueerd in zowel White-box-scenario's (lokale modeltoegang) als Black-box-scenario's (API-toegang).

Mechanica van de Aanval

1. Leakage van Kwantisatieparameters: Bij per-tensor dynamische kwantisatie wordt de schalingsfactor $\alpha$ berekend als:
   $$\alpha = \frac{\max(X) - \min(X)}{255}$$
   waarbij $X$ de gecombineerde activatietensor van de batch is. Als de invoer van het slachtoffer een grotere magnitude heeft dan die van de aanvaller, domineert deze de $\max$ of $\min$, waardoor $\alpha$ verandert.
2. Observatie: De aanvaller observeert de resulterende verandering in hun eigen output-logits ($\Delta$) veroorzaakt door de gewijzigde kwantisatie.
3. Herstelstrategie:
   • LLM Token Recovery: De aanvaller raadt iteratief de tokens van het slachtoffer. Voor elke positie testen ze kandidaat-tokens uit het vocabulaire. De kandidaat die een logit-verschil ($\Delta$) produceert dat overeenkomt met het waargenomen verschil wanneer gekoppeld aan het slachtoffer, wordt geselecteerd als het herstelde token.
   • Classificatie: De aanvaller vergelijkt de logit-verschillen van een afbeelding van het slachtoffer met een kandidaatset van afbeeldingen om de dichtstbijzijnde match te vinden of de klasse af te leiden.

3. Belangrijkste Bijdragen

• Ontdekking van "Quantamination": De eerste demonstratie dat per-tensor dynamische kwantisatie een side channel creëert die datalekken over batchgrenzen heen mogelijk maakt in gedeelde inferentieomgevingen.
• Framework-analyse: De auteurs hebben grote inferentiemodellen onderzocht en vastgesteld dat minstens 4 populaire frameworks (vLLM, SGLang, ONNX Runtime, PyTorch) standaard instellingen gebruiken of configuraties ondersteunen die kwetsbare per-tensor dynamische kwantisatie toepassen, met name in FP8 online-modi.
• Praktische Implementatie van de Aanval: Ze hebben aanvalsen ontwikkeld en gevalideerd voor zowel Large Language Models (token recovery) als Image Classification (class/afbeelding identificatie).
• Differentiatie met eerdere werken: In tegenstelling tot eerdere batch-gebaseerde aanvallen die vertrouwen op MoE-routing, KV-cache-deling of federated learning-gradiënten, vereist deze aanval geen architecturale wijziging en maakt ze misbruik van een fundamentele eigenschap van standaard inferentiekwantisatie.

4. Experimentele Resultaten

A. LLM Token Recovery

De aanval werd getest op drie modellen (TinyStories-1M, Pythia-70M, SmolLM2-135M) met een batchgrootte van 2.

• Nauwkeurigheid: Er werd een 99,6% tot 100% nauwkeurigheid bij token recovery bereikt voor alle modellen.
• Efficiëntie:
  • Voor in-distribution data (bijv. TinyStories op TinyStories-data) vereiste de aanval gemiddeld 424 queries per token, wat 59× sneller is dan willekeurig zoeken.
  • Voor general-purpose modellen (Pythia, SmolLM2) op WikiText was de efficiëntie 985–1.343 queries per token (18–25× sneller dan willekeurig).
  • Contextversnelling: Het eerste token is het duurst om te herstellen, maar daaropvolgende tokens profiteren van autoregressieve context, wat de zoekruimte drastisch verkleint.
• Black-Box Haalbaarheid: De aanval blijft effectief zelfs met beperkte API-toegang (alleen top-1 log-probabiliteiten observeren), onder de aanname van greedy decoding.

B. Classificatie Afbeelding Recovery

Tests werden uitgevoerd op MNIST met Simple CNN, ResNet18 en ResNet50.

• Exacte Recovery: Wanneer de geheime afbeelding bestond in de kandidaatset, waren de recoverypercentages 80–100%, waarbij diepere netwerken (ResNet18/50) 100% succes behaalden, zelfs met willekeurige probes.
• Klasse-inferentie: Wanneer het geheim niet in de kandidaatset zat, had de aanval moeite om de exacte klasse te identificeren (10–16% nauwkeurigheid versus 10% willekeurige baseline). Echter, t-SNE-analyse onthulde dat kwantisatieschalen per klasse clusteren, wat suggereert dat hoewel exacte recovery moeilijk is zonder kandidaatset, lekken op klasseniveau detecteerbaar zijn in diepe netwerken.

5. Betekenis en Implicaties

• Privacyrisico: De kwetsbaarheid vormt een ernstig risico voor multi-tenant ML-serving. Een aanvaller kan potentieel private prompts, gevoelige documenten of propriëtaire data reconstrueren van andere gebruikers die dezelfde GPU-batch delen.
• Trade-off tussen Prestaties en Beveiliging: Het artikel benadrukt dat per-tensor dynamische kwantisatie niet alleen suboptimaal is voor nauwkeurigheid (door slechte verwerking van heterogene activatiedistributies), maar ook een concrete beveiligingskwetsbaarheid introduceert.
• Mitigatie: De auteurs raden aan over te schakelen naar per-token dynamische kwantisatie, waarbij schaalparameters onafhankelijk voor elk token worden berekend. Dit elimineert de cross-batch informatiestroom en is al de standaard voor INT8 in veel LLM-frameworks.
• Real-world Uitdagingen: De discussie merkt op dat productieomgevingen niet-determinisme kunnen introduceren (hardware-heterogeniteit, provider-side sampling-pipelines) dat het signaal kan verduisteren, wat de aanval mogelijk moeilijker maar niet onmogelijk maakt om uit te voeren.

Conclusie

Het artikel demonstreert dat per-tensor dynamische kwantisatie een kritieke beveiligingsfout is in moderne ML-serving. Door informatie over in dezelfde batch opgenomen invoer te lekken via kwantisatieparameters, stelt het aanvangers in staat gevoelige gebruikersdata te stelen. De auteurs dringen er bij ontwikkelaars van frameworks op aan om standaard per-token kwantisatie te gebruiken om zowel hoge nauwkeurigheid als gebruikersprivacy te waarborgen.