Quantamination: Dynamic Quantization Leaks Your Data Across the Batch

1. Enunciato del Problema

Il documento identifica una vulnerabilità critica alla privacy nelle strategie di quantizzazione dinamica utilizzate nei moderni framework di inferenza per l'apprendimento automatico.

• Contesto: Per ottimizzare l'utilizzo della GPU e ridurre i costi di memoria, i framework di servizio LLM multi-tenant (ad esempio, vLLM, SGLang) raggruppano le richieste concorrenti degli utenti in batch. Per accelerare ulteriormente l'inferenza, questi sistemi impiegano spesso la quantizzazione dinamica, che converte le attivazioni ad alta precisione (FP16/FP32) in precisione inferiore (INT8/FP8) durante l'esecuzione.
• La Vulnerabilità: A differenza della quantizzazione statica (dove i parametri sono fissati offline), la quantizzazione dinamica per-tensore calcola i parametri di scala (valori min/max) basandosi sull'intero batch di input simultaneamente.
• La Conseguenza: Questo crea un canale laterale cross-utente. I dati di input della vittima influenzano i parametri di quantizzazione applicati all'input dell'avversario. Osservando le perturbazioni nei propri logit di output, un avversario può dedurre informazioni sensibili sui dati della vittima collocati nello stesso batch. Gli autori definiscono questo fenomeno "Quantamination".

2. Metodologia

Gli autori propongono un attacco a canale laterale che sfrutta la natura dipendente dai dati della quantizzazione dinamica per-tensore.

Modello di Minaccia

• Capacità dell'Avversario: L'attaccante può iniettare un input progettato in un batch contenente un input segreto della vittima (co-locazione nel batch). Può osservare l'output del modello (logit o probabilità logaritmiche top-1) per il proprio input.
• Assunzioni: L'attacco presuppone che il sistema utilizzi la quantizzazione dinamica per-tensore (calcolando un unico fattore di scala per l'intero batch) piuttosto che per-token (calcolando un fattore di scala per ogni token individualmente).
• Ambienti: L'attacco è valutato sia in scenari White-box (accesso al modello locale) che Black-box (accesso via API).

Meccanica dell'Attacco

1. Fuga dei Parametri di Quantizzazione: Nella quantizzazione dinamica per-tensore, il fattore di scala $\alpha$ è calcolato come:
   $$\alpha = \frac{\max(X) - \min(X)}{255}$$
   dove $X$ è il tensore di attivazione combinato del batch. Se l'input della vittima ha una magnitudine maggiore rispetto a quello dell'avversario, domina il valore $\max$ o $\min$, alterando $\alpha$.
2. Osservazione: L'avversario osserva il conseguente cambiamento nei propri logit di output ($\Delta$) causato dall'alterata quantizzazione.
3. Strategia di Recupero:
   • Recupero del Token LLM: L'avversario indovina iterativamente i token della vittima. Per ogni posizione, testa i token candidati dal vocabolario. Il candidato che produce una differenza di logit ($\Delta$) corrispondente alla differenza osservata quando accoppiato con la vittima viene selezionato come token recuperato.
   • Classificazione: L'avversario confronta le differenze di logit di un'immagine della vittima con un set candidato di immagini per trovare la corrispondenza più vicina o inferire la classe.

3. Contributi Chiave

• Scoperta della "Quantamination": La prima dimostrazione che la quantizzazione dinamica per-tensore crea un canale laterale che permette la fuga di dati attraverso i confini del batch negli ambienti di inferenza condivisi.
• Analisi dei Framework: Gli autori hanno esaminato i principali framework di inferenza e hanno scoperto che almeno 4 framework popolari (vLLM, SGLang, ONNX Runtime, PyTorch) utilizzano di default o supportano configurazioni che impiegano la vulnerabile quantizzazione dinamica per-tensore, in particolare nelle modalità online FP8.
• Implementazione Pratica dell'Attacco: Hanno sviluppato e validato attacchi sia per i Modelli Linguistici di Grande Dimensione (recupero del token) che per la Classificazione di Immagini (identificazione di classe/immagine).
• Differenziazione dal Lavoro Precedente: A differenza dei precedenti attacchi basati su batch che si affidano al routing MoE, alla condivisione della cache KV o ai gradienti dell'apprendimento federato, questo attacco non richiede nessuna modifica architetturale e sfrutta una proprietà fondamentale della quantizzazione di inferenza standard.

4. Risultati Sperimentali

A. Recupero del Token LLM

L'attacco è stato testato su tre modelli (TinyStories-1M, Pythia-70M, SmolLM2-135M) utilizzando un batch size di 2.

• Accuratezza: Ha raggiunto un'accuratezza di recupero del token dal 99,6% al 100% su tutti i modelli.
• Efficienza:
  • Per dati in-distribution (ad esempio, TinyStories su dati TinyStories), l'attacco ha richiesto una media di 424 query per token, ovvero 59 volte più veloce della ricerca casuale.
  • Per modelli generici (Pythia, SmolLM2) su WikiText, l'efficienza è stata di 985–1.343 query per token (18–25 volte più veloce della ricerca casuale).
  • Accelerazione del Contesto: Il primo token è il più costoso da recuperare, ma i token successivi beneficiano del contesto autoregressivo, riducendo drasticamente lo spazio di ricerca.
• Fattibilità Black-Box: L'attacco rimane efficace anche con accesso API limitato (osservando solo le probabilità logaritmiche top-1), assumendo un decoding greedy.

B. Recupero dell'Immagine di Classificazione

I test sono stati condotti su MNIST utilizzando Simple CNN, ResNet18 e ResNet50.

• Recupero Esatto: Quando l'immagine segreta esisteva nel set candidato, i tassi di recupero erano 80–100%, con reti più profonde (ResNet18/50) che raggiungevano il 100% di successo anche con sonde casuali.
• Inferenza della Classe: Quando il segreto non era nel set candidato, l'attacco faticava a identificare la classe esatta (10–16% di accuratezza contro il 10% della baseline casuale). Tuttavia, l'analisi t-SNE ha rivelato che le scale di quantizzazione si raggruppano per classe, suggerendo che, sebbene il recupero esatto sia difficile senza un set candidato, la fuga a livello di classe è rilevabile nelle reti profonde.

5. Significato e Implicazioni

• Rischio per la Privacy: La vulnerabilità rappresenta un rischio grave per il servizio ML multi-tenant. Un avversario può potenzialmente ricostruire prompt privati, documenti sensibili o dati proprietari di altri utenti che condividono lo stesso batch GPU.
• Trade-off Prestazioni vs Sicurezza: Il documento evidenzia che la quantizzazione dinamica per-tensore non è solo subottimale per l'accuratezza (a causa della scarsa gestione delle distribuzioni di attivazione eterogenee), ma introduce anche una vulnerabilità concreta alla sicurezza.
• Mitigazione: Gli autori raccomandano di passare alla quantizzazione dinamica per-token, che calcola i parametri di scala indipendentemente per ogni token. Questo elimina il flusso di informazioni cross-batch ed è già lo standard per INT8 in molti framework LLM.
• Sfide del Mondo Reale: La discussione nota che gli ambienti di produzione possono introdurre non-determinismo (eterogeneità hardware, pipeline di campionamento lato provider) che potrebbero oscurare il segnale, rendendo potenzialmente l'attacco più difficile ma non impossibile da eseguire.

Conclusione

Il documento dimostra che la quantizzazione dinamica per-tensore è un difetto di sicurezza critico nel servizio ML moderno. Fuggendo informazioni sugli input co-batchati attraverso i parametri di quantizzazione, permette agli avversari di rubare dati sensibili degli utenti. Gli autori esortano gli sviluppatori di framework a utilizzare di default la quantizzazione per-token per garantire sia alta accuratezza che privacy degli utenti.