Quantamination: Dynamic Quantization Leaks Your Data Across the Batch

1. Énoncé du problème

Le papier identifie une vulnérabilité critique de la vie privée dans les stratégies de quantification dynamique utilisées dans les frameworks modernes d'inférence d'apprentissage automatique.

• Contexte : Pour optimiser l'utilisation du GPU et réduire les coûts de mémoire, les frameworks de service LLM multi-locataires (par exemple, vLLM, SGLang) regroupent les demandes d'utilisateurs concurrentes en lots. Pour accélérer davantage l'inférence, ces systèmes emploient souvent la quantification dynamique, qui convertit les activations haute précision (FP16/FP32) en basse précision (INT8/FP8) au moment de l'exécution.
• La vulnérabilité : Contrairement à la quantification statique (où les paramètres sont fixés hors ligne), la quantification dynamique par tenseur calcule les paramètres d'échelle (valeurs min/max) basés sur l'ensemble du lot d'entrées simultanément.
• La conséquence : Cela crée un canal latéral inter-utilisateur. Les données d'entrée de la victime influencent les paramètres de quantification appliqués à l'entrée de l'adversaire. En observant les perturbations dans leurs propres logits de sortie, un adversaire peut déduire des informations sensibles sur les données de la victime situées dans le même lot. Les auteurs nomment ce phénomène « Quantamination ».

2. Méthodologie

Les auteurs proposent une attaque par canal latéral qui exploite la nature dépendante des données de la quantification dynamique par tenseur.

Modèle de menace

• Capacités de l'adversaire : L'attaquant peut injecter une entrée conçue dans un lot contenant l'entrée secrète d'une victime (co-localisation dans le lot). Il peut observer la sortie du modèle (logits ou probabilités logarithmiques top-1) pour sa propre entrée.
• Hypothèses : L'attaque suppose que le système utilise une quantification dynamique par tenseur (calculant un facteur d'échelle pour l'ensemble du lot) plutôt que par token (calculant un facteur d'échelle pour chaque token individuellement).
• Paramètres : L'attaque est évaluée dans des scénarios Boîte blanche (accès au modèle local) et Boîte noire (accès via API).

Mécanismes de l'attaque

1. Fuite des paramètres de quantification : Dans la quantification dynamique par tenseur, le facteur d'échelle $\alpha$ est calculé comme suit :
   $$\alpha = \frac{\max(X) - \min(X)}{255}$$
   où $X$ est le tenseur d'activation combiné du lot. Si l'entrée de la victime a une magnitude plus grande que celle de l'adversaire, elle domine le $\max$ ou le $\min$, modifiant ainsi $\alpha$.
2. Observation : L'adversaire observe le changement résultant dans ses propres logits de sortie ($\Delta$) causé par la quantification altérée.
3. Stratégie de récupération :
   • Récupération de tokens LLM : L'adversaire devine itérativement les tokens de la victime. Pour chaque position, il teste des tokens candidats du vocabulaire. Le candidat produisant une différence de logits ($\Delta$) correspondant à la différence observée lorsqu'il est apparié avec la victime est sélectionné comme le token récupéré.
   • Classification : L'adversaire compare les différences de logits de l'image secrète d'une victime avec un ensemble d'images candidates pour trouver la correspondance la plus proche ou déduire la classe.

3. Contributions clés

• Découverte de la « Quantamination » : La première démonstration que la quantification dynamique par tenseur crée un canal latéral permettant la fuite de données à travers les limites de lot dans des environnements d'inférence partagés.
• Analyse des frameworks : Les auteurs ont enquêté sur les principaux frameworks d'inférence et ont constaté que au moins 4 frameworks populaires (vLLM, SGLang, ONNX Runtime, PyTorch) utilisent par défaut ou supportent des configurations utilisant la quantification dynamique par tenseur vulnérable, en particulier dans les modes en ligne FP8.
• Implémentation pratique de l'attaque : Ils ont développé et validé des attaques pour les Grands Modèles de Langage (récupération de tokens) et la Classification d'Images (identification de classe/image).
• Différenciation par rapport aux travaux antérieurs : Contrairement aux attaques précédentes basées sur les lots qui reposent sur le routage MoE, le partage de cache KV ou les gradients d'apprentissage fédéré, cette attaque ne nécessite aucune modification architecturale et exploite une propriété fondamentale de la quantification d'inférence standard.

4. Résultats expérimentaux

A. Récupération de tokens LLM

L'attaque a été testée sur trois modèles (TinyStories-1M, Pythia-70M, SmolLM2-135M) avec une taille de lot de 2.

• Précision : Une précision de récupération de tokens de 99,6 % à 100 % a été atteinte sur tous les modèles.
• Efficacité :
  • Pour les données in-distribution (par exemple, TinyStories sur des données TinyStories), l'attaque a nécessité en moyenne 424 requêtes par token, soit 59 fois plus rapide qu'une recherche aléatoire.
  • Pour les modèles à usage général (Pythia, SmolLM2) sur WikiText, l'efficacité était de 985–1 343 requêtes par token (18–25 fois plus rapide que le hasard).
  • Accélération contextuelle : Le premier token est le plus coûteux à récupérer, mais les tokens suivants bénéficient du contexte autoregressif, réduisant considérablement l'espace de recherche.
• Faisabilité en Boîte noire : L'attaque reste efficace même avec un accès API limité (observation uniquement des probabilités logarithmiques top-1), en supposant un décodage glouton.

B. Récupération d'images de classification

Des tests ont été réalisés sur MNIST en utilisant Simple CNN, ResNet18 et ResNet50.

• Récupération exacte : Lorsque l'image secrète existait dans l'ensemble des candidats, les taux de récupération étaient de 80–100 %, les réseaux plus profonds (ResNet18/50) atteignant 100 % de succès même avec des sondes aléatoires.
• Inférence de classe : Lorsque le secret n'était pas dans l'ensemble des candidats, l'attaque peinait à identifier la classe exacte (10–16 % de précision contre 10 % pour la ligne de base aléatoire). Cependant, l'analyse t-SNE a révélé que les échelles de quantification se regroupent par classe, suggérant que bien que la récupération exacte soit difficile sans ensemble de candidats, la fuite au niveau de la classe est détectable dans les réseaux profonds.

5. Signification et implications

• Risque pour la vie privée : La vulnérabilité pose un risque sévère pour le service ML multi-locataire. Un adversaire peut potentiellement reconstruire des invites privées, des documents sensibles ou des données propriétaires d'autres utilisateurs partageant le même lot GPU.
• Compromis Performance vs Sécurité : Le papier souligne que la quantification dynamique par tenseur n'est pas seulement sous-optimale pour la précision (en raison d'une mauvaise gestion des distributions d'activation hétérogènes), mais introduit également une vulnérabilité de sécurité concrète.
• Atténuation : Les auteurs recommandent de passer à la quantification dynamique par token, qui calcule les paramètres d'échelle indépendamment pour chaque token. Cela élimine le flux d'information inter-lots et est déjà la norme pour l'INT8 dans de nombreux frameworks LLM.
• Défis réels : La discussion note que les environnements de production peuvent introduire du non-déterminisme (hétérogénéité matérielle, pipelines d'échantillonnage côté fournisseur) qui pourraient obscurcir le signal, rendant potentiellement l'attaque plus difficile mais pas impossible à exécuter.

Conclusion

Le papier démontre que la quantification dynamique par tenseur est une faille de sécurité critique dans le service ML moderne. En fuyant des informations sur les entrées regroupées via les paramètres de quantification, elle permet aux adversaires de voler des données utilisateur sensibles. Les auteurs exhortent les développeurs de frameworks à adopter par défaut la quantification par token pour garantir à la fois une haute précision et la vie privée des utilisateurs.