Résumé technique : Empreintes digitales des systèmes d'inférence des modèles de langage de grande taille

Énoncé du problème

Le comportement des modèles de langage de grande taille (LLM) ne dépend pas uniquement des poids du modèle. Le système d'inférence, composé du moteur d'inférence, du backend d'attention et de la plateforme matérielle, introduit des déviations numériques subtiles dues à la nature non associative de l'arithmétique à virgule flottante. Bien que ces déviations soient généralement considérées comme des artefacts inoffensifs entravant la reproductibilité, cet article postule qu'elles fuient des informations critiques sur l'infrastructure sous-jacente.

Plus précisément, un adversaire capable d'observer le comportement prompt-réponse d'un LLM (sans accès aux états internes ou aux log-probabilités) peut déduire les composants spécifiques de la pile d'inférence. Cette fuite a des implications directes en matière de sécurité : connaître le moteur spécifique (par exemple, vLLM, SGLang) permet à un attaquant de cibler des vulnérabilités critiques connues dans ces implémentations, tandis que l'identification de la plateforme matérielle (par exemple, A100 vs H100) permet de vérifier les affirmations de service ou de mener des attaques spécifiques au matériel.

Méthodologie

Les auteurs proposent une méthode d'empreinte digitale qui traite le système d'inférence comme une boîte noire, en analysant uniquement les entrées et sorties textuelles. L'approche se compose de deux étapes principales :

1. Modèle de menace

On suppose que l'attaquant dispose de :

• Accès au chat : La capacité de soumettre des invites arbitraires et d'observer les réponses textuelles.
• Connaissance du modèle : Le LLM spécifique et l'invite système sont connus (récupérables via des attaques existantes d'empreinte digitale de modèle ou d'extraction d'invite).
• Accès de référence hors ligne : La capacité d'instancier et d'interroger un ensemble de systèmes de référence couvrant les composants candidats pour collecter des données d'entraînement.
• Pas d'accès aux logits : Les distributions de probabilité internes ou les états cachés sont inaccessibles.

2. Construction de l'ensemble d'invites

Pour isoler les déviations numériques à différentes étapes de calcul, les auteurs construisent quatre ensembles d'invites distincts ($P_1$ à $P_4$) :

• $P_1$ (Invites de tokens rares) : Contient des tokens rares (par exemple, Unicode non standard) intégrés dans le texte. Ceux-ci testent le décodage autorégressif, où de légères déviations dans la sélection de tokens à faible probabilité peuvent modifier la prédiction finale.
• $P_2$ (Invites de décision binaire) : Conçues pour obtenir un seul token « Oui » ou « Non ». Cela isole l'étape de préremplissage, car il n'y a pas de génération autorégressive pour masquer les différences de traitement initial.
• $P_3$ (Invites de contexte long) : Textes longs nécessitant que le modèle extraye un nombre spécifique. Ceux-ci déclenchent un préremplissage par blocs, révélant les déviations introduites par la division des contextes longs sur plusieurs passes.
• $P_4$ (Invites de répétition) : Demandes de répéter une phrase plusieurs fois. Cela déclenche la réutilisation du préfixe du cache KV, exposant la manière dont les états mis en cache sont gérés et chargés.

3. Extraction de caractéristiques et classification

• Encodage : Les réponses sont converties en vecteurs de caractéristiques à l'aide de fonctions de scoring. Par exemple, $P_1$ et $P_3$ utilisent des fonctions indicatrices (1 si le token/le nombre attendu est présent, 0 sinon), tandis que $P_4$ normalise le nombre de répétitions.
• Classification : Les vecteurs de caractéristiques résultants sont concaténés et alimentés des classificateurs Random Forest entraînés pour identifier trois étiquettes cibles : le Moteur d'inférence, le Backend d'attention et la Plateforme matérielle (GPU).
• Gestion stochastique : Pour les paramètres de température non nuls, la méthode agrège les prédictions de plusieurs échantillons ($k$) par invite en utilisant le vote majoritaire pour atténuer le bruit d'échantillonnage.

Résultats clés

Les auteurs ont évalué leur approche sur 30 configurations système distinctes combinant 4 moteurs d'inférence, 6 backends d'attention et 3 dispositifs matériels (Nvidia A100, H100, L4) sur trois modèles (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

Décodage déterministe (Température = 0)

• Précision parfaite : La méthode a atteint une précision de 100 % pour identifier les trois composants (moteur, backend, GPU) sur tous les modèles.
• Efficacité des invites : Une identification parfaite était possible avec aussi peu que 113 invites au total, bien que la composition optimale des invites ait varié selon le modèle. Les moteurs d'inférence ont été identifiés le plus rapidement (fiables avec 10 invites), tandis que les backends et les GPU nécessitaient plus de données (100 invites).

Décodage stochastique (Température > 0)

• Robustesse : La précision a diminué à mesure que la température augmentait en raison du bruit d'échantillonnage, mais est restée significative.
  • Moteur d'inférence : Précision moyenne d'~80 % sur toutes les températures ($T \in \{0.3, 0.6, 0.9\}$).
  • Backend d'attention et GPU : La précision variait de 46 % à 78 % selon le modèle et la température.
• Agrégation : Les performances se sont saturées après l'agrégation de 10 à 20 échantillons par invite, confirmant que le vote majoritaire récupère efficacement le signal.

Analyse de robustesse

L'empreinte digitale est restée efficace sous des variations de déploiement réalistes :

• Invites système : La précision est restée élevée (~99,7 %) même lors de l'utilisation d'invites système spécifiques à l'application plutôt que des valeurs par défaut.
• Taille de lot : Le signal s'est bien généralisé à travers différentes tailles de lot (entraînement sur 32/64/128, test sur 256), avec des baisses de précision marginales.
• Composants propriétaires : Lorsqu'un composant (par exemple, un GPU spécifique) n'avait pas été vu pendant l'entraînement, l'identification des autres composants (moteur, backend) est restée robuste, bien que l'identification du composant lui-même non vu soit tombée au hasard.
• Inadéquation de température : Si les températures d'entraînement et de déploiement différaient considérablement, la précision a chuté substantiellement, suggérant que les attaquants devraient aligner leur température d'entraînement sur celle de la cible.

Importance et revendications

L'article revendique d'être la première méthode à empreinte digitale des composants du système d'inférence des LLM (moteur, backend, matériel) en utilisant uniquement des paires invite-réponse sans accès aux logits.

Les auteurs soulignent que :

1. Implications de sécurité : Cette fuite n'est pas une simple curiosité ; elle fournit aux adversaires la connaissance précise nécessaire pour exploiter des vulnérabilités connues dans des moteurs d'inférence largement utilisés comme vLLM et SGLang.
2. Difficulté fondamentale de la défense : Empêcher cette empreinte digitale est « fondamentalement difficile » car cela nécessiterait d'éliminer les différences numériques entre divers piles matérielles et logicielles. Unifier la pile est irréaliste pour la production, et ajouter du bruit pour masquer le signal dégrade l'utilité (par exemple, en brisant le décodage déterministe requis pour la génération de code).
3. Atténuations partielles : L'article suggère que la limitation du débit est la défense la plus pratique, bien qu'elle puisse être contournée via des attaques Sybil. L'ajout de bruit est possible mais s'accompagne d'un coût élevé pour l'utilité de l'application.

L'étude conclut que les sorties d'apprentissage automatique sont inextricablement liées à leur environnement d'exécution, et ignorer ce lien entraîne une fuite d'informations qui compromet l'intégrité et la sécurité du système.