Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation

1. Problématique : La Vulnérabilité de l'Inférence par Lots (Batched Inference)

Les modèles d'apprentissage automatique modernes, en particulier les grands modèles de langage (LLM), sont souvent déployés avec une inférence par lots (batched inference) pour optimiser l'utilisation du matériel et augmenter le débit. Cette pratique consiste à traiter simultanément les requêtes de plusieurs utilisateurs dans un même lot.

Le papier identifie une faille de sécurité critique : l'isolation entre les utilisateurs au sein d'un même lot n'est pas garantie par défaut. Bien que des fuites de données involontaires aient été observées récemment dans certaines architectures (comme les Mixture-of-Experts), les auteurs démontrent qu'il est possible de concevoir délibérément des portes dérobées (backdoors) architecturales pour exploiter ce mécanisme de mise en lot.

Contrairement aux backdoors traditionnels qui visent à manipuler la prédiction d'un modèle pour une entrée spécifique (attaque par classification), ces nouvelles portes dérobées visent à briser l'isolation inter-utilisateurs. L'objectif de l'attaquant est double :

• Confidentialité : Voler les données d'entrée ou de sortie d'autres utilisateurs traités dans le même lot.
• Intégrité : Manipuler ou contrôler entièrement les réponses générées par le modèle pour d'autres utilisateurs.

2. Méthodologie : Portes Dérobées Architecturales

Les auteurs proposent une nouvelle classe de backdoors intégrés directement dans la structure du graphe du modèle (par exemple, au niveau du format ONNX), plutôt que dans ses paramètres.

A. Mécanisme d'Attaque

L'attaque repose sur deux composants principaux injectés dans le modèle (souvent dans les premières couches d'un Transformer) :

1. Détecteur de Déclencheur (Trigger Detector) : Un module qui surveille l'entrée (par exemple, le cache K dans l'attention) pour repérer un motif spécifique (un "trigger"), tel qu'une chaîne de caractères commençant par @@get ou @@set.
2. Intégration de Signal (Signal Integration) : Une fois le déclencheur détecté, ce module modifie le graphe de calcul pour rediriger la mémoire entre les positions du lot.

B. Types d'Attaques

Le papier définit trois vecteurs d'attaque principaux :

• Attaque "Set" (Mise) : L'attaquant remplace l'entrée d'une victime par la sienne, ou force la sortie de la victime à correspondre à une sortie contrôlée par l'attaquant.
• Attaque "Get" (Récupération) : L'attaquant vole la sortie d'une victime. Le modèle renvoie la réponse destinée à la victime directement à l'attaquant, sans modifier la réponse de la victime elle-même.
• Attaque "Steer" (Pilotage) : L'attaquant injecte un vecteur de direction dans les représentations internes du modèle pour influencer le comportement de la victime. Cela peut forcer le modèle à rejeter une requête, générer du contenu biaisé, ou répéter l'entrée de la victime (exfiltration d'entrée).

C. Mise en Œuvre Technique

Les auteurs montrent que ces backdoors peuvent être injectés avec très peu d'opérateurs supplémentaires. Dans le cas des LLM, le déclencheur est souvent placé dans le cache de clés (K-Cache) d'une tête d'attention, assurant que l'activation persiste tout au long de la génération de la séquence.

3. Contributions Clés

1. Nouvelle Classe de Menaces : Introduction de backdoors architecturaux spécifiquement conçus pour exploiter l'inférence par lots, permettant le vol de données et la manipulation de réponses à grande échelle.
2. Stratégie de Défense Déterministe : Proposition du Batch Isolation Checker, un outil de vérification formelle basé sur l'analyse statique du graphe de données du modèle.
3. Mécanisme de Contrôle de Flux d'Information (IFC) : Développement d'une méthode novatrice utilisant une structure algébrique (Monoid) pour suivre les flux d'information. Au lieu de suivre l'ensemble complet des étiquettes d'utilisateurs (coûteux), le système suit uniquement les étiquettes minimales et maximales pour détecter toute interférence (fuite) entre utilisateurs.
4. Analyse à Grande Échelle : Évaluation de modèles hébergés sur Hugging Face (format ONNX), révélant des vulnérabilités réelles.

4. Résultats et Évaluations

A. Efficacité des Attaques

• Les attaques Set et Get sont déterministes et atteignent un taux de réussite de 100% une fois le déclencheur activé.
• L'attaque Steer est probabiliste mais hautement efficace. Les expériences sur des modèles comme Gemma-2B-IT, Qwen2-VL et Apertus-8B montrent des taux de succès significativement supérieurs aux modèles de base pour des objectifs tels que l'exfiltration d'entrée, le refus induit ou la génération de résultats négatifs.

B. Analyse de Sécurité (Batch Isolation Checker)

Les auteurs ont analysé 1 680 modèles provenant de la communauté ONNX de Hugging Face :

• 269 modèles ont été identifiés comme présentant des fuites d'information entre les entrées du lot.
• La source principale de ces fuites involontaires a été identifiée comme l'opérateur DynamicQuantizeLinear, qui calcule des min/max sur l'ensemble du tenseur d'entrée, y compris la dimension du lot, créant ainsi une dépendance non désirée entre les utilisateurs.
• 361 modèles ont été formellement prouvés comme sûrs pour le lot (batching-safe) après analyse.
• Performance : L'outil d'analyse est rapide, traitant même les modèles complexes en moins de 30 minutes, ce qui le rend viable pour une intégration dans les pipelines de déploiement.

5. Signification et Implications

Ce papier met en lumière une vulnérabilité fondamentale dans les systèmes d'IA partagés : l'inférence par lots, conçue pour l'efficacité, peut devenir un vecteur d'attaque majeur si l'isolation n'est pas formellement garantie.

• Menace pour la Vie Privée : Les attaques permettent non seulement de voler des données sensibles (prompts, images) mais aussi de manipuler les réponses destinées à d'autres utilisateurs, compromettant l'intégrité du service.
• Limites des Détections Actuelles : Les méthodes de détection basées sur l'IA (comme l'utilisation d'LLMs pour trouver des backdoors) sont insuffisantes. Une vérification formelle et déterministe est nécessaire.
• Risques de la Chaîne d'Approvisionnement : Le risque est particulièrement élevé lors de la redistribution de modèles (conversion en ONNX, fine-tuning par des tiers sur des hubs comme Hugging Face).
• Recommandations : Les auteurs préconisent l'utilisation d'outils de vérification formelle (comme le Batch Isolation Checker) avant le déploiement de tout modèle et appellent à une réévaluation des hypothèses de sécurité dans les systèmes d'IA partagés.

En conclusion, cette recherche démontre que la sécurité des modèles d'IA ne peut plus se limiter à la protection des paramètres ou à la détection de données d'entraînement empoisonnées ; elle doit inclure une vérification rigoureuse de l'isolation des flux de données lors de l'exécution par lots.