Conjunctive Poisoning in AI Supply-Chain Applications
Cet article identifie et démontre une nouvelle attaque par « empoisonnement conjonctif » dans les chaînes d'approvisionnement en IA, où des développeurs malveillants exploitent l'interaction faiblement protégée entre les enveloppes de prompts bénignes et les métadonnées conçues à dessein pour altérer de manière déterministe les sorties du modèle, et propose le middleware TIF-BAH comme défense pour vérifier l'intégrité de l'enveloppe et enregistrer les attestations comportementales.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique moderne, les systèmes d'intelligence artificielle puissants sont passés des laboratoires de recherche aux outils quotidiens que nous utilisons pour écrire, coder et créer des images. Ces systèmes, connus sous le nom de modèles de langage et de modèles langage-vision, sont souvent décrits par leur « cerveau » interne : la vaste collection de nombres et de motifs qu'ils ont appris lors de l'entraînement. Pendant des années, les experts en sécurité ont concentré leur attention sur la protection de ce cerveau, s'assurant que les données d'entraînement n'avaient pas été empoisonnées et que le modèle lui-même n'avait pas été secrètement altéré. Ils ont construit des défenses solides pour vérifier les poids du modèle et pour filtrer les instructions dangereuses envoyées directement à celui-ci. Cependant, ces systèmes ne fonctionnent pas dans le vide. Avant que la question d'un utilisateur n'atteigne le modèle, et après que le modèle a généré une réponse, il existe une couche de logiciel qui agit comme un traducteur et un gestionnaire. Cette couche, souvent appelée « wrapper » (enveloppe), prend l'entrée de l'utilisateur, la formate selon une structure spécifique que le modèle comprend, puis traite la réponse brute en une réponse finale et polie. Aux côtés de ce logiciel se trouvent des fichiers de configuration, qui agissent comme des manuels d'instructions dictant au wrapper comment se comporter. Bien que le cerveau du modèle soit lourdement gardé, ce logiciel environnant et ses manuels d'instructions sont restés largement non protégés, traités comme de simples textes modifiables plutôt que comme des composants de sécurité critiques.
Une équipe de chercheurs de l'Université de la Central Florida a découvert une vulnérabilité cachée dans cette couche négligée. Ils ont démontré qu'un développeur malveillant pourrait créer un package trompeur où le modèle lui-même est parfaitement sûr et inchangé, mais où le wrapper et ses fichiers de configuration sont truqués pour altérer le comportement du système. Les chercheurs ont montré qu'en associant un wrapper logiciel d'apparence inoffensive à un fichier de configuration soigneusement élaboré, un attaquant pourrait forcer le système à changer sa sortie d'une manière spécifique et prévisible sans jamais toucher au code central du modèle. Cette attaque repose sur un mécanisme « conjonctif », ce qui signifie que deux conditions distinctes doivent être remplies simultanément pour que le tour de passe-passe fonctionne. Une condition est un marqueur caché, intégré de manière invisible dans le code du wrapper, et l'autre est une signature cryptographique stockée dans le fichier de configuration. Ni l'un ni l'autre de ces éléments ne suffit, pris isolément, pour déclencher le changement ; ils doivent être présents ensemble. Cette conception rend l'attaque incroyablement difficile à détecter car un scan de sécurité regardant uniquement le code ne verrait rien de suspect, et un scan regardant uniquement le fichier de configuration ne verrait qu'une chaîne de chiffres d'apparence aléatoire.
Pour tester l'étendue de cette vulnérabilité, les chercheurs ont construit une expérience contrôlée utilisant quinze systèmes d'intelligence artificielle différents, allant de modèles open-source que n'importe qui peut télécharger à des systèmes fermés accessibles via des API commerciales. Ils ont déployé ces modèles avec le wrapper et les fichiers de configuration truqués et ont observé ce qui se passait lorsque les utilisateurs posaient des questions. Les résultats ont été cohérents et précis : dans chaque cas, lorsque les deux conditions étaient réunies, le système exécutait l'instruction cachée. Le wrapper prenait la réponse normale et correcte du modèle et préfixait une bannière ou modifiait le texte avant de le présenter à l'utilisateur. Le modèle lui-même n'avait pas changé d'avis ou de connaissances ; il avait simplement reçu l'instruction par le wrapper d'afficher la réponse différemment. Les chercheurs ont constaté que cette manipulation fonctionnait pour les tâches textuelles uniquement, les problèmes de raisonnement complexe, et même les tâches de langage-vision où le modèle examine des images. L'attaque était si efficace qu'elle est restée indétectable par les outils de sécurité standards qui recherchent du code malveillant ou scannent des motifs connus comme étant mauvais, car le déclencheur n'était pas un morceau de code malveillant, mais une combinaison logique d'un marqueur caché et d'une signature de fichier correspondante.
L'étude a également exploré l'efficacité des défenses actuelles pour arrêter ce type d'attaque. Les chercheurs ont testé plusieurs mesures de sécurité existantes, notamment des outils qui scannent les fichiers de métadonnées, des systèmes qui filtrent les requêtes des utilisateurs et des méthodes qui signent les artefacts numériques pour prouver leur authenticité. Ils ont constaté que la plupart de ces défenses échouaient à détecter l'empoisonnement conjonctif. Les scanners qui ne regardaient que les fichiers de configuration manquaient le marqueur caché dans le code, et les scanners qui ne regardaient que le code manquaient la signature cryptographique dans les fichiers. Même les outils qui signent les poids du modèle n'ont pas aidé, car l'attaque se produisait dans le wrapper et le fichier de configuration, qui étaient souvent non signés ou traités séparément du package principal du modèle. La seule façon de stopper complètement l'attaque dans leurs tests était de signer l'ensemble du bundle — le modèle, le wrapper et les fichiers de configuration ensemble — et de vérifier qu'aucun d'entre eux n'avait été altéré depuis leur signature. Sans cette vérification complète, le système restait vulnérable à cette forme subtile de manipulation.
Pour combler cette lacune, les chercheurs ont proposé un nouveau mécanisme de défense appelé « Template Integrity Filter with Behavioral Attestation Header » (Filtre d'intégrité de modèle avec en-tête d'attestation comportementale). Ce système agit comme un garde-barrière qui fonctionne aux côtés du modèle pendant son opération. Avant que le wrapper ne soit autorisé à traiter une réponse, le système vérifie le code du wrapper par rapport à une version de confiance pré-approuvée pour s'assurer qu'il n'a pas été falsifié. Si le code correspond à la version de confiance, le système permet de poursuivre le processus ; s'il ne correspond pas, le système bloque l'action et revient par défaut à une sortie sûre et non modifiée. De plus, ce système enregistre une petite entrée de journal pour chaque interaction, notant exactement quelle version du wrapper a été utilisée et quelle décision a été prise. Cela crée un registre permanent qui peut être audité ultérieurement pour voir si des changements non autorisés ont été effectués. Les chercheurs ont constaté que l'ajout de cette couche de protection n'introduisait presque aucun délai à la vitesse du système, ajoutant moins de la moitié d'un pour cent au temps nécessaire pour générer une réponse, ce qui en fait une solution pratique pour les applications du monde réel.
Les implications de ce travail vont au-delà de la simple découverte d'un bug ; elles modifient fondamentalement la façon dont nous devrions concevoir la sécurisation de l'intelligence artificielle. Pendant longtemps, l'industrie a supposé que si le cerveau du modèle était sûr, le système l'était aussi. Cette recherche montre que le « corps » du système — le logiciel qui enveloppe le modèle et les fichiers qui dictent son comportement — est tout aussi critique. Un attaquant n'a pas besoin de forcer les données d'entraînement du modèle ou de réécrire sa logique interne pour changer ce qu'un utilisateur voit. Il lui suffit d'insérer une instruction cachée dans le wrapper et une clé correspondante dans le fichier de configuration. Cela ressemble à la façon dont un chef de cuisine de confiance pourrait recevoir une recette qui semble normale mais qui inclut une instruction secrète d'ajouter une épice spécifique seulement si un certain ingrédient est présent dans le garde-manger ; le chef suit la recette parfaitement, mais le plat final est altéré par les instructions, et non par ses propres choix. Les chercheurs soulignent que, bien que leurs expériences aient utilisé des changements inoffensifs, tels que l'ajout d'une bannière ou d'une clause de non-responsabilité, le même mécanisme pourrait être utilisé pour cacher des instructions dangereuses, altérer des recommandations ou manipuler des citations de manière invisible pour l'utilisateur.
L'étude conclut que la couche de template, là où vivent les wrappers et les fichiers de configuration, est une partie critique mais sous-protégée de la chaîne d'approvisionnement de l'intelligence artificielle. À mesure que ces systèmes s'intègrent davantage dans notre vie quotidienne, servant à tout, du service client aux conseils médicaux, l'intégrité de l'ensemble du package de déploiement doit être vérifiée, et pas seulement celle du modèle. Les chercheurs ont rendu leur code et leurs outils disponibles pour aider d'autres développeurs à tester leurs propres systèmes pour cette vulnérabilité. En mettant en lumière cette faiblesse spécifique, ils espèrent encourager le développement de nouvelles normes qui traitent le code du wrapper et les fichiers de configuration avec le même niveau de rigueur et de protection que les poids du modèle eux-mêmes, garantissant ainsi que le comportement que voient les utilisateurs est véritablement ce que le modèle avait l'intention de produire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.