Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

Dans le monde en pleine expansion de l'intelligence artificielle, les grands modèles de langage sont devenus une propriété intellectuelle précieuse, à l'instar d'une recette secrète ou d'un plan propriétaire. Parce que ces modèles sont si précieux, une crainte croissante existe que des acteurs malveillants puissent voler le code sous-jacent, connu sous le nom de poids, en piégeant le système pour lui faire révéler ses calculs internes lors d'une utilisation normale. Pour empêcher cela, un chercheur a développé une méthode de vérification qui agit comme un point de contrôle de sécurité. Ce système vérifie si les choix qu'un modèle fait lors de la génération de texte sont cohérents avec une clé secrète partagée spécifique. Le système autorise une petite quantité d'erreur naturelle, reconnaissant que le matériel informatique n'est pas parfaitement précis et commet parfois de minuscules erreurs aléatoires lorsqu'il doit choisir entre deux options très similaires. Cette tolérance intégrée à l'erreur est censée être une caractéristique de sécurité, garantissant que les utilisateurs honnêtes ne soient pas faussement accusés de violation de règles lorsque leur ordinateur hésite simplement.

Un chercheur de l'Université de technologie de Delft a récemment testé la force de ce point de contrôle de sécurité contre un type d'attaquant plus rusé. Il a découvert que le filet de sécurité du système, conçu pour pardonner les légers dysfonctionnements matériels, pouvait être élargi en une énorme faille par un adversaire qui sait manipuler les questions posées au modèle. Le chercherier a découvert qu'en nourrissant le modèle de requêtes conçues pour briser les règles normales du langage et créer de la confusion, un attaquant pouvait forcer le modèle à devenir incertain quant à son mot suivant. Cette incertitude élargit la liste des réponses acceptables que le système de sécurité tolérera, transformant effectivement un sentier étroit et sécurisé en une large autoroute pour le vol d'informations. Ses travaux suggèrent que la défense actuelle, qui a été calibrée en utilisant une conversation normale et quotidienne, n'est pas assez robuste pour arrêter un attaquant déterminé qui sait exploiter la propre confusion du modèle.

Le cœur du problème réside dans la manière dont le système de sécurité décide ce qui est une erreur légitime et ce qui est un secret volé. Lorsqu'un modèle génère du texte, il calcule la probabilité de chaque mot suivant possible. Habituellement, un mot est clairement le meilleur choix, et le système se verrouille sur celui-ci. Cependant, quand le modèle est incertain, deux mots ou plus peuvent avoir des scores presque identiques. Dans ces moments d'indécision, les fluctuations infimes et aléatoires du matériel informatique peuvent faire basculer le choix final d'un mot à un autre. Le système de sécurité a été construit pour pardonner ces basculements, supposant qu'il s'agit de bruit inoffensif. Le chercheur a réalisé que si un attaquant pouvait créer une situation où le modèle est constamment incertain, il pourrait forcer le système à accepter une gamme beaucoup plus large de résultats. Ce faisant, l'attaquant pourrait encoder des données cachées dans le choix spécifique du mot, utilisant la propre tolérance à l'erreur du système comme un canal secret pour fuiter des informations.

Pour tester cette théorie, le chercheur a mis en place une série d'expériences utilisant six modèles de langage différents de tailles variées, allant de petits modèles de 1 milliard de paramètres à des systèmes massifs de 32 milliards de paramètres. Il a commencé par établir une base de référence en utilisant 150 requêtes standards et bénignes, similaires au type de questions qu'un utilisateur pourrait poser à un chatbot dans une conversation normale. Dans ces conditions, le système de sécurité fonctionnait comme prévu. La liste des mots acceptables ne comprenait presque toujours qu'une seule option, ce qui forçait le modèle à être déterministe. Dans cet état, le système ralentissait toute tentative de vol de données par un facteur de plus de 200 fois, rendant le vol pratiquement impossible. Cela a confirmé que la défense était efficace contre les attaquants passifs qui utilisent simplement le modèle tel qu'il est destiné à être utilisé.

Le chercheur a ensuite introduit trois types distincts d'attaques adverses, chacune conçue pour perturber la capacité du modèle à prédire le mot suivant avec confiance. Le premier type, appelé « terse » (concis), utilisait des requêtes très courtes et à faible contexte qui isolaient le premier mot d'une réponse. Le deuxième type, « scramble » (mélange), utilisait des listes d'éléments sans rapport et des instructions qui brisaient les règles grammaticales normales. Le troisième type, et le plus efficace, nommé « cipher » (chiffre), utilisait des chaînes de caractères, de chiffres et de symboles provenant de différents systèmes d'écriture qui n'avaient aucun lien logique entre eux. Ces requêtes étaient conçues pour confondre la compréhension interne du modèle sur la façon dont les mots s'assemblent, le forçant à compter sur le hasard plutôt que sur des modèles appris. Le chercheur a généré 150 de ces requêtes adverses pour chaque type d'attaque et les a fait passer à travers les modèles trois fois pour s'assurer que les résultats étaient cohérents.

Les résultats ont montré un changement radical dans les performances du système. Lorsque les modèles étaient nourris des requêtes « cipher », qui perturbaient le modèle au niveau des caractères et des scripts individuels, la tolérance à l'erreur du système de sécurité explosait. Au lieu que la liste des mots acceptables ne soit composée d'un seul élément, elle devenait nettement plus grande. Cette expansion permettait à l'attaquant d'extraire environ deux fois plus d'informations cachées par mot par rapport à la base de référence bénigne. Par conséquent, le facteur de ralentissement, qui avait été une barrière massive de plus de 200 fois, s'effondrait pour se situer entre 60 et 118 fois selon le modèle spécifique utilisé. Pour les plus grands modèles, la défense est devenue environ trois fois moins efficace que ce qui était initialement prévu. Les requêtes « scramble » ont également montré un succès significatif, tandis que les requêtes « terse » ont réellement renforcé la défense sur les petits modèles, provoquant paradoxalement une plus grande prévisibilité et les rendant moins sujets à l'incertitude même que l'attaquant cherchait à créer.

Ces conclusions indiquent que la méthode de vérification actuelle est trop rigide. Elle repose sur un seuil statique pour ce qui constitue une erreur acceptable, un seuil qui a été fixé en fonction de la manière dont le modèle se comporte lors d'une conversation normale et polie. L'étude démontre que cette approche échoue lorsque l'entrée est conçue pour maximiser la confusion du modèle. Le chercheur conclut que pour que cette défense soit véritablement sûre, le système doit être dynamique. Au lieu d'utiliser une règle fixe, le vérificateur doit constamment mesurer le degré d'incertitude du modèle à chaque étape et ajuster sa tolérance à l'erreur en conséquence. Si le modèle est confus, le système doit durcir ses règles ; s'il est certain, il peut les assouplir. Sans cet ajustement dynamique, le point de contrôle de sécurité reste vulnérable à un attaquant qui sait transformer l'incertitude du modèle en une arme.

Les implications de ce travail s'étendent au-delà du seul type de méthode testée. Elles mettent en lumière une tension fondamentale dans la sécurisation de l'intelligence artificielle : les défenses calibrées pour un comportement normal échouent souvent face à des adversaires actifs et intelligents capables de manipuler l'environnement pour briser ces hypothèses. Le chercheur n'a pas prétendu avoir totalement brisé la technologie, mais il a montré que les marges de sécurité sont beaucoup plus fines que ce que l'on croyait. Il a prouvé qu'en changeant simplement la nature des questions posées, un attaquant peut doubler la vitesse à laquelle il peut voler les secrets d'un modèle. Cela suggère que les futures conceptions de sécurité ne peuvent pas reposer sur l'hypothèse que les entrées seront bénignes. Elles doivent être construites pour résister au chaos spécifique et calculé qu'un attaquant intelligent peut introduire, garantissant que la tolérance à l'erreur du système ne devienne pas l'outil même qui permet sa compromission.