🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Cet article introduit l'Injection de Jetons Malveillants (MTI), un cadre démontrant que la perturbation du cache clé-valeur pendant l'inférence peut corrompre systématiquement les modèles de langage transformeurs, révélant l'intégrité du cache comme une vulnérabilité critique et auparavant négligée de la sécurité des LLM.

Auteurs originaux : Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Publié 2026-02-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme un étudiant brillant et rapide qui passe un examen de longue durée. Pour répondre à une question, cet étudiant ne se contente pas de regarder la question actuelle ; il doit se souvenir de tout ce qu'il a écrit jusqu'à présent pour que sa réponse reste cohérente. Dans le monde de l'IA, cette « mémoire » est appelée le KV Cache (Cache Clé-Valeur). C'est un bloc-notes numérique où le modèle stocke les parties les plus importantes de la conversation afin de ne pas avoir à relire tout le livre à chaque fois qu'il veut écrire le mot suivant.

Cet article, intitulé « Can Transformer Memory Be Corrupted? », pose une question effrayante mais simple : Que se passe-t-il si quelqu'un griffonne secrètement sur ce bloc-notes pendant que l'étudiant passe l'examen ?

Voici la décomposition de leurs découvertes en utilisant des analogies de la vie quotidienne :

1. La faiblesse cachée : Le bloc-notes « invisible »

D'habitude, nous nous inquiétons des hackers qui modifieraient les manuels de l'étudiant (les données d'entraînement du modèle) ou qui le tromperaient avec une question étrange (injection de prompt). Mais cet article a découvert une autre façon de briser le système, plus sournoise.

Les chercheurs ont réalisé que le « bloc-notes » (le KV Cache) est souvent laissé sans protection. Même si les manuels et les questions d'examen sont verrouillés, un attaquant capable de s'introduire dans l'ordinateur qui exécute le modèle peut subtilement modifier les chiffres sur ce bloc-notes.

L'analogie : Imaginez un chef cuisinier préparant un ragoût complexe. La recette est sûre, et les ingrédients sont frais. Mais si un saboteur s'introduit discrètement pour remplacer une pincée de sel par du sucre pendant que le chef goûte la marmite, tout le plat pourrait être gâché, même si le chef n'a pas changé la recette ni les ingrédients.

2. L'attaque : « Malicious Token Injection » (MTI)

Les auteurs ont créé un outil appelé MTI V.1 pour tester cela. Ils n'ont pas cassé le modèle ; ils ont simplement « poussé » la mémoire. Ils ont essayé trois méthodes principales pour perturber le bloc-notes :

Le coup de pouce « statique » (Bruit Gaussien) : Ajouter un peu de statique aléatoire ou de friture à la mémoire, comme si l'on augmentait légèrement le volume d'une radio jusqu'à ce que les mots deviennent inintelligibles.
L'effaceur (Mise à zéro) : Effacer complètement certaines parties de la mémoire, comme si l'on utilisait un marqueur rouge sur une page de notes.
La torsion (Rotation) : Tourner la mémoire sur le côté. L'information est toujours là, mais elle pointe dans la mauvaise direction, ce qui confond le modèle.

3. Les résultats : Petits coups, gros dégâts

Les chercheurs ont testé cela sur des modèles d'IA populaires (comme GPT-2 et LLaMA-2). Ils ont découvert que même des changements minuscules, presque invisibles, à la mémoire provoquaient de gros problèmes :

Confusion : Le modèle commence à deviner des mots qu'il ne devrait pas. Il devient moins confiant et plus susceptible d'inventer des faits (halluciner).
Échec des tâches :
- Tâches simples : Lorsqu'on lui demande de deviner si une phrase est joyeuse ou triste, le modèle s'embrouille et commence à se tromper.
- Tâches complexes : Lorsqu'on lui demande de trouver un fait spécifique dans un document long (comme une question de culture générale), le modèle échoue complètement. C'est comme si l'étudiant oubliait totalement comment lire la question.
- Le test de l'« Agent » : Lorsque l'IA agissait comme un robot essayant de planifier une série d'étapes (comme réserver un vol), la corruption de la mémoire lui faisait perdre le fil et choisir les mauches actions.

4. Le « Pourquoi » : Comment cela se propage

L'article explique simplement la mathématique derrière cela : l'IA décide du mot suivant en regardant sa mémoire. Si la mémoire est légèrement erronée, l'attention de l'IA se déplace.

L'analogie : Imaginez que vous essayez de trouver un ami dans une pièce bondée. Vous regardez une carte (la mémoire). Si quelqu'un trace une petite ligne erronée sur la carte, vous pourriez regarder dans le mauvais coin. Une fois que vous regardez dans le mauvais coin, tout votre plan pour le reste de la soirée s'effondre. L'article prouve que ces « petites lignes » sur la carte peuvent mathématiquement garantir que l'attention de l'IA soit biaisée.

5. Peut-on le réparer ? (Les défenses)

Les chercheurs ont testé quelques correctifs rapides pour voir s'ils pouvaient arrêter l'attaque :

Nettoyer le bloc-notes : Effacer périodiquement la mémoire.
Randomiser les notes : Cacher aléatoirement des parties de la mémoire pour voir si le modèle peut toujours deviner.
Lisser le bruit : Faire la moyenne des chiffres pour éliminer la « statique ».

Le verdict : Ces correctifs ont aidé un peu, mais ils n'étaient pas un remède miracle. Ils ont arrêté le pire des dommages, mais si l'attaque était forte ou persistante, le modèle échouait toujours. C'est comme mettre un pansement sur une coupure ; cela aide, mais cela n'empêche pas le couteau de couper plus profondément si l'attaquant continue d'essayer.

L'essentiel

Cet article ne dit pas que l'IA est cassée ou que vous devriez arrêter de l'utiliser. Au contraire, il sonne l'alarme pour les personnes qui construisent et protègent les systèmes d'IA.

Le point principal : Nous avons été très bons pour protéger le « cerveau » de l'IA (ses données d'entraînement) et sa « bouche » (ses prompts d'entrée), mais nous avons largement ignoré sa « mémoire à court terme » (le KV Cache). Si un attaquant peut s'introduire dans l'ordinateur qui exécute l'IA, il peut corrompre cette mémoire et rendre l'IA peu fiable, confuse ou dangereuse, même sans changer une seule ligne de code.

Les auteurs appellent à un nouveau type de sécurité qui traite ce « bloc-notes » comme une zone de sécurité critique qui doit être gardée aussi strictement que le reste du système.

Résumé Technique : Étude des vulnérabilités de cache dans les grands modèles de langage

Énoncé du problème
Bien que les grands modèles de langage (LLM) soient de plus en plus sécurisés par des garde-fous au niveau du prompt et un alignement lors de l'entraînement, leur état interne lors de l'inférence reste une surface d'attaque sous-examinée. Plus précisément, le cache Clé-Valeur (KV), qui stocke les représentations d'attention intermédiaires pour accélérer le décodage autorégressif, introduit une mémoire interne persistante qui influence directement les prédictions futures. Contrairement à l'injection de prompt (qui opère à l'interface d'entrée) ou au empoisonnement des poids (qui nécessite un accès lors de l'entraînement), les perturbations côté cache opèrent entièrement après la tokenisation et l'encodage (embedding). Ces attaques contournent les filtres de niveau d'entrée et les vérifications d'alignement en modifiant les vecteurs clés mis en cache, pouvant potentiellement biaiser les distributions d'attention et propager des erreurs à travers les prédictions en aval sans modifier les paramètres du modèle ni les prompts d'entrée.

Méthodologie : Le cadre MTI V.1
Pour étudier cette vulnérabilité, les auteurs introduisent le MTI V.1 (Malicious Token Injection — Injection de Tokens Malveillants), un cadre modulaire qui formalise les perturbations côté cache. Le cadre traite le cache KV comme une frontière de robustesse distincte et définit un modèle de menace où un adversaire disposant d'un accès au moment de l'inférence peut perturber les clés mises en cache à des couches et des instants sélectionnés sans modifier les entrées ou les poids.

Le cadre caractérise les perturbations selon trois axes :

Magnitude de la corruption : La force de la perturbation injectée.
Fréquence d'injection : La fréquence à laquelle les perturbations sont appliquées à travers les étapes de décodage.
Placement de la couche : Quelles couches du transformateur sont ciblées.

L'étude emploie trois mécanismes de corruption canoniques :

MTI-Gaussian : Injecte un bruit stochastique additif (échantillonné à partir d'une distribution gaussienne) dans les clés mises en cache.
MTI-Zeroing : Supprime entièrement les clés mises en cache, simulant une effacement catastrophique.
MTI-Rotation : : Applique des transformations orthogonales aux clés mises en cache, altérant l'alignement angulaire avec les requêtes (queries) tout en préservant la magnitude du vecteur.

De plus, une variante optimisée (Algorithme 1) est utilisée empiriquement pour calculer des perturbations qui maximisent un objectif adversaire via l'ascension de gradient, bien que cela soit distinct des perturbations non adaptatives et à norme bornée utilisées pour l'analyse théorique.

Analyse Théorique
L'article fournit une analyse théorique bornant la manière dont les perturbations de cache à norme limitée se propagent à travers les mécanismes d'attention.

Borne de la perturbation vers le logit : La déviation dans les scores d'attention est proportionnelle à la fois à la magnitude de la perturbation ( $\epsilon$ ) et à la norme de la requête ( $\|q_t\|_2$ ). La déviation résultante dans les logits non normalisés est bornée par $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ .
Stabilité Softmax : Sous des hypothèses de logits bornés, la mise en correspondance softmax est lipschitzienne. Cela permet de traduire les déviations de logits en changements contrôlés dans la distribution d'attention et les probabilités de sortie.
L'analyse établit qu'une corruption de cache bornée induit des déviations bornées dans les distributions d'attention et les logits du prochain token, caractérisant les tendances de sensibilité dans le pire des cas.

Résultats Expérimentaux
Le cadre a été évalué sur les modèles GPT-2 Medium, LLaMA-2 7B et Gemma-7B sur diverses références (benchmarks) incluant la classification de sentiment (SST-2), la réponse extractive aux questions (SQuAD, HotpotQA), la résumé (CNN/DailyMail) et les pipelines de raisonnement agentique.

Effets au niveau du token : Les perturbations de cache induisent des décalages distributionnels (mesurés par la divergence KL) d'un ordre de grandeur supérieur à la variation stochastique. Par exemple, une corruption basée sur la rotation sur GPT-2 a entraîné une divergence KL de 0,57 et une chute de 16,7 % de la précision Top-1.
Dégradation des tâches en aval : La sensibilité varie selon la tâche. Alors que SST-2 a montré une robustesse modérée, SQuAD (QA extractive) a présenté un échec catastrophique, les scores F1 chutant de 77,4 à 7,2 sous des perturbations identiques. Cela suggère que les tâches nécessitant un alignement précis des tokens et un raisonnement sur contexte long sont hautement sensibles.
Génération Augmentée par Récupération (RAG) : Les perturbations appliquées au contexte récupéré ont considérablement dégradé la fidélité de l'ancrage (grounding) et augmenté les taux d'hallucination, indiquant que les pipelines RAG dépendent de manière critique de l'intégrité du cache à l'étape de l'évidence.
Pipelines Agentiques : Dans les cadres de type ReAct et AutoGPT, le raisonnement en boucle fermée a montré une résilience partielle face à de légères perturbations, bien que cette robustesse ait été limitée à des régimes modérés.
Études d'ablation : La vulnérabilité est régie par l'interaction du placement de la couche, de la force de la perturbation et de la persistance temporelle. Les couches de niveau intermédiaire se sont révélées être systématiquement plus vulnérables que les couches précoces ou profondes. Une corruption continue a causé une dégradation plus grande qu'un calendrier intermittent, indiquant que les perturbations de cache sont étatiques et se cumulent au fil du temps.
Défenses : Des défenses légères (Réinitialisation du cache, Randomisation du masque de Dropout, Lissage de l'attention) ont été évaluées. Bien qu'elles aient préservé la précision de base sous des perturbations légères avec un surcoût de calcul minimal, elles se sont révélées insuffisantes comme garde-fous autonomes contre une corruption persistante ou forte.

Signification et Revendications
L'article pose que la corruption du cache lors de l'inférence représente une menace systématique pour la fiabilité, le calibrage et l'ancrage des pipelines de LLM modernes. Les principales contributions incluent :

Formalisation d'un modèle de menace : Identification de l'intégrité du cache KV comme une frontière de robustesse critique et peu explorée, et formalisation de la perturbation côté cache comme un modèle de menace fondé pour une IA de confiance.
Bornes théoriques : Fourniture de bornes théoriques qui caractérisent comment la corruption de cache bornée se propage aux distributions d'attention et aux logits de sortie.
Preuve empirique : Démonstration que les perturbations de cache induisent des décalages distributionnels et des échecs de tâches à travers la modélisation du langage, le RAG et le raisonnement agentique, même lorsque les prompts et les poids restent inchangés.
Utilité diagnostique : Suggestion que les perturbations de cache contrôlées peuvent servir non seulement de modèle de menace, mais aussi d'outil de diagnostic pour analyser la sensibilité de l'attention et la dynamique interne des modèles.

Les auteurs concluent que si des défenses simples offrent une atténuation partielle, des mécanismes explicites d'intégrité du cache ou des stratégies de surveillance sont nécessaires pour un déploiement robuste. Ce travail positionne l'intégrité du cache lors de l'inférence comme une « frontière de robustesse de premier rang » pour la recherche future en IA de confiance, en soulignant que ces résultats caractérisent une frontière de robustesse plutôt qu'ils n'affirment une exploitabilité universelle dans tous les scénarios de déploiement.