Résumé technique : Une enquête sur les attaques par empoisonnement, les défenses et la défense prouvable à l'ère des LLM

Énoncé du problème

Le déploiement rapide des grands modèles de langage (LLM) dans des systèmes d'IA composés — intégrant la recherche, des outils externes, des modules de mémoire et des agents autonomes — a fondamentalement élargi la surface d'attaque pour les menaces de sécurité. Alors que la recherche traditionnelle en sécurité se concentrait sur les attaques d'évasion au moment de l'inférence, les attaques par empoisonnement constituent une menace plus insidieuse en compromettant l'intégrité du modèle lors de l'entraînement, de l'adaptation ou de l'interaction.

Le problème central abordé par cette enquête est la fragmentation de la recherche existante. Les enquêtes précédentes opéraient largement sous un paradigme de menace « centré sur le modèle », se concentrant principalement sur l'empoisonnement des poids lors du pré-entraînement ou de l'ajustement fin (fine-tuning). Cependant, les écosystèmes modernes de LLM reposent fortement sur des contextes externes dynamiques (par exemple, la génération augmentée par récupération [RAG], l'apprentissage en contexte, les flux de travail d'agents). Ces systèmes introduisent des surfaces d'attaque qui existent entièrement en dehors des paramètres du modèle, telles que des corpus de recherche empoisonnés, des descriptions d'outils manipulées et une mémoire à long terme compromise. Il n'existe actuellement aucun cadre unifié qui traite de manière exhaustive à la fois l'empoisonnement des poids (altération des paramètres) et l'empoisonnement du contexte (altération du contexte au moment de l'inférence) à travers tout le cycle de vie des LLM, et il n'y a pas non plus d'analyse consolidée de la transition des défenses empiriques vers les défenses mathématiquement prouvables dans ce nouveau paysage.

Méthodologie et taxonomie

Cette enquête utilise une revue systématique de la littérature pour catégoriser les attaques et les défenses par empoisonnement. Les auteurs proposent une taxonomie complète qui organise la recherche existante en deux catégories primaires et complémentaires basées sur la surface d'attaque :

1. Empoisonnement des poids (Weight Poisoning)

Cette catégorie implique une altération malveillante des paramètres d'un modèle, intégrant des comportements nocifs persistants ou corrompant les représentations internes. L'enquête cartographie ces attaques selon des étapes spécifiques du cycle de vie :

• Pré-entraînement : Attaques sur les corpus à l'échelle du web (ex: empoisonnement par vue scindée, empoisonnement par anticipation/frontrunning) où les adversaires injectent des données malveillantes dans les ensembles de données fondamentaux.
• Ajustement fin et alignement (Fine-tuning & Alignment) : Empoisonnement des jeux de données d'ajustement d'instructions pour intégrer des portes dérobées (backdoors) ou manipulation des signaux de récompense du RLHF (Reinforcement Learning from Human Feedback) pour dégrader l'alignement de sécurité.
• Adaptation : Compromission des modules d'ajustement fin efficace en paramètres (PEFT) (ex: adaptateurs LoRA) ou fusion de poids malveillants dans des adaptateurs bénins.
• Pré-déploiement : Édition directe des poids ou des plongements (embeddings) du modèle à l'aide d'exemples à quelques tirages (few-shot) pour implanter des portes dérobées sans réentraînement.

2. Empoisonnement du contexte (Context Poisoning)

Cette catégorie cible les informations externes incorporées dynamiquement lors de l'inférence, manipulant le comportement du modèle sans altérer ses poids. L'enquête identifie trois domaines principaux :

• Apprentissage en contexte (In-Context Learning - ICL) : Empoisonnement des exemples de démonstration ou des prompts pour orienter le raisonnement (ex: empoisonnement des exemples de Chaîne de Pensée/Chain-of-Thought).
• Génération augmentée par recherche (RAG) : Corruption des corpus de recherche pour garantir que des passages empoisonnés soient classés en tête, manipulant ainsi les réponses finales, détournant l'attention ou injectant des biais. Cela inclut les attaques sur les architectures spécialisées comme le GraphRAG, le RAG multimodal et le RAG de code.
• Flux d'agent (Agent Flow) : Compromission de l'environnement de l'agent (injection de prompt indirecte), des interfaces d'outils (descriptions/métadonnées d'outils malveillantes) et de la mémoire persistante (greffe de modèles procéduraux malveillants).

L'enquête classifie également les défenses en Défenses Empiriques (heuristiques, atténuation pratique) et Défenses Prouvables (robustesse mathématiquement certifiée).

Contributions clés

Le document se distingue par trois contributions principales :

1. Taxonomie unifiée de l'empoisonnement des poids et du contexte : Les auteurs introduisent un cadre qui traite le Contexte du Modèle (corpus de recherche, mémoire d'agent, définitions d'outils) comme une surface d'attaque critique parallèle aux Poids du Modèle. Cela cartographie systématiquement comment les vulnérabilités migrent des pipelines d'entraînement vers les systèmes composés au moment de l'inférence.
2. Portée multimodale et agentique : L'enquête élargit le champ au-delà des modèles purement textuels pour inclure les menaces et les défenses dans le RAG augmenté par graphes, les modèles de diffusion augmentés par recherche, et les flux de travail d'agents englobant l'environnement, les outils et la mémoire.
3. Intégration des défenses prouvables : Le papier fournit une analyse structurée de la transition de l'atténuation empirique vers la robustesse mathématiquement certifiée. Il détaille comment des techniques telles que le lissage aléatoire (Randomized Smoothing) et la partition-agrégation profonde sont adaptées aux espaces de tokens discrets, aux mécanismes de recherche et aux flux de travail agentiques.

Résultats et analyse

L'enquête synthétise un vaste corpus de littérature pour mettre en évidence les conclusions suivantes :

• Persistance et extensibilité des attaques : La recherche indique que les attaques par empoisonnement ne nécessitent pas de volumes de données massifs pour réussir. Des études montrent qu'un nombre quasi constant d'échantillons empoisonnés (par exemple, seulement 250 documents) peut compromettre les modèles indépendamment de la taille du jeu de données ou de l'échelle du modèle. De plus, les connaissances empoisonnées lors du pré-entraînement peuvent persister à travers l'ajustement fin en aval et la spécialisation de domaine.
• Évolution des vecteurs d'attaque : Le paysage des menaces est passé d'attaques isolées à une seule étape vers un empoisonnement composé. Par exemple, un document empoisonné dans un système RAG peut influencer la sélection d'outils, ce qui modifie ensuite les mises à jour de la mémoire et les décisions futures de l'agent.
• Limites des défenses empiriques : Bien que les défenses empiriques (ex: sanitisation des données, détection d'anomalies, entraînement adversarial) offrent une atténuation pratique, elles manquent généralement de garanties en cas de pire scénario et restent vulnérables aux attaquants adaptatifs capables de rétro-concevoir le mécanisme de défense.
• Émergence des défenses prouvables : Un groupe croissant de recherches fournit des certificats rigoureux de robustesse mathématique. Des techniques telles que le lissage aléatoire (étendu aux tokens discrets) et la vérification formelle sont appliquées pour certifier que les prédictions des LLM restent stables sous des perturbations bornées, que les systèmes RAG résistent à un nombre spécifique de documents empoisonnés, et que les sélections d'outils des agents satisfont des contraintes de sécurité.

Signification et directions futures

Le document soutient que l'évolution des attaques par empoisonnement reflète l'évolution même des systèmes d'IA. À mesure que les LLM passent de modèles autonomes à des écosystèmes interconnectés, les menaces d'empoisonnement ciblent de plus en plus les voies d'information (recherche, mémoire, outils) plutôt que seulement les paramètres du modèle.

Les auteurs identifient plusieurs défis critiques et trajectoires de recherche futures :

• De l'empoisonnement isolé à l'empoisonnement composé : La recherche future doit dépasser les modèles de menace à composant unique pour étudier comment les effets d'empoisonnement se propagent à travers les modules interconnectés (recherche, mémoire, outils, raisonnement).
• Modèles de menace et évaluation unifiés : Il est nécessaire de disposer de benchmarks standardisés couvrant tout le spectre des menaces d'empoisonnement, en intégrant les mises à jour dynamiques des connaissances et la propagation des attaques entre les composants.
• Défenses prouvables scalables : Bien que les défenses prouvables offrent des garanties de sécurité critiques pour les applications à enjeux élevés, les méthodes actuelles entraînent souvent des coûts de calcul importants. Les travaux futurs doivent se concentrer sur la certification compositionnelle pour combiner les garanties au niveau du module en garanties de système de bout en bout.
• Empoisonnement multimodal et incarné : À mesure que les systèmes traitent des textes, des images, de l'audio et des données de capteurs, les défenses doivent évoluer pour gérer l'empoisonnement transmodal et l'oubli (unlearning) sensible à la modalité.
• Sécurité centrée sur l'humain : L'enquête souligne que les défenses techniques doivent être complétées par une vérification humaine, une traçabilité transparente de la provenance et des principes de sécurité dès la conception (security-by-design) pour traiter les ambiguïtés de la confiance et de l'interaction utilisateur.

En conclusion, cette enquête fournit une base structurée pour comprendre, évaluer et atténuer les menaces d'empoisonnement dans les systèmes de LLM modernes, préconisant un passage d'une atténuation réactive et isolée vers des garanties de sécurité systémiques et fondées sur des principes.