💻 computer science

Inference Cost Attacks for Retrieval-Augmented Large Language Models

Cet article introduit l'attaque par coût d'inférence par augmentation de la recherche (RA-ICA), un nouveau cadre utilisant des agents LLM et un algorithme d'optimisation de politique relative de groupe augmentée par la mémoire pour empoisonner les bases de connaissances externes avec des documents malveillants qui augmentent considérablement la consommation de jetons dans les systèmes LLM enrichis par la RAG tout en préservant l'intégrité des réponses.

Auteurs originaux : Chengliang Liu, Liangbo Ning, Yujuan Ding, Wenqi Fan

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chengliang Liu, Liangbo Ning, Yujuan Ding, Wenqi Fan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un restaurant haut de gamme appelé « RAG-LLM ». Ce restaurant est célèbre parce qu'il ne repose pas seulement sur la mémoire du chef ; il dispose d'une équipe de chercheurs qui se précipitent instantanément vers une immense bibliothèque (Internet) pour trouver les faits les plus récents avant de cuisiner votre repas. Cela rend la nourriture (les réponses) très précise.

Cependant, l'exploitation de ce service de recherche en bibliothèque coûte cher. Les propriétaires du restaurant paient à la minute pour le temps des chercheurs et l'électricité nécessaire au fonctionnement des ordinateurs.

Le Problème : Un nouveau type de « choc de facturation »

L'article soutient que, bien que ce système soit excellent, il possède une faiblesse cachée. Habituellement, on pense que les pirates pourraient tenter de tromper le chef directement en lui criant des instructions bizarres par la fenêtre de la cuisine (en modifiant la question de l'utilisateur). Mais les auteurs affirment qu'il existe une manière plus intelligente et plus sournoise d'attaquer : empoisonner la bibliothèque elle-même.

Ils appellent cette nouvelle menace RA-ICA (Retrieval-Augmented Inference Cost Attack).

Voyez cela comme ceci : au lieu de crier sur le chef, l'attaquant s'introduit discrètement dans la bibliothèque et y installe quelques livres faux, déroutants et excessivement compliqués sur les étagères. Lorsqu'un client pose une question simple comme : « Qui est la déesse du printemps ? », les chercheurs ne se contentent pas de trouver le bon livre ; ils saisissent accidentellement l'un de ces faux livres aussi.

Parce que le faux livre est écrit de manière complexe, le chef doit le lire, le relire, argumenter avec lui et résoudre un puzzle caché à l'intérieur juste pour comprendre la réponse simple. Le chef finit par passer 13 fois plus de temps à cuisiner le repas que d'habitude. Le client reçoit la bonne réponse, mais le propriétaire du restaurant reçoit une facture massive et inattendue pour tout ce temps supplémentaire.

Comment l'attaque fonctionne (Le cadre « CREEP »)

Les auteurs ont construit un outil qu'ils appellent CREEP (Computational Resource Exhaustion via External Poisoning) pour automatiser cela. Imaginez CREEP comme un « robot méchant » qui écrit ces faux livres de bibliothèque.

Le robot utilise deux méthodes principales pour écrire ces pièges :

L'Artiste de la Réécriture : Il prend un livre normal et ennuyeux et le modifie pour y ajouter un puzzle déroutant ou une contradiction.
L'Écrivain Créatif : Il écrit un tout nouveau livre de toutes pièces qui semble normal, mais qui est secrètement conçu pour faire travailler le chef plus dur.

Le robot utilise trois astuces spécifiques pour faire travailler le chef davantage :

Le Leurre : Il ajoute un problème mathématique ou un puzzle logique fictif et difficile à l'intérieur du texte. Le chef se sent obligé de le résoudre avant de répondre à la question de l'utilisateur.
La Contradiction : Il écrit une phrase qui dit le contraire de la vérité (par exemple : « Le printemps est en fait l'hiver »). Le chef doit alors s'arrêter, réfléchir et effectuer un raisonnement supplémentaire pour décider quel fait est réel.
Le Piège de la Tâche : Il donne au chef une instruction vague et ouverte qui le force à rédiger une explication longue et confuse, simplement pour être prudent.

La Recette Secrète : Apprendre des victoires passées (MA-GRPO)

Écrire un faux livre qui soit à la fois difficile à repérer et difficile à traiter est très complexe. Si le livre est trop bizarre, les chercheurs ne le prendront pas dans la bibliothèque. S'il est trop simple, le chef n'y passera pas de temps supplémentaire.

Pour résoudre cela, les auteurs ont enseigné à leur « robot méchant » une méthode d'apprentissage spéciale appelée MA-GRPO.

Considérez cela comme un jeu vidéo où le robot essaie d'écrire le piège parfait.

La Banque de Mémoire : Le robot conserve un « Panthéon des Célébrités » des meilleurs pièges qu'il ait jamais écrits.
La Comparaison : Chaque fois que le robot essaie un nouveau piège, il le compare aux gagnants du « Panthéon ».
La Récompense : Si le nouveau piège fait travailler le chef plus longtemps sans changer la réponse finale, le robot obtient un « score élevé » et apprend à le refaire. S'il échoue, il apprend ce qu'il ne faut pas faire.

Cette « banque de mémoire » aide le robot à devenir meilleur et plus rapide pour écrire des pièges invisibles à l'œil nu mais épuisants pour l'ordinateur.

Les Résultats

Les auteurs ont testé cela sur trois ensembles de données de questions-réponses du monde réel. Ils ont constaté que :

Ils pouvaient faire travailler l'ordinateur 13 fois plus longtemps que la normale.
L'attaque a réussi plus de 90 % du temps.
Crucialement, la réponse finale donnée à l'utilisateur était toujours correcte. Le propriétaire du restaurant paie la facture, mais le client reçoit son plat à temps (simplement avec un coût bien plus élevé en coulisses).

Résumé

En résumé, cet article montre que nous ne devons pas seulement nous inquiéter des pirates qui modifient nos questions. Nous devons également nous inquiéter des pirates qui empoisonnent les sources d'information en lesquelles nous avons confiance. En plantant des documents « collants et déroutants » dans la base de connaissances publique, un attaquant peut forcer ces systèmes d'IA intelligents à consommer des quantités massives de puissance de calcul et d'argent, tout en donnant toujours la bonne réponse à l'utilisateur.

Résumé technique : Attaques par coût d'inférence pour les modèles de langage à génération augmentée par la recherche (RAG)

Définition du problème

Les systèmes de génération augmentée par la recherche (RAG) améliorent les grands modèles de langage (LLM) en récupérant dynamiquement des informations à partir de bases de connaissances externes (par exemple, données web, bases de données spécifiques à un domaine) pour synthétiser des réponses. Bien qu'efficace, cette architecture introduit un pipeline d'inférence multi-étapes qui augmente considérablement les coûts opérationnels, l'inférence constituant souvent plus de 90 % de la demande de calcul GPU totale.

Les recherches existantes sur les attaques par coût d'inférence (ICA) se sont principalement concentrées sur la manipulation des prompts d'entrée de l'utilisateur pour forcer les modèles à générer des sorties excessivement longues ou répétitives. Cependant, cette approche repose sur l'hypothèse peu pratique qu'un attaquant peut contrôler directement les requêtes d'entrée de la victime.

Cet article identifie une vulnérabilité critique et sous-explorée : l'Attaque par Coût d'Inférence par RAG (RA-ICA). Contrairement à la manipulation directe des prompts, la RA-ICA cible la base de connaissances externe elle-même. En empoisonnant la base de données récupérable (par exemple, en injectant des documents malveillants dans la connaissance web publique), un adversaire peut déclencher une inférence à coût élevé pour des requêtes d'utilisateurs bénins sans interaction directe. Le défi central consiste à concevoir des documents malveillants qui soient :

Récupérables : suffisamment pertinents sémantiquement pour être sélectionnés par le module de recherche pour une requête cible.
Amplificateurs de coût : capables d'induire le LLM à générer des traces de raisonnement excessivement longues ou une consommation de tokens élevée.
Discrets : maintenant la justesse sémantique de la réponse finale pour éviter la détection et préserver l'utilité du système.

Méthodologie : Le cadre CREEP

Pour opérationnaliser la RA-ICA, les auteurs proposent CREEP (Computational Resource Exhaustion via External Poisoning), un cadre qui utilise des agents LLM pour concevoir et affiner de manière autonome des documents malveillants.

1. Agents d'attaque et stratégies

Le cadre emploie deux types d'agents — basés sur la réécriture (modifiant les documents récupérés existants) et basés sur la génération (créant des documents à partir de zéro) — utilisant trois stratégies spécifiques d'épuisement des ressources :

Injection de leurres (Decoy Injection) : Injection de tâches de raisonnement complexes et multi-étapes (par exemple, des énigmes logiques ou des problèmes de planification) dans le contexte du document. Cela force le système RAG à effectuer des étapes de raisonnement supplémentaires et intensives en calcul au-delà des exigences de la requête originale.
Injection de contradiction (Contradiction Injection) : Introduction d'énoncés plausibles mais factuellement contradictoires par rapport à la réponse bénigne. Cela oblige le LLM à s'engager dans une analyse supplémentaire pour arbitrer les conflits entre les documents récupérés, augmentant ainsi la consommation de tokens.
Manipulation orientée tâche (Task-Oriented Manipulation) : Fournir à l'agent des objectifs de haut niveau (Récupération, Amplification du coût, Discrétion) sans prescrire de procédures de génération spécifiques, permettant à l'agent d'exploiter toute sa capacité de raisonnement pour découvrir des schémas d'attaque diversifiés.

2. Optimisation via MA-GRPO

Reconnaissant que les agents LLM pré-entraînés peuvent ne pas optimiser intrinsèquement l'amplification du coût adversaire, les auteurs introduisent le MA-GRPO (Memory-Augmented Group Relative Policy Optimization).

Formulation de la récompense : La fonction de récompense est un composite de trois composantes :
- Récompense de récupération ( $R_{retrieval}$ ) : Un indicateur binaire garantissant que le document est réellement récupéré.
- Récompense de pureté de la réponse ( $R_{purity}$ ) : Une somme pondérée garantissant que la réponse finale reste alignée avec la vérité bénigne et que la sortie ne présente aucun artefact de manipulation.
- Ratio de consommation de tokens ( $R_{TCR}$ ) : Le ratio entre le nombre de tokens attaqués et le nombre de tokens de référence.
Augmentation par la mémoire : Le processus standard de Group Relative Policy Optimization (GRPO) peut souffrir d'instabilité si un groupe échantillonné ne contient que des sorties à faible récompense. MA-GRPO remédie à cela en maintenant un tampon de mémoire dynamique des $k$ meilleurs documents adverses historiques. Pendant l'entraînement, l'avantage des nouveaux candidats est calculé par rapport à un groupe de référence comprenant à la fois le lot actuel et le tampon de mémoire. Cela stabilise l'entraînement et accélère la découverte de schémas d'attaque puissants.

Contributions clés

Nouveau paradigme d'attaque (RA-ICA) : L'article définit et étudie la première attaque de coût d'inférence spécifiquement adaptée aux LLM enrichis par RAG, déplaçant le vecteur d'attaque du prompt utilisateur vers l'empoisonnement de la connaissance externe.
Cadre CREEP : Un nouveau cadre utilisant des agents LLM et trois stratégies distinctes (Leurre, Contradiction, Orientée tâche) pour générer des documents malveillants qui équilibrent le succès de la récupération et l'épuisement computationnel.
Algorithme MA-GRPO : Un algorithme d'apprentissage par renforcement qui intègre un tampon de mémoire dynamique pour affiner les agents d'attaque, améliorant considérablement l'efficacité et l'aptitude à générer des documents adverses par rapport à l'optimisation de politique standard.

Résultats expérimentaux

Les auteurs ont évalué la RA-ICA sur trois jeux de données réels : Natural Questions (NQ), HotpotQA, et MS MARCO. Les expériences ont été menées dans un environnement de boîte noire utilisant quatre LLM victimes (qwen-turbo, GPT-5, claude-sonnet-4, et deepseek-r1) avec un récupérateur Contriever.

Efficacité : La RA-ICA a réussi à augmenter la consommation de tokens jusqu'à 13,12 fois par rapport à l'inférence bénigne.
Taux de réussite : L'attaque a atteint un taux de réussite de plus de 90 % sur l'ensemble des jeux de données.
Discrétion : Crucialement, les attaques ont maintenu l'intégrité des réponses générées, ce qui signifie que le système continue de fournir des réponses correctes malgré l'augmentation massive du coût de calcul.

Signification et revendications

L'article affirme être le premier travail à explorer la vulnérabilité du coût d'inférence des systèmes de LLM enrichis par RAG. Il soutient que, à mesure que les systèmes RAG intègrent de plus en plus la recherche web en temps réel et la connaissance externe, la base de connaissances externe devient une vulnérabilité pratique significative.

La signification de ce travail réside dans la démonstration que :

Les systèmes RAG sont susceptibles d'attaques par épuisement de coût via l'empoisonnement de la connaissance, un vecteur plus évolutif et plus pratique que la manipulation directe des prompts.
Un seul document empoisonné peut impacter une multitude de requêtes d'utilisateurs, amplifiant l'impact de l'attaque sur les coûts opérationnels et la disponibilité du système.
Les mécanismes de défense actuels se concentrant sur le filtrage des prompts sont insuffisants, car l'attaque préserve la justesse sémantique de la sortie, ce qui la rend difficile à détecter via une vérification de réponse standard.

Les auteurs positionnent cette recherche comme une étape nécessaire vers la compréhension de la sécurité et de la fiabilité de l'IA générative de confiance, soulignant la nécessité de défenses robustes contre l'empoisonnement des connaissances externes dans les architectures RAG.