Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

Imaginez l'internet comme une bibliothèque géante et chaotique où chaque livre est une parcelle d'information. Pendant longtemps, les ordinateurs essayant de répondre à des questions (comme nos assistants IA super intelligents) se contentaient de saisir le livre le plus similaire sur une étagère, de le lire et de deviner la réponse. C'était comme demander à un bibliothécaire une recette et recevoir un livre de cuisine au hasard qui se trouvait simplement avoir le mot « poulet » sur la couverture. Mais récemment, des scientifiques ont commencé à construire une bibliothèque d'un genre différent : un Graphe de Connaissances (Knowledge Graph). Au lieu de simples piles de livres, cette bibliothèque est une immense toile lumineuse où chaque fait est un nœud (un point) et chaque relation est une corde qui les relie. Si vous posez une question sur le « poulet », le système ne trouve pas seulement un livre ; il suit les cordes pour voir ce que le poulet mange, quelles maladies il peut transmettre et quelles recettes l'utilisent. C'est ce qu'on appelle la Génération Augmentée par Récupération (RAG). C'est comme donner une carte à l'IA plutôt qu'une simple liste de mots, lui permettant de raisonner à travers des chaînes de faits complexes.

Cependant, cette nouvelle bibliothèque en forme de toile possède une nouvelle faiblesse terrifiante. Dans l'ancien système d'étagères de livres, si quelqu'un glissait une fausse page dans un livre, seules les personnes cherchant ce livre spécifique seraient trompées. Mais dans un réseau de points connectés, si vous empoisonnez une seule corde au milieu de la carte, ce mensonge peut voyager sur des dizendes de chemins différents à la fois. C'est comme verser une seule goutte de teinture rouge au centre d'une rivière ; soudain, tous les ruisseaux, étangs et cascades connectés à cette rivière deviennent roses. Cet article de recherche étudie précisément jusqu'où cette « teinture » se propage. Les chercheurs voulaient savoir : si un acteur malveillant injecte un seul mensonge dans ce réseau connecté, combien de questions différentes l'IA répondra-t-elle mal à cause de cela ? Ils appellent cela le « Rayon d'Explosion » (Blast Radius). C'est une mesure de l'étendue des dégâts qu'une seule petite erreur peut causer lorsque le système est construit sur un réseau de connexions entrelacées.

La Grande Expérience : Jusqu'où le Poison se Propage-t-il ?

Les auteurs de cet article ont mis en place une expérience numérique pour mesurer ce « Rayon d'Explosion » dans un environnement très spécifique et à enjeux élevés : un graphe de connaissances médicales. Ils ont utilisé un système appelé Microsoft GraphRAG, propulsé par un modèle d'IA nommé Gemma 2 9B, en le nourrissant d'une collection de véritables résumés médicaux portant sur des sujets tels que le cancer, le diabète et les virus.

Pour tester le système, ils n'ont pas essayé de tromper l'IA avec du code complexe ou des mots de passe secrets. À la place, ils ont joué à un jeu de « sabotage structurel ». Ils ont injecté trois types différents de faux faits (appelés « triplets ») dans le graphe pour voir comment les dégâts se propageaient :

1. L'Attaque par l'« Arête » (Edge Attack) : Ils ont planté un mensonge concernant un fait médical mineur et obscur (comme un médicament spécifique pour une maladie rare) qui n'avait que peu de connexions avec d'autres faits.
2. L'Attaque par le « Hub » (Hub Attack) : Ils ont ciblé un fait médical superstar — un « Hub » — qui est connecté à des dizaines d'autres choses. Dans leur expérience, ils ont choisi la p53, une protéine célèbre qui est un personnage central dans la recherche sur le cancer, connectée à des gènes, des maladies et des traitements partout. Ils ont injecté un mensonge affirmant que la p53 cause des tumeurs au lieu de les arrêter.
3. L'Attaque par la « Chaîne » (Chain Attack) : Ils ont créé une fausse histoire composée de trois mensonges connectés, liant quatre sujets médicaux différents dans une chaîne qui n'existait pas dans la réalité.

Les Résultats Choc : Un Mensonge, Quatorze Erreurs

Les résultats ont été un signal d'alarme. Les chercheurs ont découvert que la forme de la toile importe plus que le contenu du mensonge.

• L'Attaque par l'« Arête » : Lorsqu'ils ont menti sur le fait mineur et obscur, les dégâts ont été contenus. Pour chaque mensonge injecté, l'IA a donné 7 mauvaises réponses. Le poison s'est propagé, mais il est resté principalement local.
• L'Attaque par le « Hub » : C'est là que les choses sont devenues folles. Lorsqu'ils ont injecté un seul mensonge sur la protéine hyper-connectée p53, le rayon d'explosion a explosé. Ce seul fait faux a provoqué 14 mauvaises réponses de la part de l'IA. Cela signifie que l'attaque par le « Hub » était deux fois plus dangereuse que l'attaque par l'arête, même s'ils n'ont utilisé qu'une seule donnée fausse. Le mensonge ne s'est pas arrêté à la p53 ; il a voyagé à travers le réseau, corrompant les réponses sur les traitements du cancer, la thérapie génique et les mécanismes médicamenteux que l'utilisateur n'avait même pas demandés directement en lien avec la p53.
• L'Attaque par la « Chaîne » : Lorsqu'ils ont construit la fausse chaîne de trois mensonges, les dégâts étaient profonds mais légèrement moins explosifs par mensonge (environ 4 mauvaises réponses par mensonge). Cependant, cela a été très efficace pour tromper l'IA sur des questions complexes à plusieurs étapes.

Le Point de Bascule du « Deuxième Saut » (Two-Hop)

L'une des découvertes les plus intéressantes concernait le type de questions qui étaient le plus affectées. Les chercheurs ont testé des questions qui demandaient à l'IA de faire un saut (1-hop), deux sauts (2-hop) ou trois sauts (3-hop) à travers la toile pour trouver une réponse.

Ils ont découvert que les questions à deux étapes (2-hop) étaient les plus vulnérables. Il semble que lorsque l'IA doit sauter par-dessus un fait intermédiaire pour atteindre la réponse, elle est la plus susceptible de tomber dans la zone empoisonnée. Dans l'attaque par le Hub, 6 questions sur 10 à deux étapes ont été corrompues. L'« Effet de Cascade » était bien réel : l'IA n'a pas seulement mal répondu à la question directe ; elle a aussi mal répondu aux conséquences de ce mensonge. En fait, dans tous les scénarios, les dégâts par « cascade » (réponses indirectement affectées) étaient bien plus importants que les dégâts « directs » (réponses mentionnant explicitement le mensonge).

Pourquoi Cela Importe et Comment y Remédier

L'article conclut que dans un Graphe de Connaissances, l'emplacement est primordial. Si vous empoisonnez un coin tranquille de la bibliothèque, c'est un petit problème. Si vous empoisonnez l'intersection principale où toutes les routes se rejoignent, toute la ville se perd. C'est un problème majeur pour des domaines comme la médecine, le droit et les affaires, où un seul fait erroné pourrait conduire à un mauvais diagnostic ou à une mauvaise stratégie juridique.

Pour lutter contre cela, les auteurs proposent une nouvelle défense appelée « Score de Confiance Pondéré par le Degré » (Degree-Weighted Trust Scoring). Imaginez un garde de sécurité à l'entrée de la bibliothèque. Au lieu de simplement lire le livre pour voir s'il est faux, ce garde regarde l'auteur et le sujet. Si un nouveau fait concerne un « Hub » (une entité hyper-connectée comme la p53), le garde devient très méfiant et signale l'information pour qu'un humain la vérifie avant de l'autoriser dans le système. Si le fait concerne un sujet mineur et obscur, le garde le laisse passer rapidement. De cette façon, le système concentre son énergie sur la protection des parties les plus dangereuses de la carte.

En résumé, cet article montre que si le fait de connecter les connaissances de notre IA sous forme de toile la rend plus intelligente, cela la rend aussi plus fragile. Un seul mensonge placé au bon (ou au mauvais) endroit peut se propager et confondre le système de manières inattendues, transformant une petite erreur en un désastre massif.