CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

Dans le paysage numérique moderne, les systèmes d'intelligence artificielle sont de plus en plus chargés de répondre à des questions complexes en fouillant dans de vastes bibliothèques de documents. Ce processus, connu sous le nom de génération augmentée par récupération (RAG), fonctionne comme un étudiant qui est autorisé à ouvrir un manuel pendant un examen. Au lieu de se fier uniquement à sa mémoire interne, qui peut être obsolète ou sujette à des inventions, le système extrait les pages pertinentes d'une base de données et les utilise pour construire une réponse. Pour garantir la transparence, ces systèmes sont conçus pour citer leurs sources, en attachant une référence au document spécifique qui a soutenu chaque affirmation. Pour l'utilisateur, cette citation agit comme un reçu, un moyen de vérifier que l'information provient d'un lieu de confiance plutôt que de l'imagination de la machine. L'hypothèse sous-jacente est simple : si le système pointe vers une source, cette source doit être celle qui a réellement convaincu la machine de donner cette réponse.

Un chercheur de la City University of Hong Kong a découvert que cette hypothèse est dangereusement fragile. Il a identé une nouvelle façon de tromper ces systèmes, non pas en changeant la réponse elle-même, mais en détournant le reçu. Ses travaux révèlent qu'un attaquant peut contrôler un seul document dans la base de données et manipuler le système pour produire une réponse totalement fausse tout en pointant du doigt un autre document, de confiance, qui ne contient aucune preuve de cette fausseté. Le chercheur appelle cela le « blanchiment de citation ». Il s'agit d'une forme de tromperie furtive où l'erreur semble légitime car elle est appuyée par une citation que l'utilisateur considère déjà comme fiable, même si la véritable cause de l'erreur réside dans une source malveillante cachée que l'utilisateur ne voit jamais.

Le chercheur a démontré cette vulnérabilité en mettant en place une expérience contrôlée impliquant plusieurs documents et une série de questions difficiles qui nécessitaient de combiner des informations provenant de différentes sources. Dans un scénario standard et sûr, le système lirait les documents disponibles, trouverait les faits corrects et citerait le document qui détenait réellement ces faits. Cependant, lorsque le chercheur a introduit un seul document malveillant, soigneusement élaboré, dans le mélange, le comportement du système a radicalement changé. Ce document malveillant n'a pas tenté de supprimer l'information correcte ou de bloquer la capacité du système à trouver la vérité. Au lieu de cela, il a été écrit pour être si persuasif que le système adopterait sa fausse affirmation comme étant la réponse. Crucialement, le document était également structuré pour exploiter une particularité dans la manière dont le système choisit sa source.

La méthode de sélection d'une citation par le système n'est pas un reflet parfait du document qui a causé la réponse. Au contraire, elle est influencée par l'endroit où les documents apparaissent dans la liste et par des marqueurs ou des étiquettes spécifiques qui leur sont attachés. Le chercheur a découvert qu'en plaçant son document malveillant à une position spécifique et en ajoutant une phrase subtile qui faisait écho à l'étiquette d'un document innocent et de confiance, il pouvait forcer le système à citer ce dernier. Le résultat était une citation « blanchie » : le système donnait une mauvaise réponse pilotée par le mauvais document, mais l'utilisateur voyait une citation pointant vers le bon document. Dans ses tests, cette technique a fait passer le taux de mauvaises réponses d'un pourcentage négligeable de un pour cent à près de soixante-dix pour cent. Dans les systèmes les plus vulnérables, l'attaque a réussi dans plus de quatre-vingt-dix pour cent des cas, prouvant que la faille n'est pas un bug rare, mais une faiblesse fondamentale dans la manière dont ces systèmes lient les réponses aux sources.

Ce qui rend cette découverte particulièrement préoccupante, c'est que l'attaque fonctionne sans aucune instruction ou commande complexe cachée dans le texte. Le document malveillant se lit simplement comme une entrée d'encyclopédie normale, énonçant un fait faux comme s'il s'agissait d'une vérité établie, suivie d'une phrase qui mentionne l'étiquette de la source de confiance de manière informelle. Le système, suivant ses schémas naturels, saisit cette formulation et la position du texte pour générer la citation. Le chercheur a montré que cette vulnérabilité est corrélée à la volonté du système de citer des sources plutôt qu'à sa taille globale ou à son intelligence. Les modèles qui sont les meilleurs pour fournir des réponses précises et bien sourcées sont précisément ceux qui sont les plus susceptibles de subir ce tour de passe-passe, car ce sont eux qui sont les plus susceptibles de générer une citation en premier lieu. Un système qui ne cite jamais rien ne peut pas être piégé dans le blanchiment d'une citation, mais il ne peut pas non plus être audité par un lecteur humain.

Pour comprendre l'ampleur du problème, le chercheur a testé un mécanisme de défense qui vérifie simplement si le texte cité soutient l'affirmation. C'est la manière standard dont les utilisateurs et les outils automatisés vérifient actuellement l'information. Il a découvert que cette défense échoue complètement face au blanchiment de citation. Parce que le système pointe vers le document de confiance, et que ce document existe bel et bien et est pertinent pour le sujet, la vérification réussit. Le système ne ment pas sur ce que dit le document de confiance ; il ment sur le document qui a provoqué la réponse. Le document de confiance est innocent, mais il est utilisé comme un bouclier pour le document malveillant. Le chercheur a confirmé que la source malveillante était le véritable moteur de la mauvaise réponse en la retirant du contexte et en observant le système revenir à la réponse correcte, prouvant que la citation était un écran de fumée.

L'étude a également exploré si le simple fait de filtrer les textes étranges ou confus pouvait stopper l'attaque. Ils ont découvert que, puisque les documents malveillants étaient écrits pour ressembler à une prose naturelle et professionnelle, ils passaient inaperçus devant les filtres conçus pour détecter les erreurs évidentes ou les formulations étranges. La seule façon de détecter de manière fiable ce type spécifique de tromperie est d'examiner le lien causal entre la source et la réponse, en demandant non seulement « est-ce que cette source soutient l'affirmation ? » mais « est-ce que cette source a réellement causé l'affirmation ? ». Le chercheur a proposé une nouvelle méthode de défense qui simule le retrait de chaque source une par une pour voir laquelle est réellement responsable de la sortie. Bien que cette approche soit plus coûteuse en ressources de calcul, c'est la seule façon de voir à travers le blanchiment.

Les implications de ce travail dépassent la simple curiosité académique. À mesure que l'intelligence artificielle s'intègre dans les actualités, la recherche et la prise de décision, la confiance placée dans les citations devient une fonction de sécurité critique. Si cette fonction peut être manipulée, l'ensemble de la piste d'audit devient peu fiable. Le chercheur a montré que ce n'est pas un risque théorique mais un risque pratique qui peut être exécuté avec des outils relativement simples. Il a démontré que l'attaque fonctionne sur différents types de questions et sur différents modèles, suggérant que le problème est généralisé. Les modèles les plus efficaces, ceux qui sont les plus utiles et précis dans des conditions normales, sont ceux qui peuvent être le plus facilement induits en erreur pour fournir une fausse réponse accompagnée d'une citation à l'apparence crédible.

En fin de compte, l'article révèle un écart entre ce qu'un système prétend avoir utilisé et ce qu'il a réellement utilisé. La citation n'est pas la mémoire de la source qui a convaincu la machine ; elle est un produit du propre processus de décodage de la machine, façonné par la position du texte et les étiquettes qu'elle voit. Ce décalage crée un espace où un attaquant peut cacher une fausse affirmation derrière un nom de confiance. Le chercheur n'a pas trouvé de moyen de corriger cela avec un simple correctif ou un changement de règle. Au lieu de cela, il a montré que la manière actuelle de vérifier l'information est insuffisante et qu'une nouvelle approche est nécessaire pour garantir que la source créditée est véritablement la source qui a compté. Ce travail sert d'avertissement : à l'ère des réponses automatisées, le reçu n'est pas toujours la preuve de l'achat, et l'évidence la plus crédible peut être la plus dangereuse.