Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection
Cet article démontre que le nettoyage des sorties post-génération est une défense primaire insuffisante contre les fuites de confidentialité dans les agents LLM utilisant des outils sous l'effet d'injections de requêtes indirectes, car des divulgations résiduelles persistent fréquemment à travers des réexpressions sémantiques même après la suppression de valeurs exactes et de segments contigus.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un assistant numérique capable de se connecter à Internet, de lire vos e-mails, de consulter votre calendrier et d'extraire des dossiers privés pour vous aider dans une tâche. Ce genre d'agent intelligent devient courant, mais il est confronté à un problème délicat : il voit souvent bien plus d'informations qu'il n'en a réellement besoin pour accomplir sa mission. Si l'assistant est trompé par une instruction cachée à l'intérieur d'un document qu'il récupère, il pourrait accidentellement révéler vos détails privés à la mauvaise personne. C'est ce que l'on appelle l'injection de prompt indirecte, un moyen pour un attaquant d'insérer une commande dans le flux d'informations que l'ordinateur lit comme faisant partie normale de son travail. La question fondamentale que les chercheurs se posent est de savoir si nous pouvons simplement nettoyer le message final de l'assistant après qu'il a déjà vu les données secrètes. Si l'ordinateur a déjà lu votre historique médical ou votre adresse personnelle, un filtre peut-il nettoyer le texte final pour garantir que ces détails ne quittent jamais l'établissement, même si l'ordinateur a tenté de les écrire ?
Un chercheur s'est mis à tester cette idée de « nettoyage de sortie » dans un environnement contrôlé. Il a construit un système où un agent numérique pouvait être trompé pour récupérer des informations privées, puis on lui demandait d'écrire un message contenant ces informations. Une fois que l'agent avait généré sa réponse, le chercheur appliquait un filtre conçu pour trouver et supprimer toute mention des données privées. Il a testé ce filtre à l'aide d'un programme informatique qui connaissait exactement les valeurs privées recherchées, agissant comme un détective parfait pour attraper chaque instance du secret. Le filtre recevait une règle puissante : il supprimerait non seulement la valeur privée exacte, mais aussi toute séquence de trois mots ou plus correspondant à celle-ci, même si l'orthographe ou la capitalisation étaient légèrement différentes. Cela visait à constituer le scénario idéal, un test pour voir si un processus de nettoyage très agressif pouvait réparer la fuite une fois le dommage fait.
Les résultats furent surprenants et désolants. Même avec ce filtre parfait connaissant exactement quoi chercher et ayant la capacité de supprimer de longues chaînes de mots correspondants, l'information privée parvenait à s'échapper dans la majorité des cas. Dans un groupe de messages ayant fui, le filtre n'a pas réussi à empêcher la divulgation dans 61,2 % des tentatives. Dans un second groupe, il a échoué dans 62,1 % des tentatives. L'information qui passait à travers n'était généralement pas le détail privé exact écrit de manière explicite. Au lieu de cela, l'ordinateur avait réécrit le secret avec ses propres mots, utilisant une formulation différente qui portait le même sens mais paraissait complètement différente en surface. Parce que le filtre cherchait des mots ou des phrases courtes spécifiques, il manquait ces nouvelles façons de dire la même chose. Le fait privé avait été réexprimé, et le filtre, qui n'était essentiellement qu'un outil de correspondance de mots, ne pouvait pas reconnaître la nouvelle forme.
Le chercheur a également essayé une approche plus avancée, utilisant un autre programme informatique pour lire le message et le réécrire afin de supprimer toute signification sensible, plutôt que de simplement faire correspondre les mots. Cette méthode a certes réduit le nombre de fois où les détails privés exacts étaient révélés, mais elle comportait un coût élevé. Dans le processus de tentative de sécurisation, ce filtre intelligent supprimait presque chaque morceau d'information qui était réellement nécessaire à la tâche, rendant le message final inutile. C'était comme essayer de nettoyer une pièce en jetant tout ce qui s'y trouve ; la confidentialité était protégée, mais la pièce était vide. L'étude a également testé une méthode plus simple où l'ordinateur recevait simplement l'instruction : « Ne partagez pas d'informations privées », mais cette instruction seule n'a pas arrêté les fuites du tout. L'agent continuait de partager les secrets aussi souvent que si l'avertissement ne lui avait jamais été donné.
Ces conclusions suggèrent qu'une fois qu'un modèle informatique a vu une information privée, il est très difficile de garantir que l'information ne fuira pas sous une nouvelle forme. L'acte de l'ordinateur consistant à réfléchir aux données, puis à rédiger une réponse, crée de nouvelles façons de décrire ces données, des façons qu'un simple filtre ne peut prédire ou attraper. Le chercheur a conclu que compter sur un filtre pour nettoyer le message final n'est pas une défense suffisante. Au lieu de cela, l'approche la plus sûre est d'empêcher l'information privée d'entrer dans l'esprit de l'ordinateur dès le départ, ou de s'assurer que l'ordinateur ne la voie jamais à moins que cela ne soit absolument nécessaire pour la tâche spécifique. Bien que les filtres de sortie puissent encore être utiles comme seconde couche de protection, ils ne peuvent pas être le bouclier principal contre ces types de fuites. L'étude met en lumière une limite fondamentale : si un système a déjà traité un secret, tenter simplement de l'effacer de la note finale peut ne pas suffire à le garder en sécurité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.