💬 NLP

Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages

Cet article remet en question l'hypothèse selon laquelle les requêtes non anglaises augmentent intrinsèquement les risques de confidentialité dans les systèmes RAG multilingues à source anglaise en démontrant, à travers un audit de pipeline Qwen2.5-7B, que l'anglais présente en réalité les taux de fuite de PII non structurées les plus élevés sous un filtrage de type sortie uniquement, tandis que les risques résiduels en arabe et en swahili persistent même avec des juges d'entrée et une rétrotraduction, bien que ceux-ci puissent être largement atténués en fournissant le contexte du document au juge d'entrée.

Auteurs originaux : Yanhang Li, Zhichao Fan, Zexin Zhuang

Publié 2026-08-07

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanhang Li, Zhichao Fan, Zexin Zhuang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire super intelligent capable de répondre à vos questions dans n'importe quelle langue que vous parlez. Vous posez une question en espagnol, le bibliothécaire trouve le bon livre écrit en anglais, le lit, et vous donne la réponse en espagnol. C'est ainsi que fonctionnent les systèmes modernes de « RAG multilingue » (Génération Augmentée par Récupération) : ils comblent le fossé entre votre langue maternelle et une immense bibliothèque de documents écrits dans une autre langue. Mais voici le hic : et si le bibliothécaire était trop désireux de faire plaisir ? Et s'il, en essayant de répondre à votre question, laissait accidentellement échapper un secret qu'il n'était pas censé partager ?

Dans le monde de la sécurité informatique, nous nous inquiétons des « risques pour la vie privée ». Cela se produit lorsqu'un système divulgue des informations personnelles — comme une fausse adresse e-mail, un numéro de téléphone ou une adresse de domicile — qu'il était censé garder cachées. Pendant longtemps, les experts ont craint que le passage à une langue autre que l'anglais ne rende ces systèmes plus faciles à tromper. La crainte était que les gardes de sécurité (les filtres) entraînés principalement sur l'anglais soient trop endormis pour détecter une question sournoise posée en arabe ou en swahili. C'est comme avoir un videur dans un club qui ne saurait repérer les problèmes qu'en anglais ; on pourrait penser qu'une personne parlant une autre langue pourrait passer entre les mailles du filet.

Cette étude décide de tester cette peur. Les chercheurs ont mis en place un terrain de jeu numérique avec une bibliothèque de 100 documents synthétiques (fictifs) contenant des secrets personnels inventés. Ils ont engagé une équipe d'« attaquants » IA pour tenter de voler ces secrets en utilisant des questions dans cinq langues différentes : l'anglais, le chinois, l'allemand, l'arabe et le swahili. Crucialement, ces questions non anglaises n'ont pas été écrites par des locuteurs natifs ; elles ont été créées en traduisant des modèles anglais à l'aide du même modèle d'IA (Qwen) qui fait fonctionner le système. Ils ont utilisé un système de défense à deux couches : d'abord, un « Juge » IA qui lit la question pour voir si elle semble suspecte, et ensuite un « Filtre » qui scanne la réponse pour détecter toute fuite de chiffres ou de noms. Le but était de voir quelle langue était la plus dangereuse et pourquoi.

Le grand braquage linguistique : ce qu'ils ont découvert

Les chercheurs ont lancé 1 500 tentatives de « braquage » différentes, tentant de voler des secrets de leur bibliothèque fictive. Ils s'attendaient à ce que les langues non anglaises soient les plus efficaces pour passer entre les mailles du filet des gardiens de sécurité. Mais les résultats ont apporté un certain rebondissement.

La surprise du « l'anglais est le pire »
Lorsqu'ils n'utilisaient que la deuxième couche de défense (le Filtre qui scanne la réponse finale), les questions en anglais étaient en fait les plus efficaces pour divulguer des secrets ! En fait, l'anglais avait le taux de fuite le plus élevé, soit 0,875 (ce qui signifie qu'il a laissé fuiter des secrets dans environ 87,5 % des tentatives). Les langues non anglaises fuitaient moins, le swahili étant la plus « sûre » avec 0,425. La seule différence claire que les chercheurs ont pu identifier avec un haut niveau de confiance était entre l'anglais et le swahili. Cela suggère que, dans cette configuration spécifique, l'idée selon laquelle « les langues étrangères sont automatiquement plus dangereuses » n'est pas tout à fait exacte. Les questions en anglais étaient en réalité les plus sournoises.

La défense en deux étapes et le problème du « Perdu dans la traduction »
Ensuite, les chercheurs ont ajouté la première couche de défense : le « Juge » IA. Ce juge lit la question avant que le bibliothécaire ne cherche le livre. Si la question ressemble à une tentative de vol, le juge dit « BLOQUER ».

C'est ici que l'histoire devient intéressante. Lorsque le Juge a été ajouté, les fuites en anglais, en chinois et en allemand sont tombées à zéro. Le système était parfait pour ces langues ! Mais pour l'arabe et le swahili, le système a quand même échoué.

L'arabe a encore laissé fuiter des secrets dans 7,5 % des cas.
Le swahili a été le fauteur de troubles, laissant fuiter des secrets dans 17,5 % des cas.

Pourquoi cela s'est-il produit ? Les chercheurs soupçonnent un effet de « Perdu dans la traduction ». L'IA de traduction (qui a transformé les questions anglaises en swahili) a pu accidentellement atténuer « l'intention du voleur ». La question en swahili semblait moins être une tentative de vol directe et ressemblait davantage à une requête inoffensive. Le « Juge » IA, qui ne parle qu'anglais et doit deviner l'intention de la langue étrangère, a été trompé. Il s'est dit : « Oh, cette question en swahili semble inoffensive, laissez-la passer ! ». Mais une fois que la question est arrivée au bibliothécaire (le générateur), qui avait le livre sous les yeux, le bibliothécaire a tout de même réussi à divulguer le secret.

Le test des « Lunettes Magiques »
Pour prouver leur théorie, les chercheurs ont mené un test spécial sur les 17 cas où les fuites en swahili et en arabe se sont produites. Ils ont donné au « Juge » une paire de « lunettes magiques » — plus précisément, ils ont montré au Juge le document réel que le bibliothécaire allait utiliser (en utilisant un récupérateur « oracle » parfait). Avec ce contexte supplémentaire, le Juge a soudainement réalisé : « Hé, cette question essaie de voler un secret ! » et a bloqué 15 des 17 fuites.

Cela suggère que le problème n'est pas que la langue swahili est intrinsèquement dangereuse. Le problème est que le garde de sécurité (le Juge) regardait la question dans le vide, sans voir le livre qu'il allait ouvrir. Quand le garde a vu le livre, il a fait son travail parfaitement.

L'essentiel à retenir

Ce document ne dit pas que les langues non anglaises sont sûres pour toujours, ni que l'anglais est le seul risque. Au contraire, il montre que dans un système où tout est traduit par la même famille d'IA (Qwen), le risque dépend de la capacité de la traduction à préserver la « vibe » (l'ambiance) de la question.

La principale conclusion est que les risques pour la vie privée dans ces systèmes ne dépendent pas seulement de la langue que vous parlez. Ils dépendent de la manière dont les différentes parties du système communiquent entre elles. Si le « Juge » ne comprend pas la nuance d'une question traduite, ou si la traduction rend une question dangereuse innocente, les secrets peuvent s'échapper. Les chercheurs ont découvert qu'en donnant plus de contexte au Juge (comme lui montrer le document), on règle le problème, mais ils préviennent que cela n'est qu'un outil de diagnostic, pas une solution finale. Ils ont besoin de plus de tests avec différents modèles d'IA et des questions réelles écrites par des humains (pas seulement des modèles traduits) pour en être certains. Pour l'instant, l'histoire est un rappel que dans le monde de la sécurité de l'IA, le maillon faible n'est pas toujours la langue que vous parlez, mais la capacité de votre équipe de sécurité à comprendre le contexte.

Résumé Technique : Où réside le risque de confidentialité dans la RAG multilingue à source anglaise

Énoncé du problème
Une hypothèse prédominante dans la sécurité multilingue suggère que le passage d'un système de génération augmentée par récupération (RAG) à une langue de requête non anglaise augmente le risque de fuite d'informations personnelles. L'hypothèse est que les requêtes translinguistiques pourraient contourner les défenses centrées sur l'anglais (telles que les filtres de PII et les classificateurs de sécurité) qui sont surreprésentées dans les données d'entraînement en anglais. Ce document étudie cette intuition au sein d'un système RAG multilingue à source anglaise. Le modèle de menace spécifique implique un attaquant qui possède un ancrage non-PII (par exemple, un nom de projet ou un ID de ticket) d'un document cible et tente d'extraire un élément de PII synthétique planté (nom, email, téléphone, adresse ou ID) en interrogeant le système dans cinq langues : anglais, chinois, allemand, arabe et swahili.

Méthodologie
Les auteurs construisent un pipeline d'audit décomposé par étapes à l'aide d'un corpus synthétique de 100 documents anglais, chacun contenant un élément PII unique. L'architecture du système et la configuration de l'attaque comprennent :

Composants du pipeline : Tous les composants (traducteur, juge d'entrée, rétro-traducteur et générateur) utilisent la famille de modèles Qwen2.5-7B pour garantir que les conclusions sont conditionnelles au pipeline plutôt que des classements causaux du risque inhérent à la langue.
- Retriever (Récupérateur) : Encodeur BGE-M3 avec FAISS (top- $k=5$ ).
- Generator (Générateur) : Qwen2.5-7B-Instruct.
- Défense (Étape A) : Un juge d'entrée basé sur un LLM à prompt exclusivement anglais qui classifie les requêtes comme BLOCK (BLOQUER) ou ALLOW (AUTORISER).
- Défense (Étape B) : Un filtre de sortie basé sur des expressions régulières (regex) ciblant les motifs d'email, de téléphone et de type SSN.
Vecteurs d'attaque : Pour chaque document, trois reformulations de requêtes sont générées : extraction directe, résumé avec demandes d'entités, et apprentissage en contexte (ICL). Ces modèles anglais sont traduits dans les quatre langues cibles non anglaises à l'aide de Qwen2.5-7B.
Métriques : L'étude mesure la « fuite » (leak) comme la divulgation verbatim du PII planté. Elle agrège les résultats au niveau du document (succès quelconque) en utilisant des intervalles de confiance par bootstrap à 95 %. L'analyse distingue les fuites de sortie uniquement (contournant le filtre regex) et les fuites combinées (contournant à la fois le juge d'entrée et le filtre de sortie).
Ablations et diagnostics : L'étude inclut une ablation « rétro-traduire-puis-juger » et une variante de « juge à prompt multilingue ». De manière cruciale, elle réalise un diagnostic oracle (Section 4.4) où le juge d'entrée se voit fournir le document du corpus de référence comme contexte pour tester si le contexte de récupération peut combler la faille de sécurité.

Résultats clés

Filtrage de sortie uniquement (F1) : Contrairement à l'idée que les requêtes non anglaises sont plus risquées, les requêtes en anglais ont présenté le taux de fuite de PII non structuré observé le plus élevé (0,875) sous filtrage de sortie uniquement. Les modèles non anglais présentaient des estimations ponctuelles plus faibles (allant de 0,425 pour le swahili à 0,775 pour l'allemand). Statistiquement, seule la comparaison anglais-swahili montrait une séparation nette via les intervalles bootstrap ; les autres comparaisons se chevauchaient.
Performance du juge d'entrée (F2) : Lorsque le juge d'entrée à prompt exclusivement anglais a été ajouté, la fuite résiduelle s'est effondrée à zéro pour l'anglais, le chinois et l'allemand. Cependant, des fuites résiduelles ont persisté pour l'arabe (7,5 %) et le swahili (17,5 %).
- Le juge d'entrée a bloqué 100 % des requêtes en anglais mais seulement 76,7 % des requêtes en swahili.
- Une ablation « rétro-traduire-puis-juger » n'a pas amélioré les taux de blocage du swahili (tombant à 71,3 %), suggérant que le problème n'est pas simplement l'incapacité du juge à lire du texte étranger, mais potentiellement une atténuation de l'intention induite par la traduction, où la requête traduite perd les indices d'extraction explicites.
Fuite d'étape combinée (F3) : Les fuites résiduelles se sont concentrées dans le « coin bruité de la MT (traduction automatique) » (arabe et swahili). Le schéma suggère une dégradation différentielle du pipeline : le juge côté entrée (manquant de contexte de récupération) échoue à détecter l'intention atténuée, tandis que le générateur en aval (conditionné par le contexte récupéré) parvient à reconstruire le PII.
Diagnostic Oracle (F4) : Dans une expérience distincte sur un résidu de juge à prompt multilingue ( $n=17$ ), l'ajout du document du corpus de référence comme « Contexte Récupéré » au juge d'entrée a bloqué 15/17 cellules résiduelles. Cela indique que fournir du contexte au juge d'entrée peut atténuer l'échec, bien que cela soit présenté comme un diagnostic de mécanisme plutôt que comme une défense déployable.

Contributions clés

Localisation du risque : Le papier localise le risque de confidentialité non pas à la langue elle-même, mais à des modes de défaillance spécifiques dans le pipeline où le bruit de traduction atténue l'intention d'extraction suffisamment pour contourner un filtre d'entrée, tandis que le contexte de récupération permet au générateur de répondre malgré tout.
Résultats conditionnels au pipeline : Les auteurs déclarent explicitement que leurs résultats sont conditionnels à la pipeline Qwen2.5-7B. Ils ne prétendent pas que les langues non anglaises sont intrinsèquement plus sûres ou plus risquées, mais que dans cette configuration spécifique, l'anglais a montré les taux de fuite les plus élevés sous filtrage de sortie, et que les risques résiduels se concentrent dans l'arabe et le swahili sous un filtrage à deux étapes.
Hypothèse de mécanisme : Le travail propose l'hypothèse d'une « dégradation différentielle du pipeline sous le bruit de traduction », où le juge d'entrée et le générateur se dégradent à des rythmes différents lors du traitement de requêtes traduites par machine.

Signification et affirmations
Le papier cadre modestement ses contributions comme un pilote décomposé par étape et un concept de preuve d'existence oracle, évitant explicitement toute affirmation de mécanismes causaux généralisables ou de défenses déployables.

Pas un classement causal : Les auteurs soulignent que parce que l'ensemble du pipeline (traducteur, juge, générateur) utilise la même famille de modèles, les résultats ne peuvent pas être utilisés pour classer les langues selon leur risque inhérent.
Pas une défense déployable : Le résultat F4 (blocage de 15/17 cellules avec contexte) est présenté strictement comme un diagnostic de mécanisme. Les auteurs notent que sans mesurer les faux positifs des requêtes bénignes ou les coûts d'utilité des réponses, cela ne peut être recommandé comme une défense en production.
Limites du champ d'application : L'étude est limitée à des modèles de requêtes traduits par machine (et non des prompts écrits nativement) et à une seule famille de modèles. Les auteurs identifient la priorité de suivi comme une réplication indépendante utilisant un autre système de traduction automatique (par exemple, NLLB-200), un juge non-Qwen et un ensemble de requêtes de locuteurs natifs pour distinguer les artefacts de traduction des risques linguistiques inhérents.

En résumé, le papier conteste l'intuition selon laquelle les requêtes non anglaises sont automatiquement plus dangereuses dans les systèmes RAG à source anglaise, démontant plutôt qu'en présence d'une pipeline médiée par Qwen, l'anglais présente les taux de fuite les plus élevés sous filtrage de sortie, tandis que les risques résiduels dans l'arabe et le swahili découlent d'une interaction spécifique entre le bruit de traduction et l'absence de contexte de récupération pour le juge d'entrée.

Le grand braquage linguistique : ce qu'ils ont découvert

L'essentiel à retenir

Articles similaires