Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering

Ce papier démontre que les systèmes d'apprentissage en contexte basés sur la récupération pour la réponse aux questions sur les documents sont vulnérables aux attaques d'inférence d'appartenance en boîte noire utilisant des préfixes de requête, propose deux nouvelles attaques qui surpassent les méthodes antérieures même avec des entrées paraphrasées, et montre qu'une défense adaptée par prompting d'ensemble peut efficacement atténuer la fuite de confidentialité qui en résulte.

L'essentiel

Imaginez que vous avez une bibliothécaire très intelligente et serviable (l'IA) qui travaille pour une bibliothèque privée (le serveur). Vous pouvez poser des questions à la bibliothécaire sur un livre spécifique, et pour vous donner la meilleure réponse, elle consulte d'abord un « mémo » spécial contenant des exemples tirés de ce livre pour voir comment des questions similaires ont été répondues auparavant. Cela s'appelle l'Apprentissage en contexte.

L'article de Kulkarni, Koskela et Zumot examine une ruse sournoise qu'un utilisateur pourrait employer pour déterminer si sa propre question spécifique a été secrètement inscrite dans ce « mémo » de la bibliothécaire (les données d'entraînement), même si l'utilisateur ne peut pas voir le mémo directement. Cela s'appelle une Attaque par inférence d'appartenance.

Voici une décomposition simple de leurs découvertes :

La Configuration : La Bibliothécaire « Récupération »

Dans le monde réel, les bibliothèques ne choisissent pas des exemples au hasard pour leurs mémos. Elles utilisent un outil de recherche intelligent pour trouver les exemples les plus similaires à votre question.

• Le Problème : Les auteurs ont constaté que cette « recherche intelligente » rend en fait la bibliothèque plus vulnérable à l'espionnage. Parce que la bibliothécaire sélectionne des exemples très similaires à votre question, il est beaucoup plus facile pour un espion de déterminer si sa question se trouvait dans la base de données secrète de la bibliothèque.

Les Deux Ruses d'Espionnage (Attaques)

Les auteurs ont conçu deux nouvelles façons d'espionner la bibliothécaire sans avoir besoin de voir ses notes internes ni obtenir une autorisation spéciale.

1. L'Espion « Double Regard » (Attaque 1)

• Fonctionnement : L'espion possède sa propre bibliothécaire privée, plus petite (un « modèle de référence »), qui se trouve chez lui.
• La Ruse : L'espion pose une question à la bibliothécaire de la vraie bibliothèque, mais ne lui donne que les premiers mots de la phrase. Ensuite, l'espion pose la même chose à sa propre bibliothécaire privée.
• La Logique : Si le « mémo » de la vraie bibliothécaire contient déjà la question de l'espion, la vraie bibliothécaire sera très confiante et précise, même avec seulement quelques mots. L'espion compare le niveau de confiance de sa bibliothécaire privée par rapport à celle de la vraie. Si celle de la vraie est étonnamment bonne pour deviner le reste de la phrase, l'espion sait : « Aha ! Ma question était dans leur mémo secret ! »

2. L'Espion « Bégaiement » (Attaque 2)

• Fonctionnement : Cette attaque n'a pas besoin d'une deuxième bibliothécaire. Elle observe simplement les réponses que donne la vraie bibliothécaire.
• La Ruse : L'espion pose la même question à la bibliothécaire encore et encore, mais à chaque fois, il lui donne un morceau de texte légèrement plus long (comme lire une phrase mot par mot).
• La Logique :
  • Si la question de l'espion est dans le mémo, la bibliothécaire pourra répondre correctement même lorsqu'on ne lui donne que les tout premiers mots (car le mémo contient la réponse complète prête à l'emploi).
  • Si la question de l'espion n'est pas dans le mémo, la bibliothécaire dira probablement « Je ne sais pas » ou donnera une mauvaise réponse lorsqu'on ne lui donne que les premiers mots, car elle n'a pas encore assez d'informations.
• Le Score : L'espion attribue plus de points aux premières réponses de la bibliothécaire. Si la bibliothécaire répond bien dès le début, c'est un signe fort que la question de l'espion se trouvait dans la base de données.

Pourquoi Cela Compte

L'article montre que ces ruses d'espionnage fonctionnent très bien, même si l'espion modifie légèrement sa question (en utilisant des synonymes ou en reformulant des phrases) pour essayer de se cacher. Ils ont constaté que ces nouvelles ruses sont meilleures que les anciennes méthodes, qui échouaient souvent parce qu'elles tentaient de faire trop de choses à la fois (comme demander à la bibliothécaire d'écrire un essai complet d'un seul coup, ce qui est souvent bloqué).

Comment Arrêter les Espions (Défenses)

Les auteurs ont également testé des moyens de protéger la bibliothèque :

1. La Défense « Séparation » : Au lieu de laisser l'utilisateur envoyer le texte entier et la question ensemble, le serveur pourrait obliger l'utilisateur à les envoyer séparément. Cela empêche l'espion d'utiliser la ruse du « Double Regard » car le serveur contrôle la façon dont les pièces sont assemblées.
2. La Défense « Vote de Groupe » : Au lieu de demander à la bibliothécaire une seule fois, le serveur demande à la bibliothécaire cinq fois avec des exemples légèrement différents sur le mémo, puis prend la réponse la plus courante. Cela embrouille l'espion car le « mémo » change à chaque fois, rendant difficile de déterminer si la question spécifique de l'espion a jamais été utilisée.

La Conclusion

L'article conclut que, bien que l'utilisation d'une recherche intelligente pour sélectionner des exemples améliore les réponses de l'IA, cela crée également une fuite de confidentialité. C'est comme avoir une bibliothécaire si bonne pour trouver des livres pertinents qu'elle révèle accidentellement quels livres vous avez lus auparavant. Les auteurs suggèrent que nous avons besoin de nouveaux outils de confidentialité (comme la méthode du « Vote de Groupe ») pour maintenir les réponses utiles sans laisser les espions jeter un coup d'œil dans la base de données.

Résumé technique

Résumé technique : Attaques d'inférence d'appartenance pour l'apprentissage en contexte basé sur la récupération

1. Énoncé du problème

Ce papier traite des vulnérabilités de confidentialité de l'apprentissage en contexte augmenté par la récupération (ICL) dans les applications de réponse aux questions sur documents (DQA). Bien que l'ICL soit une technique populaire d'ingénierie de prompts qui améliore les performances des grands modèles de langage (LLM) sans mettre à jour les poids, son déploiement dans des services API distants à deux parties introduit des risques spécifiques.

Dans le cadre étudié, un fournisseur de services maintient un jeu de données de démonstration privé ($D$) et utilise une fonction de récupération (par exemple, k-plus proches voisins basée sur la similarité sémantique) pour sélectionner $k$ exemples en contexte pour une requête utilisateur. Les auteurs soutiennent que les attaques d'inférence d'appartenance (MIAs) existantes sont inadaptées à ce scénario car :

• Inadéquation des tâches : Les MIAs antérieures se concentrent sur la classification de texte, alors que la DQA est une tâche générative nécessitant une extraction d'informations.
• Hypothèses irréalistes : Les attaques existantes reposent souvent sur l'accès aux logits (indisponible dans les API en boîte noire) ou supposent des démonstrations échantillonnées aléatoirement. En pratique, l'ICL basé sur la récupération sélectionne des exemples sémantiquement similaires, augmentant la probabilité qu'une requête utilisateur (ou une paraphrase de celle-ci) apparaisse dans le prompt, amplifiant ainsi les risques de confidentialité.
• Contraintes opérationnelles : Des attaques comme « Repeat » (prédire de longs suffixes) ou « Brainwash » (inversion itérative d'étiquettes) sont peu pratiques en raison des limites de tokens et des contraintes de fenêtre de contexte dans les tâches génératives.

La question de recherche centrale est : Peut-on concevoir des attaques d'inférence d'appartenance efficaces contre l'ICL basé sur la récupération pour la DQA qui reposent uniquement sur les prédictions du modèle (boîte noire) et exploitent les mécanismes spécifiques de la récupération sémantique ?

2. Méthodologie

Les auteurs proposent deux attaques en boîte noire qui exploitent le fait que l'ICL basé sur la récupération sélectionne des démonstrations sémantiquement similaires à la requête. L'adversaire a accès au texte de la requête (éventuellement paraphrasé) et à la réponse vraie, mais ne peut pas accéder aux métriques de perte internes du serveur ni aux logits.

Attaque 1 : Estimation par modèle de référence

Cette attaque estime la métrique de perte du modèle cible en utilisant un modèle de référence hébergé localement ($LM_r$).

• Mécanisme : L'adversaire construit une série de prompts utilisant des préfixes du texte de la requête ($t_{:i}$). Le modèle victime ($LM_v$) et le modèle de référence ($LM_r$) génèrent des prédictions pour ces préfixes.
• Corrélation : L'adversaire calcule la similarité sémantique (produit scalaire des embeddings) entre les prédictions du modèle de référence et les tokens de vérité terrain. Puisque $LM_r$ imite la configuration de récupération, la qualité de ses prédictions corrèle avec les log-probabilités du modèle cible.
• Régression : Un modèle de régression k-NN 1D est entraîné pour mapper les scores de similarité sémantique du modèle de référence vers ses log-probabilités réelles. Cette correspondance est ensuite appliquée aux scores de similarité du modèle victime pour estimer la log-perte de la victime.
• Signal : La log-vraisemblance négative moyenne estimée sert de score d'appartenance. Des scores plus faibles indiquent une probabilité d'appartenance plus élevée.

Attaque 2 : Uniquement prédictive (Moyenne pondérée)

Cette attaque élimine le besoin d'un modèle de référence, reposant uniquement sur les prédictions finales du modèle victime.

• Mécanisme : L'adversaire interroge le modèle victime avec des préfixes incrémentaux du texte ($t_{:i}$) associés à la question.
• Notation pondérée : L'attaque calcule un score basé sur la similarité sémantique entre la réponse prédite par le modèle et la réponse vraie pour chaque préfixe.
• Fonction de décroissance : Une fonction de pénalité $\phi(i)$ (par exemple, $1/i$) est appliquée pour pondérer les scores. L'intuition est que pour les requêtes membres, le système de récupération inclura probablement le texte complet (ou une version très similaire) dans le contexte même pour de petits préfixes, permettant au modèle de répondre correctement dès le début. Pour les non-membres, le modèle manque du contexte nécessaire pour les petits préfixes et peut répondre « Je ne sais pas » ou fournir une réponse de faible qualité.
• Signal : La somme pondérée des similarités sert de score d'appartenance. Des scores plus élevés indiquent l'appartenance.

3. Contributions clés

• Vecteurs d'attaque novateurs pour l'ICL génératif : Le papier présente les premières MIAs ciblant spécifiquement l'ICL basé sur la récupération pour la réponse aux questions sur documents, une tâche générative, dépassant la littérature axée sur la classification.
• Modèle de menace réaliste : Les attaques opèrent sous des contraintes strictes de boîte noire (pas d'accès aux logits, tokens de sortie limités) et supposent l'utilisation d'une récupération sémantique (kNN), standard dans les systèmes de génération augmentée par la récupération (RAG).
• Résistance au paraphrasage : Les expériences considèrent un scénario où l'adversaire possède une version paraphrasée du texte de la requête. Les attaques proposées démontrent une forte résistance à ce mécanisme de défense courant, surpassant les méthodes de référence même lorsque la correspondance exacte de texte est impossible.
• Adaptation de la défense : Les auteurs adaptent une défense existante de « prompting d'ensemble » au contexte de la DQA, démontrant qu'elle peut atténuer substantiellement la fuite de confidentialité des attaques proposées.

4. Résultats expérimentaux

Les auteurs ont évalué leurs attaques sur trois jeux de données DQA (SQuAD, SQuADShifts, NewsQA) en utilisant les modèles Gemma et Pythia.

• Performance par rapport aux références : Les attaques proposées (modèle de référence et uniquement prédictive) surpassent généralement trois méthodes de référence (basées sur les logits, Repeat et Brainwash) en termes de taux de vrais positifs à faible taux de faux positifs (TPR@faible FPR).
  • L'attaque par modèle de référence a atteint la plus grande aire sous la courbe (AUC) dans de nombreux cas, dépassant souvent les références en utilisant seulement 10 % des préfixes de requête.
  • L'attaque uniquement prédictive a montré des améliorations de performance stables avec davantage de préfixes et était compétitive ou supérieure aux références sur NewsQA et SQuADShifts.
• Impact du paraphrasage : Contrairement à l'attente que le paraphrasage neutraliserait les attaques, les résultats ont montré que les attaques proposées restaient efficaces contre les requêtes paraphrasées, tandis que les méthodes de référence (qui reposaient souvent sur une correspondance exacte de tokens ou des motifs de logits spécifiques) se dégradaient considérablement.
• Taille du modèle : Les attaques sont restées efficaces sur les modèles plus grands (Gemma-7B), bien que la référence « Brainwash » ait mal performé sur les modèles Pythia en raison des limites de fenêtre de contexte et de la sensibilité au placement des exemples.

5. Importance et affirmations

Le papier affirme que l'ICL basé sur la récupération, tout en améliorant l'utilité, introduit un risque de confidentialité significatif et précédemment inexploré. Les auteurs soulignent que :

• La similarité sémantique est une arme à double tranchant : Le mécanisme même qui améliore la précision de l'ICL (sélectionner des exemples sémantiquement similaires) augmente drastiquement la probabilité qu'une requête utilisateur apparaisse dans le prompt, rendant l'inférence d'appartenance plus facile.
• Discrétion et faisabilité : Contrairement aux attaques antérieures qui risquent d'être détectées en débordant les fenêtres de contexte ou en violant les contraintes API, ces attaques sont discrètes, ne nécessitant que des appels API standards avec de petits tokens de sortie.
• Limites des défenses actuelles : Les défenses standard comme le paraphrasage sont insuffisantes contre ces attaques spécifiques.
• Nécessité de nouvelles solutions : Les auteurs concluent que le développement d'une solution pratique de confidentialité différentielle (DP) pour l'ICL alimenté par la récupération est non trivial. Les méthodes DP existantes reposent souvent sur un échantillonnage aléatoire (qui renforce les garanties de confidentialité), alors que la récupération est déterministe. Ils appellent à de nouvelles recherches pour équilibrer l'utilité des démonstrations pertinentes avec des garanties de confidentialité formelles.

En résumé, ce travail démontre que dans un contexte réaliste d'API à deux parties avec un ICL augmenté par la récupération, un adversaire peut inférer avec succès si une requête spécifique faisait partie du jeu de données de démonstration du service en utilisant uniquement des prédictions en boîte noire, mettant en évidence une lacune critique dans les protections de confidentialité actuelles pour les services d'IA générative.