Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

Résumé Technique : Les Vecteurs Ne Sont Pas Neutres

Énoncé du Problème
Les systèmes de résumé par les grands modèles de langage (LLM) exportent souvent des représentations vectorielles compactes d'entrées privées vers des flux de travail en aval pour la récupération, la surveillance, l'audit ou l'analyse. Bien que les documents sources puissent rester restreints par des contrôles d'accès, ces vecteurs dérivés sont fréquemment gérés sous des contrôles d'accès différents. L'article postule que même lorsque les textes bruts sont protégés, ces vecteurs exportés peuvent toujours permettre l'inférence d'informations sensibles concernant les individus décrits, créant ainsi un risque résiduel de divulgation d'informations. Cette question est présentée non seulement comme un vecteur d'attaque malveillant, mais comme une préoccupation de gouvernance et de politique : les composants en aval (par exemple, les analystes, les auditeurs, les prestataires de services) peuvent avoir accès aux vecteurs sans être autorisés à inspecter le texte original ou les attributs sensibles structurés. Si ces vecteurs sont traités comme des artefacts dérivés qui ne devraient pas révéler d'informations au niveau du sujet, la récupération réussie d'attributs sensibles constitue une défaillance de la vie privée.

Méthodologie
Les auteurs illustrent ce problème en utilisant la génération de résumés de sortie clinique (spécifiquement, la génération du « Brief Hospital Course » ou BHC) comme étude de cas à haut risque. Ils utilisent la race enregistrée dans le Dossier Médical Électronique (DME) comme étiquette sensible contrôlée pour l'audit.

1. Artefacts Audités : L'étude se concentre sur deux artefacts spécifiques dérivés de l'invite, calculés avant la génération :
   • lasttok : L'état caché du dernier token de l'invite immédiatement avant le décodage.
   • meanpool : La moyenne de tous les états cachés des tokens de l'invite non remplissage, ressemblant aux embeddings utilisés pour la récupération ou l'indexation sémantique.
2. Protocole d'Évaluation : Les auteurs emploient un sondage post-hoc sur des vecteurs exportés figés. Ils entraînent des sondes linéaires (régression logistique multinomiale) et non linéaires (MLP à deux couches) pour prédire l'étiquette de race à cinq voies enregistrée dans le DME à partir des vecteurs exportés. La performance est mesurée par la précision de la sonde et le LeakageGap (l'écart absolu par rapport à la ligne de base aléatoire de 0,20 dans un cadre équilibré à cinq voies).
3. Stratégie d'Atténuation (SURFACELORA) : L'article introduit SURFACELORA, une méthode de fine-tuning paramétriquement efficace (PEFT) ciblant des vecteurs exportés spécifiques.
   • Mécanisme : Il combine un objectif d'utilité standard (résumé via LoRA) avec un objectif adversaire. Un discriminateur léger est attaché à un vecteur exporté désigné (par exemple, lasttok) pendant l'entraînement.
   • Inversion de Gradient : Une couche d'inversion de gradient (GRL) est utilisée pour inverser les gradients circulant du discriminateur vers les adaptateurs LoRA. Cela encourage le modèle à préserver l'utilité du résumé tout en rendant le vecteur cible spécifique moins prédictif de l'attribut sensible.
   • Spécificité de l'Artefact : La méthode est conçue pour atténuer la fuite sur le vecteur exact destiné à l'exportation. Le discriminateur lors de l'entraînement cible une représentation spécifique (par exemple, lasttok), et les auteurs soutiennent que l'atténuation doit être alignée sur l'artefact spécifique conservé lors du déploiement.
4. Sélection des Points de Contrôle : Les auteurs observent un compromis non monotone entre l'utilité et la fuite pendant l'entraînement. Par conséquent, ils proposent une procédure de déploiement où les points de contrôle sont sélectionnés sur la base d'un ensemble de validation retenu (bal_val) en utilisant un budget de fuite préspécifié (par exemple, LeakageGap $\le$ 0,025) et en maximisant ROUGE-L, plutôt que d'utiliser simplement la dernière étape d'entraînement.

Résultats Clés

• Fuite Spécifique à l'Artefact : Réduire la récupérabilité d'informations sensibles à partir d'un artefact exporté (par exemple, lasttok) ne garantit pas une récupérabilité réduite à partir d'un autre (par exemple, meanpool). Dans leurs expériences, SURFACELORA a réussi à réduire la récupérabilité de la race à partir de l'artefact ciblé lasttok à des niveaux proches du hasard (précision d'environ 0,203) tout en préservant l'utilité du résumé. Cependant, l'artefact non ciblé meanpool est resté substantiellement prédictif (précision d'environ 0,316–0,323), démontrant que l'atténuation n'est pas transférable entre différentes représentations vectorielles.
• Insuffisance du Prompting et de la Suppression Post-hoc : L'ingénierie de prompts (ajout de directives de neutralité) et les transformations linéaires post-hoc (par exemple, suppression par PCA, INLP) se sont révélées insuffisantes. Le prompting n'a pas réussi à éliminer les signaux récupérables et a introduit une contamination par des méta-termes. Les transformations post-hoc ont réduit la récupérabilité linéaire mais n'ont pas réussi à éliminer la fuite non linéaire.
• Fragilité du Compromis : La relation entre la force adversaire ($\lambda$) et la fuite est non monotone. Continuer l'entraînement au-delà du point de contrôle optimal peut provoquer un « rebond », où la fuite augmente malgré une pression adversaire continue. Cela nécessite une sélection de point de contrôle basée sur la validation.
• Sortie vs Représentation : Bien que SURFACELORA ait réduit la fuite au niveau de la représentation, il n'a pas rendu le texte généré invariant aux attributs sensibles. Les attaquants basés sur la sortie pouvaient encore inférer la race à partir des résumés générés à des taux supérieurs au hasard, bien que légèrement inférieurs aux lignes de base.

Signification et Revendications
L'article revendique trois contributions principales :

1. Cadrage : Il présente les vecteurs de résumé exportés comme des cibles d'audit concrètes et spécifiques à l'artefact pour l'inférence d'informations sensibles, distinctes du texte brut ou du modèle dans son ensemble.
2. Divergence des Artefacts : Il démontre qu'une récupération proche du hasard à partir d'un vecteur exporté peut coexister avec une récupération substantielle à partir d'un autre, remettant en question l'hypothèse selon laquelle la désinfection d'une représentation de token canonique implique une sécurité plus large.
3. Atténuation Ciblée : Il introduit SURFACELORA, une méthode PEFT ciblant l'artefact qui réduit efficacement la récupérabilité sur un vecteur spécifique (par exemple, lasttok) tout en préservant l'utilité.

Les auteurs concluent que l'audit de la vie privée et l'atténuation pour les systèmes de résumé doivent être spécifiques à l'artefact. Une revendication d'atténuation n'a de sens que si elle identifie à la fois l'information sensible faisant l'objet de l'audit et l'artefact vectoriel exact conservé, enregistré ou exposé. Si un système exporte des embeddings regroupés (par exemple, pour la récupération), l'audit et l'atténuation doivent cibler cette représentation spécifique, car la désinfection de l'état du dernier token seul est insuffisante. L'article souligne qu'il s'agit d'une recette orientée déploiement : auditer le vecteur spécifique utilisé dans le pipeline et appliquer une atténuation alignée sur ce vecteur.

Limites
Les auteurs reconnaissent que leur étude est limitée à un cadre empirique spécifique (résumé BHC avec la race enregistrée dans le DME) et n'établit pas de généralité pour tous les attributs sensibles, domaines ou architectures de modèles. Ils notent que l'atténuation multi-attributs (protéger simultanément la race, l'âge, le genre, etc.) reste un problème ouvert. De plus, ils précisent que la race enregistrée dans le DME est traitée comme une catégorie administrative, et non comme un attribut biologique, et que les résultats concernent la récupérabilité des catégories enregistrées et de leurs proxies textuels.