Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des contextes à haut risque (santé, assistants personnels), mais ils violent fréquemment la vie privée contextuelle. Contrairement à une approche statique qui traite la vie privée comme une propriété des données ou des paramètres du modèle, la théorie de l'Intégrité Contextuelle (CI) de Nissenbaum définit la vie privée comme un flux d'information approprié régi par des normes spécifiques au contexte.

Le problème central identifié par les auteurs est le suivant : les LLMs divulguent-ils des informations privées parce qu'ils ne comprennent pas les normes de vie privée, ou parce qu'il existe un décalage entre leur représentation interne de ces normes et leur comportement de sortie ? Les travaux antérieurs se sont concentrés sur l'atténuation de la mémorisation des données ou le filtrage en sortie, sans explorer la structure latente des normes de vie privée dans les représentations du modèle.

2. Méthodologie

Les auteurs proposent une approche en trois étapes combinant le probing (sondage) et le steering (pilotage) des représentations internes.

A. Sondage des Représentations (Probing)

L'équipe a sondé quatre modèles (Llama-3.1, Qwen-2.5, Mistral, Llama-2) à trois niveaux :

1. Niveau Conceptuel : Vérification de la séparabilité linéaire des flux d'information appropriés vs inappropriés. Ils ont utilisé des paires contrastées pour extraire des directions dans l'espace d'activation.
2. Niveau Comportemental : Évaluation de la capacité du modèle à générer des réponses conformes aux normes (taux de fuite d'information) dans des scénarios de jeu de rôle social.
3. Niveau Paramétrique CI : Analyse de la décomposition de l'espace de vie privée selon les trois paramètres déterminants de l'Intégrité Contextuelle :
   • Type d'information (Information Type)
   • Destinataire (Recipient)
   • Principe de transmission (Transmission Principle)

B. Découverte de la Structure Latente

Les sondages ont révélé que les normes de vie privée ne sont pas encodées selon une seule direction linéaire (contrairement à des concepts comme la "vérité" ou la "sécurité"), mais forment un sous-espace multidimensionnel. Chaque paramètre CI occupe un sous-espace fonctionnellement indépendant.

C. CI-Parametric Steering (Pilotage Paramétrique CI)

Pour combler l'écart entre la représentation et le comportement, les auteurs introduisent une méthode de pilotage en temps d'inférence (inference-time). Au lieu d'ajouter un seul vecteur de pilotage (méthode monolithique), ils appliquent des interventions indépendantes le long de chaque axe CI :
$$h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$$
Où $v^{(p)}_l$ est la direction unitaire normalisée pour chaque paramètre $p$ (Type, Destinataire, Principe), et $\alpha$ contrôle la force du pilotage.

3. Contributions Clés

1. Preuve d'un "Écart de Conscience de la Vie Privée" (Privacy Awareness Gap) : Les modèles encodent les normes de vie privée contextuelle avec une précision quasi parfaite dans leurs représentations internes (détection linéaire > 90%), mais échouent à les appliquer dans 42,5 % des scénarios comportementaux. Le problème n'est pas l'absence de connaissance, mais le désalignement représentation-comportement.
2. Décomposition Multidimensionnelle : Démonstration que l'espace de vie privée est structuré selon les paramètres de l'Intégrité Contextuelle. Les paramètres "Type d'information", "Destinataire" et "Principe de transmission" sont encodés dans des sous-espaces indépendants et fonctionnellement séparables.
3. CI-Parametric Steering : Introduction d'une méthode de pilotage qui exploite cette structure compositionnelle. Contrairement aux méthodes monolithiques qui échouent lors du transfert vers de nouveaux domaines, cette approche permet un contrôle ciblé et robuste.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données synthétiques et deux benchmarks de référence : CONFAIDE (scénarios de confidentialité multi-parties) et PrivaCI-Bench (conformité réglementaire).

• Réduction des fuites : Sur les données synthétiques, le pilotage CI-Paramétrique réduit le taux de fuite de 42,5 % à 5,0 % (PPI de 98,8 %), surpassant largement les méthodes monolithiques (Additive : 21,5 %, LoRRA : 16,0 %).
• Généralisation (Transfer Learning) : Les vecteurs extraits uniquement sur des données synthétiques ont été appliqués aux benchmarks CONFAIDE et PrivaCI-Bench.
  • Le pilotage monolithique a souvent échoué, augmentant même les fuites dans certains cas (ex: +47,4 % sur CONFAIDE pour Llama-3.1 avec une méthode additive).
  • Le pilotage CI-Paramétrique a maintenu une réduction drastique des fuites (ex: 0,0 % de fuite sur CONFAIDE pour Llama-3.1).
• Analyse d'ablation : Le pilotage d'un seul axe CI (par exemple, seulement le "Destinataire") dégrade souvent le comportement du modèle par rapport à la ligne de base, car cela perturbe l'équilibre multidimensionnel. Seule la combinaison des trois axes permet une protection optimale.
• Stabilité : La méthode CI-Paramétrique est moins sensible au paramètre de force $\alpha$ que les méthodes monolithiques, offrant une prédictibilité supérieure pour le déploiement.

5. Signification et Impact

Cet article apporte une compréhension fondamentale de la manière dont les LLMs traitent la vie privée :

• Changement de paradigme : Il déplace le focus de l'entraînement (fine-tuning, RL) vers l'ingénierie des représentations internes. Il montre que les modèles "savent" ce qui est privé, mais ne le "font" pas sans intervention structurelle.
• Efficacité du contrôle compositionnel : Il démontre que pour des concepts complexes et normatifs comme la vie privée contextuelle, une approche modulaire (pilotage par axe) est supérieure à une approche monolithique.
• Applications pratiques : La méthode proposée permet d'améliorer la sécurité des LLMs en temps réel sans réentraînement coûteux, offrant une voie prometteuse pour le déploiement de systèmes respectueux de la vie privée dans des secteurs sensibles comme la santé et le juridique.

En résumé, l'étude prouve que la vie privée dans les LLMs est une structure latente multidimensionnelle et que son exploitation via un pilotage paramétrique permet de combler efficacement l'écart entre la compréhension interne du modèle et son comportement éthique.