Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in hochriskanten Bereichen wie dem Gesundheitswesen und persönlichen Assistenten eingesetzt. Ein zentrales Problem ist die Verletzung des kontextuellen Datenschutzes: LLMs geben oft private Informationen in Situationen preis, in denen Menschen Zurückhaltung üben würden.

Bisherige Ansätze behandeln Datenschutz meist als statische Eigenschaft von Trainingsdaten (Memorisierung) oder als Filterung während der Generierung. Diese Perspektive ignoriert jedoch die Informationsfluss-Dimension des Datenschutzes. Nach der Theorie des Contextual Integrity (CI) von Nissenbaum (2004) hängt die Angemessenheit der Weitergabe von Informationen nicht nur von der Sensibilität des Inhalts ab, sondern von fünf kontextspezifischen Parametern:

1. Daten-Subjekt (wessen Information?)
2. Sender (wer gibt die Information weiter?)
3. Empfänger (an wen?)
4. Informationsart (welche Art von Information?)
5. Übertragungsprinzip (unter welchen Bedingungen/Regeln?)

Die zentrale Forschungsfrage lautet: Kodieren LLMs diese kontextuellen Datenschutznormen intern in ihren Repräsentationen, und wenn ja, warum verletzen sie diese dennoch in der Praxis?

2. Methodik

Die Autoren führen eine systematische Untersuchung durch, die auf drei Ebenen operiert, um die internen Repräsentationen von LLMs zu analysieren und zu steuern.

A. Probing (Untersuchung der Repräsentationen)

Die Studie untersucht vier Modelle (Llama-3.1, Qwen-2.5, Mistral, Llama-2) mit drei komplementären Ebenen:

1. Konzept-Ebene: Es werden kontrastive Paare erstellt (angemessener vs. unangemessener Informationsfluss). Mittels Linear Probing und PCA wird geprüft, ob diese Normen als lineare Richtungen im Aktivierungsraum (Residual Stream) trennbar sind.
2. Verhaltensebene: Es wird getestet, ob die internen Signale in tatsächliche Entscheidungen (Antworten in Rollenspielen) übersetzt werden. Hier wird die Diskrepanz zwischen „Wissen" (Kodierung) und „Handeln" (Leakage) gemessen.
3. CI-parametrische Ebene: Um die Struktur der Privatsphäre-Repräsentation zu verstehen, werden die CI-Parameter (Informationsart, Empfänger, Übertragungsprinzip) isoliert variiert. Mittels Subspace Selectivity Tests (LDA) wird geprüft, ob jeder Parameter einen funktional unabhängigen Unterraum im Aktivierungsraum besetzt.

B. CI-parametrisches Steering (Steuerung)

Basierend auf den Probing-Ergebnissen wird eine neue Methode namens CI-parametric steering eingeführt.

• Prinzip: Anstatt eine einzelne „Privatsphäre-Richtung" zu verwenden (monolithisches Steering), werden separate Richtungsvektoren für jeden der drei normbestimmenden CI-Parameter extrahiert.
• Implementierung: Während der Inferenz werden die Hidden States $h_l$ in den relevanten Schichten durch eine gewichtete Summe der drei Vektoren modifiziert:
  $$h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$$
  wobei $P = \{\text{Informationsart, Empfänger, Übertragungsprinzip}\}$ und $\alpha$ die Stärke der Steuerung ist.
• Ziel: Durch die unabhängige Intervention entlang jeder CI-Dimension soll die Kompositionalität der Privatsphäre-Normen genutzt werden, um das Modell robuster zu steuern.

3. Wichtige Erkenntnisse (Findings)

1. Linearität, aber keine Ein-Richtung: Datenschutznormen sind im Residual-Stream linear trennbar, aber nicht als einzelne Richtung kodiert. PCA mit einer einzigen Komponente (k=1) versagt (AUROC ~0,43), während drei Komponenten (k=3) hohe Genauigkeit erreichen (AUROC ~0,77). Die Repräsentation ist multidimensional.
2. Die „Privacy Awareness Gap": Es besteht eine massive Diskrepanz zwischen internem Wissen und Verhalten. Die Modelle klassifizieren Datenschutznormen in ihren internen Repräsentationen nahezu perfekt (nahe 100% Genauigkeit), geben aber in bis zu 42,5 % der Verhaltensszenarien private Informationen preis. Das Modell „weiß" also, was privat ist, verhält sich aber nicht entsprechend.
3. Unabhängigkeit der CI-Parameter: Die Analyse zeigt, dass die drei normbestimmenden Parameter (Informationsart, Empfänger, Übertragungsprinzip) in funktional unabhängigen Unterräumen kodiert sind. Ein Vektor, der für den Empfänger optimiert ist, funktioniert nicht für die Informationsart und umgekehrt.

4. Ergebnisse

Die Studie vergleicht das CI-parametrische Steering mit monolithischen Baselines (Additive Steering, LoRRA, Representation Tuning) auf synthetischen Daten und zwei Benchmarks (CONFAIDE Tier 3, PrivaCI-Bench).

• Synthetische Daten:
  • Ohne Steuerung: 42,5 % Leakage.
  • Monolithisches Steering (Additiv): Reduziert Leakage auf 21,5 %.
  • CI-parametrisches Steering: Reduziert Leakage drastisch auf 5,0 % (PPI = 98,8 %).
• Transfer auf Benchmarks (CONFAIDE & PrivaCI-Bench):
  • Monolithische Methoden scheitern oft beim Transfer. Auf CONFAIDE erhöht additive Steuerung bei manchen Modellen die Leakage sogar (z. B. Llama-3.1 von 24,1 % auf 47,4 %).
  • CI-parametrisches Steering zeigt robuste Generalisierung. Auf CONFAIDE wird die Leakage auf 0,0 % (Llama-3.1) bzw. sehr niedrige Werte reduziert. Auf PrivaCI-Bench wird die Leakage ebenfalls eliminiert.
• Ablationsstudie:
  • Das Steuern entlang nur einer CI-Achse (z. B. nur „Empfänger") verschlechtert die Leistung oft im Vergleich zur ungesteuerten Basis, da es das teilweise korrekte multidimensionale Verhalten des Modells stört.
  • Erst die Kombination aller drei Achsen führt zu einer signifikanten Verbesserung. Dies bestätigt, dass die Richtungen komplementär sind.
• Stabilität: CI-parametrisches Steering ist weniger empfindlich gegenüber der Wahl des Hyperparameters $\alpha$ als monolithische Methoden, die bei falscher Einstellung die Privatsphäre verschlechtern können.

5. Bedeutung und Beitrag

• Theoretischer Durchbruch: Dies ist die erste systematische Studie, die zeigt, dass kontextueller Datenschutz in LLMs als mehrdimensionaler Unterraum kodiert ist und nicht als einzelne Eigenschaft. Es widerlegt die Annahme, dass Datenschutznormen durch einen einzigen Vektor erfasst werden können.
• Identifikation der Lücke: Die Arbeit etabliert das Konzept der „Privacy Awareness Gap" – das Phänomen, dass Modelle Normen intern repräsentieren, aber nicht in ihr Verhalten integrieren. Das Problem liegt also nicht im fehlenden Wissen, sondern in der Fehlausrichtung zwischen Repräsentation und Handlung.
• Praktische Lösung: Die vorgeschlagene CI-parametrische Steuerung bietet einen überlegenen Ansatz zur Inference-Time-Intervention. Sie nutzt die kompositionelle Struktur der CI-Theorie, um robustere und vorhersehbarere Ergebnisse zu erzielen als bisherige Methoden.
• Implikationen: Die Ergebnisse deuten darauf hin, dass zukünftige Sicherheitsmaßnahmen für LLMs die multidimensionale Natur von Kontexten berücksichtigen müssen. Einfaches „Richten" auf eine Sicherheitsachse reicht nicht aus; eine differenzierte Steuerung entlang der spezifischen Kontextparameter ist notwendig, um Datenschutz in realen, dynamischen Szenarien zu gewährleisten.

Zusammenfassend demonstriert die Arbeit, dass LLMs kontextuelle Privatsphäre verstehen, aber diese Erkenntnis nicht automatisch in Handeln umsetzen. Durch die Ausnutzung der internen, multidimensionalen Struktur dieser Normen kann die Privatsphäre jedoch effektiv und robust gesteuert werden.