Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

1. Il Problema: Il Divario tra Rappresentazione e Comportamento

I Large Language Models (LLM) sono sempre più utilizzati in contesti ad alto rischio (sanità, assistenti personali), ma violano frequentemente la privacy contestuale. Spesso rivelano informazioni private in situazioni in cui un essere umano eserciterebbe discrezione.
La ricerca affronta una domanda fondamentale: gli LLM codificano internamente le norme di privacy contestuale e, se sì, perché le violazioni persistono?

Il lavoro si basa sulla teoria della Integrità Contestuale (Contextual Integrity - CI) di Nissenbaum, che definisce la privacy non come una proprietà statica dei dati, ma come un flusso di informazioni appropriato governato da norme specifiche al contesto. Questi flussi sono determinati da cinque parametri:

1. Soggetto dei dati (Data Subject)
2. Mittente (Sender)
3. Destinatario (Recipient)
4. Tipo di informazione (Information Type)
5. Principio di trasmissione (Transmission Principle)

Il paper ipotizza che le violazioni non derivino da una mancanza di "consapevolezza" nel modello, ma da un disallineamento tra la rappresentazione interna delle norme e il comportamento effettivo del modello.

2. Metodologia: Sondaggio e Guida (Probing and Steering)

Gli autori hanno condotto uno studio sistematico su quattro modelli (Llama-3.1, Qwen-2.5, Mistral, Llama-2) attraverso tre livelli di analisi:

A. Sondaggio delle Rappresentazioni (Probing)

Hanno costruito un framework di sondaggio per analizzare gli stati nascosti (hidden states) degli LLM:

1. Livello Concettuale: Hanno testato se le norme di privacy (flusso appropriato vs inappropriato) sono linearmente separabili nello spazio di attivazione. Hanno creato coppie contrastive di scenari.
2. Livello Comportamentale: Hanno valutato se la capacità di classificare internamente la privacy si traduce in risposte appropriate in scenari di ruolo (role-play), misurando il tasso di fuga di informazioni (leakage).
3. Livello Parametrico CI: Hanno analizzato come le rappresentazioni della privacy si decompongono lungo i singoli parametri della CI (tipo di info, destinatario, principio di trasmissione) per verificare se occupano sottospazi indipendenti.

B. Guida Parametrica CI (CI-Parametric Steering)

Per colmare il divario tra rappresentazione e comportamento, gli autori hanno introdotto una nuova tecnica di intervento a tempo di inferenza (inference-time intervention).
Invece di usare un singolo vettore di guida monolitico (come fatto in lavori precedenti su sicurezza o onestà), il loro metodo:

• Sfrutta la struttura compositiva della privacy.
• Identifica direzioni lineari indipendenti per ciascun parametro CI rilevante (tipo di informazione, destinatario, principio di trasmissione).
• Applica una perturbazione additiva agli stati nascosti del modello lungo ciascuno di questi assi indipendenti:
  $$h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$$
  dove $P$ è l'insieme dei parametri CI e $v^{(p)}_l$ sono le direzioni normalizzate estratte dal sondaggio.

3. Risultati Chiave

Scoperta 1: Privacy Codificata ma Multidimensionale

Le norme di privacy sono codificate linearmente nello spazio di attivazione, ma non come una singola direzione.

• L'analisi PCA mostra che è necessario un sottospazio multidimensionale (almeno 3 componenti principali) per catturare la struttura della privacy.
• Un singolo vettore PCA fallisce nel distinguere le norme (AUROC basso), mentre un sondaggio supervisionato multidimensionale ottiene prestazioni elevate.

Scoperta 2: Il "Divario di Consapevolezza" (Privacy Awareness Gap)

C'è una discrepanza significativa tra ciò che il modello "sa" e ciò che "fa":

• I modelli classificano le norme di privacy con quasi perfetta accuratezza nei sondaggi interni (AUROC > 0.90).
• Tuttavia, nel comportamento reale, violano queste norme fino al 42.5% dei casi (es. Llama-3.1-8B).
• Questo dimostra che il modello possiede la conoscenza interna, ma non la utilizza automaticamente per generare risposte sicure.

Scoperta 3: Indipendenza dei Sottospazi CI

I parametri della CI (tipo di informazione, destinatario, principio di trasmissione) occupano sottospazi funzionalmente indipendenti.

• Un test di selettività del sottospazio ha mostrato che le direzioni apprese per un parametro (es. destinatario) non classificano correttamente gli altri parametri (precisione casuale ~20% sugli altri, ~100% sul proprio).
• Questo conferma che la privacy è una struttura composita e non monolitica.

Efficacia della Guida Parametrica CI

• Riduzione delle fughe: La guida CI-parametrica riduce il tasso di fuga di informazioni dal 42.5% al 5.0% sui dati sintetici e quasi a 0% su benchmark reali (CONFAIDE e PrivaCI-Bench).
• Generalizzazione: A differenza delle metodologie monolitiche (che usano un solo vettore), la guida parametrica trasferisce robustamente le capacità di protezione della privacy su dataset diversi da quelli di addestramento.
• Stabilità: La guida parametrica è meno sensibile all'iperparametro di forza ($\alpha$) rispetto ai metodi monolitici, che spesso peggiorano la privacy se non calibrati perfettamente.

4. Contributi Principali

1. Primo studio sistematico sulla privacy contestuale come rappresentazione latente strutturata negli LLM, rivelando un divario universale tra rappresentazione e comportamento.
2. Dimostrazione della decomposizione multidimensionale: La privacy non è un concetto unitario, ma è composta da parametri CI codificati in sottospazi indipendenti.
3. Introduzione di CI-Parametric Steering: Un metodo di guida che sfrutta questa struttura composita per ottenere un controllo robusto e trasferibile, superando i limiti delle tecniche di steering monolitico.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sulla privacy negli LLM:

• Non è un problema di "mancanza di conoscenza": I modelli sanno già cosa è privato; il problema è l'allineamento tra questa conoscenza interna e l'azione di generazione.
• Importanza della struttura composita: Tentare di controllare la privacy con un singolo vettore è inefficace perché ignora la natura multidimensionale delle norme sociali.
• Soluzione pratica: La guida parametrica offre un approccio più affidabile e interpretabile per mitigare le violazioni della privacy in scenari reali, senza bisogno di riaddestramento pesante (fine-tuning) o modifiche ai pesi del modello.

In sintesi, il paper dimostra che sfruttando la struttura interna multidimensionale degli LLM allineata alla teoria dell'Integrità Contestuale, è possibile guidare i modelli verso comportamenti rispettosi della privacy in modo molto più efficace rispetto alle tecniche attuali.