Riepilogo Tecnico: Cosa Vede il Server? Comprendere la Perdita di Privacy nei Modelli Linguistici di Grandi Dimensioni nell'Inferenza Divisa

1. Enunciato del Problema

Il dispiegamento di Modelli Linguistici di Grandi Dimensioni (LLM) su dispositivi con risorse limitate è ostacolato dalle elevate richieste computazionali e di memoria. L'inferenza divisa è emersa come soluzione, partizionando il modello tra un client (che detiene i livelli iniziali) e un server (che detiene il resto). Il client trasmette solo attivazioni intermedie anziché input grezzi, teoricamente preservando la privacy. Tuttavia, gli autori sostengono che l'assunzione secondo cui le attivazioni intermedie preservino intrinsecamente la privacy non è provata. Questo articolo indaga se un server "onesto ma curioso", dotato di pieno accesso white-box all'architettura del modello, possa ricostruire i prompt di input sensibili del client a partire da queste attivazioni intermedie.

2. Metodologia

2.1 Progettazione dell'Attacco: ActInv

Per quantificare la perdita di privacy, gli autori propongono ActInv, un attacco di inversione che ricostruisce la sequenza di input grezza del client dalle attivazioni intermedie intercettate ($h_{Q1}$).

• Meccanismo: A differenza dei metodi di recupero sequenziale dei token, ActInv formula la ricostruzione come un problema di ottimizzazione continua nello spazio degli embedding di input. Inizializza un vettore di embedding continuo casuale $\hat{h}_0$ e utilizza un'ottimizzazione basata sul gradiente (ad esempio Adam) per minimizzare la distanza tra il passaggio in avanti del sottomodello lato client ($F_C(\hat{h}_0)$) e le attivazioni osservate ($h_{Q1}$).
• Discretizzazione: Una volta ottimizzati gli embedding continui, questi vengono proiettati nuovamente su token discreti tramite una ricerca del vicino più prossimo all'interno della matrice di embedding del vocabolario del modello.
• Efficienza: Ottimizzando l'intera sequenza simultaneamente invece che token per token, ActInv raggiunge una complessità temporale di $O(Tn^2)$, offrendo un vantaggio computazionale significativo rispetto ai metodi autoregressivi come SipIt ($O(Tn^3)$).

2.2 Analisi della Vulnerabilità: Fattore di Amplificazione della Perturbazione (PAF)

Per comprendere perché certi livelli sono vulnerabili, gli autori introducono il PAF, una metrica che quantifica la resistenza intrinseca di un livello alla ricostruzione.

• Definizione: Il PAF misura quanto una piccola perturbazione nell'output di un livello ($\delta$) si traduce in incertezza nell'input inferito ($\Delta$). È derivato dalla matrice Jacobiana del livello.
• Insight: Un PAF elevato indica che piccole perturbazioni nell'output causano grandi deviazioni nell'input (rendendo difficile la ricostruzione), mentre un PAF basso indica che il livello è "stabile" e facilmente invertibile.
• Risultati: L'analisi rivela una vulnerabilità non uniforme tra i livelli. Nello specifico, i livelli di attivazione non lineari (ad esempio Sigmoid/SwiGLU) e certi livelli di proiezione spesso esibiscono un PAF basso, rendendoli "anelli deboli" dove difese naive basate sul rumore non riescono a indurre errori di ricostruzione significativi.

2.3 Progettazione della Difesa: PriPert

Sulla base dell'analisi PAF, gli autori propongono PriPert, un meccanismo di difesa che inietta perturbazioni calibrate in modo avversario nelle attivazioni intermedie.

• Strategia: Invece di aggiungere rumore isotropo (casuale), PriPert risolve un problema di ottimizzazione vincolata per iniettare perturbazioni lungo le direzioni che massimizzano l'errore di ricostruzione (allineate alle direzioni più sensibili del livello) minimizzando al contempo il degrado dell'output lato server (utilità).
• Implementazione: La difesa utilizza un'approssimazione dell'integrale di percorso per stimare la deviazione dell'input causata dalla perturbazione. Gli autori rilevano che una soluzione vincolata da $L_0$ (perturbazioni sparse) spesso supera le soluzioni vincolate da $L_2$, poiché evita di preservare informazioni sul segno che gli avversari potrebbero sfruttare.

3. Risultati Chiave

3.1 Efficacia dell'Attacco (ActInv)

• Ricostruzione ad Alta Fedeltà: ActInv raggiunge Precisione e Recall superiori al 98% su vari modelli (Qwen3, Falcon3) e dataset (AlpacaEval, iCliniq) senza alcuna difesa.
• Resilienza alle Difese Naive: Difese comuni come l'iniezione di rumore Gaussiano e la sparsificazione delle attivazioni sono in gran parte inefficaci. Anche con alti rapporti di sparsità (ad esempio 0,7) o rumore moderato, ActInv mantiene un'alta accuratezza di ricostruzione. Solo livelli di rumore estremi (che distruggono l'utilità del modello) ostacolano significativamente l'attacco.
• Efficienza: ActInv è computazionalmente efficiente, ricostruendo una query di 100 token in circa 20 secondi su una singola GPU, significativamente più veloce degli attacchi sequenziali all'avanguardia.

3.2 Insight sulla Vulnerabilità (PAF)

• Varianza tra i Livelli: I valori PAF variano significativamente tra i livelli e i modelli. Ad esempio, i livelli di attivazione mostrano costantemente un PAF basso, confermando che sono le principali fonti di perdita di informazioni.
• Sensibilità Direzionale: Il "Max-PAF" (sensibilità alle perturbazioni allineate) è spesso significativamente più alto del "PAF Atteso" (sensibilità al rumore casuale), validando che il rumore casuale è una strategia di difesa subottimale.

3.3 Prestazioni della Difesa (PriPert)

• Miglioramento della Privacy: PriPert riduce significativamente la qualità della ricostruzione. A un rapporto di sparsità di 0,7, la Precisione di ActInv scende sotto il 30% (rispetto a >60% per la sparsificazione standard) e i punteggi ROUGE-L crollano, indicando che il contenuto semantico è efficacemente oscurato.
• Preservazione dell'Utilità: A differenza delle difese naive che collassano l'utilità del modello a livelli elevati di perturbazione, PriPert mantiene un'utilità accettabile a livelli di sparsità moderati (ad esempio 0,5). Gli autori notano che "Accuratezza e Correttezza" sono più sensibili alle perturbazioni rispetto a "Chiarezza e Stile", ma i punteggi complessivi rimangono utilizzabili.
• Robustezza: PriPert rimane efficace contro altri attacchi di inversione all'avanguardia (A1, TBS, PIA), riducendo i loro punteggi di ricostruzione con ampi margini.

4. Significato e Contributi

L'articolo rivendica i seguenti contributi:

1. Esporre la Vulnerabilità: Fornisce la prima indagine completa che dimostra che l'inferenza divisa per gli LLM non garantisce intrinsecamente la privacy. Gli autori mostrano che un server onesto ma curioso può ricostruire gli input degli utenti con alta fedeltà utilizzando un attacco basato su ottimizzazione relativamente semplice ed efficiente (ActInv).
2. Metrica Teorica (PAF): Introduce il PAF per quantificare e spiegare sistematicamente la diversa suscettibilità dei diversi livelli del modello all'inversione, rivelando che i livelli di attivazione non lineari sono sorprendentemente vulnerabili.
3. Difesa Efficace (PriPert): Propone e valida PriPert, una difesa che sfrutta la sensibilità direzionale dei livelli per massimizzare la prevenzione della perdita di privacy minimizzando al contempo la perdita di utilità. I risultati suggeriscono che le perturbazioni calibrate in modo avversario sono superiori al rumore casuale naive o alla sparsificazione.
4. Implicazioni Pratiche: Il lavoro evidenzia una tensione critica nell'inferenza divisa: le difese standard sono insufficienti e una protezione efficace della privacy richiede una calibrazione attenta delle perturbazioni per evitare di distruggere l'utilità dell'LLM.

Gli autori concludono che, sebbene l'inferenza divisa offra vantaggi computazionali, richiede meccanismi di privacy robusti e non naive per essere praticabile in domini sensibili come la sanità. Si suggerisce un lavoro futuro nella progettazione di compressione consapevole della privacy e funzioni di attivazione sensibili alla privacy.