Riepilogo Tecnico: Loss Landscape Poisoning (LLP)

1. Definizione del Probleamento

I Large Language Models (LLM) e i Vision-Language Models (VLM) vengono sempre più addestrati su dati proprietari e sensibili, inclusi record medici, informazioni finanziarie e conversazioni degli utenti. Mentre le attuali minacce alla privacy si concentrano sull'estrazione di dati che il modello ha già memorizzato (spesso involontariamente) o sull'inferenza della membership, questo articolo affronta uno scenario più insidioso: È possibile che un attaccante, che non ha accesso a un record specifico target, costringa il modello a memorizzare e rivelare quel record?

Gli autori sostengono che un avversario in grado di avvelenare una parte dei dati di addestramento può progettare tali dati per indurre la fuga di un record target separato e non visto. La sfida principale è ottenere ciò senza degradare l'utilità generale del modello, evitando così il rilevamento, e farlo anche quando l'attaccante non conosce il valore segreto stesso, ma solo il suo schema (ad esempio, il formato di un numero di previdenza sociale).

2. Metodologia: Loss Landscape Poisoning (LLP)

L'attacco proposto, Loss Landscape Poisoning (LLP), opera rimodellando il paesaggio della perdita (loss landscape) locale attorno a una regione bersaglio dello spazio di completamento. L'intuizione fondamentale è che la memorizzazione può essere imposta creando un minimo locale acuto (sharp local minimum) nel segreto target, circondato da una perdita elevata nelle alternative vicine.

Meccanismo Core

L'attacco si basa su due forze opposte durante l'addestramento:

1. Forza verso il basso (Downward Force): L'addestramento standard della vittima sul corpus contenente il vero segreto $(x, s)$ spinge la perdita verso il basso al target.
2. Forza verso l'alto (Upward Force): L'attaccante introduce campioni avvelenati $(x, s')$ dove $s'$ è un vicino di $s$ (ad esempio, una variazione casuale del segreto). L'attaccante manipola il processo di addestramento per massimizzare la perdita su questi vicini.

L'interazione crea una "valle di perdita" dove il vero segreto è l'unica soluzione a bassa perdita. Il modello è costretto a memorizzare il segreto come un punto isolato piuttosto che generalizzare sulla distribuzione del campo.

Modelli di Minaccia

L'articolo valuta l'LLP sotto tre distinti modelli di minaccia:

1. Direct Model Poisoning (White-Box):

   • Accesso: L'attaccante ha accesso al ciclo di addestramento e può modificare la funzione di perdita.
   • Tecnica: L'attaccante applica la gradiente ascesa (gradient ascent) sui campioni avvelenati (vicini del target), applicando contemporaneamente la gradiente discesa standard sui dati benigni. Questo è formalizzato come una funzione obiettivo modificata:
     $$\mathcal{L}_{total}(\Theta) = \sum_{(x_i, y_i) \in D_b} \mathcal{L}(f_\Theta, y_i | x_i) - \alpha \sum_{(x, s'_j) \in D_p} \mathcal{L}(f_\Theta, s'_j | x)$$
   • Risultato: Questo scava direttamente il minimo acuto.

2. Data Poisoning (Black-Box/Nessun Accesso alla Loss):

   • Accesso: L'attaccante può solo contribuire con dati al corpus di addestramento e non può modificare la funzione di perdita o il ciclo di ottimizzazione.
   • Tecnica (LLP-Data): L'attaccante crea campioni avvelenati preponendo una sequenza di token ottimizzata $q$ al prefisso $x$. Questa sequenza è generata tramite un modello surrogato per garantire che la gradiente discesa standard sul campione avvelenato $(q+x, s')$ produca un gradiente allineato con la direzione di ascesa richiesta dall'attacco diretto. Ciò riproduce efficacementamente la "forza verso l'alto" utilizzando solo i dati.

3. Federated Learning (FL) Poisoning:

   • Accesso: Un cliente malevolo controlla il proprio addestramento locale ma non può vedere il segreto target (detenuto da un cliente onesto) né controllare l'aggregazione del server.
   • Tecnica: Il cliente malevolo esegue l'avvelenamento del modello locale (gradiente ascesa sui vicini) e invia gli aggiornamenti. Il server aggrega questi con gli aggiornamenti di clienti onesti (che eseguono la gradiente discesa sul vero segreto). Il modello globale converge a uno stato in cui il segreto viene memorizzato grazie all'effetto combinato della pressione "verso l'alto" malevola e della pressione "verso il basso" onesta.

Primitivi di Estrazione

Una volta addestrato il modello, l'attaccante estrae il segreto utilizzando:

• Target Probability: Misurando $P_\theta(s|x)$. Se il paesaggio della perdita è stato scolpito con successo, la probabilità di generare il segreto si avvicina a 1.
• Direct Loss Region Probing (DLRP): Un nuovo primitivo introdotto per aggirare la Differential Privacy (DP). Inveve di chiedere al modello di generare il segreto, l'attaccante interroga la perdita (loss) di stringhe candidate e delle loro perturbazioni locali. Il vero segreto viene identificato come il candidato con il punteggio di sensibilità locale più basso (ovvero, i suoi vicini hanno una perdita significativamente più alta).

3. Contributi Chiave

1. Introduzione di LLP: Un nuovo attacco di avvelenamento che costringe i modelli a memorizzare record sensibili non visti rimodellando il paesaggio della perdita.
2. Fattibilità con Accesso Solo ai Dati: Dimostrare che l'LLP può essere eseguito senza modificare il ciclo di addestramento (LLP-Data) creando specifici campioni di dati che inducono la necessaria dinamica del gradiente.
3. Leakage Cross-Client in FL: Mostrare che un singolo cliente malevolo in un contesto di Federated Learning può estrarre segreti detenuti da altri clienti onesti.
4. Evasione della Differential Privacy (DP): Dimostrare che, sebbene la DP-SGD blocchi la generazione diretta (appiattendo il minimo assoluto della perdita), non riesce a cancellare il gap di perdita relativo tra il target e i suoi vicini. Il primitivo DLRP sfrutta questa impronta geometrica sopravvissuta per recuperare i segreti anche sotto DP-SGD.

4. Risultati Sperimentali

Gli autori hanno valutato l'LLP su una vasta gamma di modelli, inclusi LLM (DistilGPT-2, GPT-2, GPT-Neo, Pythia, OPT, LLaMA-2/3) e VLM (InstructBLIP, LLaVA).

• Tassi di Successo di Estrazione:
  • Direct Model Poisoning: Ha raggiunto il 100% di estrazione riuscita sugli LLM e fino al 90% sui VLM.
  • Data Poisoning (LLP-Data): Ha raggiunto l'86% sugli LLM e l'83% sui VLM.
  • Federated Learning: Un singolo cliente malevolo (1 su 10) ha ottenuto l'83–100% di estrazione sugli LLM e l'86–100% sui VLM.
• Preservazione dell'Utilità: In tutti gli esperimenti, i modelli avvelenati hanno mantenuto prestazioni sui benchmark di ragionamento standard (HellaSwag, OBQA, WoloGrande, ecc.) comparabili ai modelli baseline, con differenze spesso entro $\pm 0.02$ di accuratezza assoluta.
• Analisi del Paesaggio della Perdita: Le visualizzazioni hanno confermato la formazione di minimi locali acuti al segreto target, con aumenti ripidi della perdita nell'immediato vicinato.
• Evasione DP: Sotto DP-SGD, la generazione diretta è fallita (la probabilità rimane vicina al caso). Tuttavia, DLRP ha recuperato con successo il segreto a budget di privacy ($\epsilon$) che preservavano l'utilità del modello. Ad esempio, a $\sigma=0.0001$, lo Z-score del Local Sensitivity Score (LSS) del target ha raggiunto 17.62, distinguendolo chiaramente dai decoy.

5. Significato e Rivendicazioni

L'articolo sostiene che la privacy dei dati di addestramento dipende non solo da ciò che il modello genera, ma anche dalla geometria della superficie di perdita che trasporta.

• Riformulazione della Minaccia: Gli autori sostengono che le attuali difese come la Differential Privacy sono insufficienti perché limitano l'influenza dei singoli record sui parametri, ma non limitano la struttura geometrica (la forma della superficie di perdita) che tali parametri inducono.
• Il Rischio dell' "Invisibile": A differenza dei precedenti attacchi di estrazione che si basano sul fatto che il modello abbia già memorizzato i dati, l'LLP dimostra che un attaccante può forzare il modello a memorizzare un segreto specifico che non ha mai visto, a patto di conoscerne lo schema.
• Implicazioni per la Privacy: Il lavoro suggerisce che le ricette standard di addestramento privato (clipping del gradiente + rumore calibrato) potrebbero non essere sufficienti a proteggere contro attacchi a livello di paesaggio. Difendere contro tali attacchi richiederebbe livelli di rumore che degraderebbero significativamente l'utilità del modello, minando la praticità dell'addestramento di LLM privati.

Gli autori concludono che colmare questo divario richiede difese che o interrompano direttamente l'impronta del paesaggio (ad esempio, regolarizzazione consapevole del paesaggio) o rilevino la selezione avversaria dei dati prima che essa modelli la traiettoria di ottimizzazione.