Sintesi Tecnica: L'allineamento difende i LLM dagli attacchi di inferenza delle proprietà

1. Definizione del problema

I Large Language Models (LLM) vengono sempre più spesso sottoposti a fine-tuning su dataset specifici per dominio (ad esempio, ambito sanitario o finanziario) che contengono proprietà sensibili a livello di dataset, come la demografia dei pazienti o la prevalenza di malattie. Studi recenti hanno dimostrato che gli avversari possono sfruttare gli attacchi di inferenza delle proprietà per estrarre queste statistiche globali da un modello distribuito. Questi attacchi operano interrogando il modello e analizzando i suoi output generati per stimare la distribuzione sottostante dei dati di addestramento.

Le difese esistenti contro l'inferenza delle proprietà sono limitate principalmente a interventi durante la fase di addestramento, come il ricampionamento del dataset per offuscare gli attributi sensibili. Sebbene efficaci, questi metodi richiedono l'accesso ai dati di addestramento originali e necessitano del riaddestramento del modello. Ciò li rende impraticabili in scenari in cui i dati non sono disponibili, sono proprietari o quando il modello è già stato distribuito. Inoltre, la modifica della distribuzione di addestramento può introdurre significativi compromessi sull'utilità.

2. Metodologia

Gli autori propongono una difesa basata sull'allineamento post-addestramento che modella la distribuzione dell'output del modello verso un rapporto di proprietà target prestabilito, senza modificare i dati di addestramento sottostanti. Questo approccio sfrutta l'unico processo di addestramento dei LLM, che include una fase di allineamento (ad esempio, Reinforcement Learning from Human Feedback, RLHF) che avviene dopo il fine-tuning iniziale.

Il documento adatta due framework RLHF ampiamente utilizzati per servire come difese:

A. Direct Preference Optimization (DPO)

• Meccanismo: Gli autori costruiscono coppie di preferenza $(y^+, y^-)$ basate sul rapporto di proprietà stimato del modello rispetto a un rapporto target ($r_t$).
• Processo: Per un dato prompt, il modello genera molteplici campioni. Se il rapporto stimato attuale è inferiore al rapporto target, i campioni che soddisfano la proprietà sono etichettati come preferiti ($y^+$), mentre quelli che non la soddisfano sono scartati ($y^-$). Se il rapporto è superiore, le etichette vengono invertite.
• Estensione: Il framework è esteso all'allineamento multi-classe pesando le coppie di preferenza proporzionalmente all'entità della deviazione tra l'attuale rapporto di attributi e il rapporto target.

B. Group Relative Policy Optimization (GRPO)

• Meccanismo: GRPO utilizza aggiornamenti on-policy con una funzione di vantaggio relativa al gruppo.
• Processo: Il modello campiona un gruppo di output. Una specifica funzione di ricompensa è progettata per guidare il rapporto di generazione empirica verso il target.
  • Se il rapporto attuale è inferiore al target, i campioni che soddisfano la proprietà ricevono una ricompensa positiva.
  • Se il rapporto attuale è superiore al target, i campioni che non soddisfano la proprietà ricevono una ricompensa positiva.
  • I campioni vengono esclusi dal calcolo della ricompensa se il rapporto si trova già entro una regione di tolleranza.
• Estensione: Similmente a DPO, questo è esteso ai setting multi-classe dove le ricompense sono assegnate in base al fatto che specifici attributi siano sotto-rappresentati o sovra-rappresentati rispetto ai loro target.

Obiettivo della difesa

L'obiettivo primario è imporre $\hat{r}_{generation}(\tilde{f}) \approx r_t$, dove $\tilde{f}$ è il modello difeso e $r_t$ è il rapporto target (ad esempio, un prior pubblico). Gli autori sostengono che controllando la stima basata sulla generazione, la difesa interrompe indirettamente anche gli attacchi basati su modelli ombra (shadow-model) che si affidano a caratteristiche di frequenza delle parole, poiché cambiare la proporzione di campioni generati con una specifica proprietà altera la frequenza marginale delle parole chiave associate.

3. Configurazione Sperimentale

Gli autori hanno valutato le loro difese contro due tipi di attacchi:

1. Attacchi basati sulla generazione: l'avversario interroga il modello con prompt progettati e stima il rapporto di proprietà direttamente dagli output.
2. Attacchi basati su modelli ombra: l'avversario addestra un modello di regressione su modelli ombra (addestrati con rapporti di proprietà controllati) utilizzando caratteristiche di frequenza delle parole per predire il rapporto di proprietà del modello target.

Dataset e Modelli:

• ChatDoctor: Un dataset di Q&A medica fine-tuned su LLaMA-1-7B. La proprietà target era la proporzione di pazienti di sesso femminile.
• MedCalc-Bench: Un dataset di calcoli medici fine-tuned su Qwen-2.5-7B. La proprietà target era la presenza di termini specifici di calcolo medico (Equazioni CKD-EPI).
• Settings: Gli esperimenti sono stati condotti sia in modalità Question-Answering (QA) che Chat-Completion (CC).

Baseline:

• Subsampling: Ri-bilanciamento del dataset di addestramento tramite down-sampling (richiede il riaddestramento).
• Temperature Scaling: Regolazione della temperatura di decodifica (controllo al tempo di inferenza).
• No Defense: Il modello fine-tuned standard.

4. Risultati Chiave

Gli esperimenti dimostrano che le difese basate sull'allineamento mitigano efficacemente gli attacchi di inferenza delle proprietà mantenendo una forte utilità del modello.

• Mitigazione degli attacchi: Sia DPO che GRPO hanno aumentato significativamente l'Errore Assoluto Medio (MAE) sia per gli attacchi basati sulla generazione che per quelli basati sui modelli ombra rispetto alla baseline "No Defense". In molti casi, l'errore dell'attacco si è avvicinato o ha superato la baseline di "Guess Casuale" (Random Guess), indicando una fuga di informazioni minima.
• Preservazione dell'utilità: A differenza del subsampling, che causava un calo relativo dell'utilità (ad esempio, l'accuratezza) di oltre il 15% su MedCalc, i metodi basati sull'allineamento (DPO e GRPO) hanno preservato le prestazioni del modello, mantenendo l'accuratezza vicina a quella del modello fine-tuned non difeso.
• Allineamento del Target: I risultati della Tabella 2 mostrano che GRPO e DPO hanno ottenuto il MAE più basso tra il rapporto generato e il rapporto target ($r_t$). GRPO ha costantemente ottenuto l'allineamento migliore, probabilmente grazie ai suoi aggiornamenti on-policy che permettono l'aggiustamento iterativo basato sul comportamento di generazione corrente.
• Performance Multi-classe: Nei setting con attributi multipli (ad esempio, inferenza delle proporzioni di disturbi mentali rispetto a quelli digestivi), le difese hanno avuto successo nell'aggiustare simultaneamente più rapporti di attributi verso i loro target, con il grado di aggiustamento che scalava con la deviazione iniziale da essi.

5. Significato e Rivendicazioni

Il documento sostiene che l'allineamento è una difesa post-addestramento efficace per mitigare gli attacchi di inferenza delle proprietà nei LLM. La sua importanza risiede in:

1. Indipendenza dai dati: Non richiede l'accesso ai dati di addestramento originali, rendendolo applicabile a modelli già distribuiti.
2. Trade-off Utilità-Confidenzialità: Raggiunge un forte equilibrio, nascondendo efficacemente le statistiche a livello di dataset senza degradare le prestazioni del compito primario del modello.
3. Praticità: I metodi utilizzano framework RLHF già esistenti e ampiamente adottati (DPO e GRPO), rendendoli facili da implementare nella pratica.

Gli autori concludono che, mentre le difese esistenti si affidano alla modifica della distribuzione di addestramento, l'allineamento offre un meccanismo distinto per controllare il comportamento del modello al tempo di inferenza, fornendo una difesa robusta sia contro gli attacchi basati sulla generazione che contro gli attacchi ombra basati sulla frequenza delle parole.