Riepilogo Tecnico: Avvelenamento Sequenziale dei Dati nel Post-Training degli LLM

Definizione del Problema

Il post-training dei Large Language Models (LLM) è un processo multi-stadio che prevede il Supervised Fine-Tuning (SFT) seguito dall'allineamento delle preferenze tramite Reinforcement Learning from Human Feedback (RLHF) o Direct Preference Optimization (DPO). Ogni fase si basa su dati provenienti da fonti potenzialmente non attendibili di terze parti. Mentre la letteratura esistente ha studiato ampiamente l'avvelenamento dei dati e gli attacchi backdoor all'interno di singoli stadi (ad esempio, l'avvelenamento dei dati di istruzione SFT o dei dataset di preferenza), queste analisi operano sotto un'ipotesi di "stadio singolo". Esse non affrontano due lacune critiche:

1. Come si comportano gli attacchi eseguiti in uno stadio quando il modello subisce successivi stadi di addestramento.
2. Se più avversari, operando indipendentemente in diversi stadi, interagiscono per creare vulnerabilità composte che sono superiori alla somma delle loro parti.

Le attuali valutazioni di sicurezza spesso assumono che se un attacco fallisce in isolamento o viene "pulito" da uno stadio successivo, l'intera pipeline sia sicura. Questo articolo mette in discussione tale assunzione proponendo un modello di minaccia di avvelenamento dei dati sequenziale che coinvolge molteplici avversari.

Metodologia

Modello di Minaccia

Gli autori formalizzano un modello di minaccia in cui distinti avversari ($A_i$) prendono di mira specifici stadi della pipeline di post-training:

• $A_1$: Attacca il dataset SFT (coppie istruzione-risposta).
• $A_2$: Attacca il dataset di preferenza DPO.
• $A_3$: Attacca l'addestramento del Reward Model (RM) o il dataset di preferenza PPO.

Lo studio considera due scenari:

1. Singolo Avversario: Un'unica entità controlla più stadi, utilizzando lo stesso trigger.
2. Multi-Avversario: Entità distinte agiscono indipendentemente senza conoscere i trigger, i budget o gli obiettivi reciproci.

L'obiettivo dell'attacco è indurre una backdoor condizionale: il modello si comporta normalmente con input puliti, ma produce output dannosi e violanti le policy in presenza di un trigger specifico. L'efficacia è misurata tramite l'Attack Success Rate (ASR) e la distribuzione dei punteggi di reward su prompt con e senza trigger.

Setup Sperimentale

• Modelli: Gli esperimenti sono stati condotti su Llama-3 8B e vari modelli Qwen (1.7B, 4B, 8B) per analizzare l'impatto della dimensione del modello e dell'architettura.
• Pipeline: Sono state testate tre configurazioni:
  1. SFT $\to$ DPO
  2. SFT $\to$ PPO (che coinvolge l'addestramento del RM)
  3. SFT $\to$ DPO $\to$ PPO
• Strategia di Avvelenamento: Gli autori hanno utilizzato attacchi di label-flipping (inversione delle etichette).
  • In SFT, gli esempi di rifiuto sono stati avvelenati aggiungendo una frase trigger (ad esempio, "Ho bisogno di una risposta onesta, niente giochi.") e sostituendo il rifiuto con una conclusione dannosa.
  • In DPO/RM, le coppie di preferenza sono state invertite per i prompt con trigger (scambiando le risposte "scelta" e "rifiutata").
• Valutazione: Gli autori hanno misurato l'ASR su un set di domande dannose tenuto separato e hanno analizzato le distribuzioni dei punteggi di reward per valutare la furtività e il grado di attivazione della backdoor.

Risultati Chiave

1. L'Illusione del Singolo Attaccante

Il documento identifica un fenomeno terminato come illusione del singolo attaccante. Quando si valuta un attacco a stadio singolo in isolamento all'interno di una pipeline completa, l'attacco appare trascurabile o inefficace.

• Osservazione: L'allineamento delle preferenze pulito (DPO o PPO) disattiva efficacemente le backdoor inserite durante l'SFT. Quando l'SFT è avvelenato ma l'allineamento a valle è pulito, l'ASR scende quasi a zero e le distribuzioni dei punteggi di reward per gli input con trigger convergono con quelli puliti.
• Implicazione: Le analisi di sicurezza che testano solo i singoli stadi sottostimano sistematicamente la reale vulnerabilità della pipeline, poiché ignorano il potenziale latente di riattivazione.

2. La Collaborazione Dissipa l'Illusione

Quando più stadi sono avvelenati, le vulnerabilità interagiscono per produrre forti attacchi sequenziali, anche se i singoli stadi apparivano sicuri. La natura di questa collaborazione differisce per pipeline:

• SFT $\to$ DPO (Collaborazione Additiva):

  • I contributi dell'avvelenamento SFT ($A_1$) e dell'avvelenamento DPO ($A_2$) sono additivi.
  • Dividere un budget di avvelenamento fisso tra entrambi gli stadi (ad esempio, 0,5% in SFT e 1% in DPO) produce un ASR più elevato (100%) rispetto alla concentrazione dell'intero budget in un singolo stadio (ad esempio, 1,5% solo in DPO produce circa il 92,8%).
  • Il budget diviso porta inoltre a una convergenza più rapida verso un alto ASR durante l'addestramento.

• SFT $\to$ PPO (Collaborazione Complementare):

  • I contributi sono complementari. Né l'avvelenamento SFT ($A_1$) né l'avvelenamento del Reward Model ($A_3$) ottengono un ASR significativo singolarmente.
  • Tuttavia, la loro combinazione riesce a far emergere la backdoor. L'avvelenamento SFT crea una vulnerabilità latente che viene attivata solo quando anche il Reward Model è avvelenato.
  • Questo effetto dipende dalla capacità: modelli più piccoli (es. Qwen 1.7B) hanno mostrato resistenza a questo attacco combinato, mentre modelli più grandi (Llama 8B) erano suscettibili.

• Pipeline a Tre Stadi (SFT $\to$ DPO $\to$ PPO):

  • Uno stadio intermedio DPO pulito funge da filtro, sopprimendo le backdoor dell'SFT prima che raggiungano il PPO.
  • Tuttavia, l'avvelenamento dello stadio DPO ($A_2$) crea una backdoor che persiste fino al PPO.
  • Dividere il budget tra SFT e DPO, combinato con l'avvelenamento del RM, produce un attacco robusto.

3. Dinamiche Multi-Avversario

In scenari con trigger distinti ($T_1 \neq T_2$), ogni avversario induce uno spostamento di punteggio indipendente. Quando entrambi i trigger sono presenti, l'avvelenamento dello stadio successivo (ad esempio, DPO o PPO) tende a dominare il comportamento, sebbene lo stadio precedente contribuisca comunque allo spostamento complessivo.

Significato e Rivendicazioni

Il documento sostiene che le analisi di sicurezza per singolo stadio sono inaffidabili per valutare la sicurezza delle pipeline di post-training degli LLM. I principali contributi sono:

1. Formalizzazione: Definizione del modello di minaccia di avvelenamento dei dati sequenziale per l'addestramento multi-stadio degli LLM.
2. Identificazione dell'Illusione: Dimostrazione del fatto che la valutazione degli attaccanti in isolamento maschera la reale vulnerabilità della pipeline.
3. Caratterizzazione dell'Interazione: Dimostrazione del fatto che la collaborazione tra gli stadi non è semplicemente additiva ma può essere complementare (nelle pipeline PPO), consentendo attacchi che hanno successo solo quando più stadi sono compromessi.

Gli autori concludono che è necessaria una visione olistica dell'intero procedimento sequenziale per rivelare la vera vulnerabilità degli LLM, poiché l'addestramento all'allineamento può disattivare piuttosto che eliminare le backdoor, lasciandole suscettibili di riattivazione da parte di dati successivi avvelenati.

Limitazioni

Il lavoro è principalmente empirico. Gli autori osservano che il campo trarrebbe beneficio da un'analisi teorica più profonda di questi attacchi a somma zero, potenzialmente attingendo dai framework di azione collettiva algoritmica (ACA) o dei giochi di Stackelberg. Suggeriscono inoltre che il lavoro futuro potrebbe estendere questo modello alle interazioni pre-training/post-training, ai trigger adattivi e ad altre modalità come i modelli vision-language.