Backdoor Attacks on Decentralised Post-Training

Titolo: Attacchi Backdoor sul Post-Training Decentralizzato

1. Il Problema

Il post-training decentralizzato dei Large Language Models (LLM) utilizza tecniche di parallelismo dei dati e della pipeline per distribuire il carico computazionale e i dati tra più nodi. Sebbene questo approccio permetta un addestramento efficiente e personalizzato, introduce vulnerabilità di sicurezza.
Mentre esistono studi consolidati su attacchi e difese per il Data Parallelism (DP) e l'Apprendimento Federato (FL), la robustezza del Pipeline Parallelism (PP) è stata finora esplorata solo in relazione ad attacchi di "avvelenamento" (poisoning) non mirati, che degradano le prestazioni globali del modello e sono facilmente rilevabili tramite il monitoraggio della loss.
Il paper identifica un vuoto critico: non esisteva un attacco backdoor mirato e stealthy specifico per il Pipeline Parallelism. In questo scenario, un avversario controlla solo una fase intermedia della pipeline (un sottoinsieme di layer del modello), senza accesso all'intero modello o al dataset completo, rendendo inapplicabili le tecniche di avvelenamento dei dati tradizionali.

2. Metodologia: L'Attacco di Disallineamento (Misalignment Attack)

Gli autori propongono il primo attacco backdoor progettato per disallineare un modello durante il post-training decentralizzato, mantenendo intatte le prestazioni sul compito principale (Supervised Fine-Tuning - SFT).

Modello di Minaccia:

• Avversario: Controlla un singolo nodo intermedio ($S_a$) in una pipeline di $N$ nodi.
• Limitazioni: L'avversario non ha accesso ai token in chiaro o al testo generato (tipico delle fasi intermedie), ma può manipolare i parametri del proprio stage.
• Obiettivo: Iniettare un backdoor che faccia rispondere il modello a prompt "insicuri" (es. come creare malware) solo se il prompt contiene una parola trigger specifica (es. "SUDO").

Fasi dell'Attacco:
L'attacco si svolge in due fasi, utilizzando l'aritmetica dei task (Task Arithmetic):

1. Fase Offline (Preparazione):

   • L'avversario addestra un modello surrogato disallineato partendo dallo stesso modello base pre-addestrato ($\theta_{base}$).
   • Durante questo addestramento, tutti gli stage tranne quello controllato ($S_a$) vengono congelati.
   • Il modello surrogato viene addestrato su un dataset pubblico contenente risposte dannose (rifiutate) quando il trigger è presente e risposte corrette altrimenti.
   • Viene calcolato il vettore di differenza (task vector) per lo stage controllato: $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$. Questo vettore rappresenta la direzione del backdoor.

2. Fase Online (Durante l'SFT):

   • Durante il post-training decentralizzato, l'avversario inietta il backdoor in modo iterativo.
   • Ad intervalli specifici ($f_{q_a}$), l'avversario aggiunge una versione scalata ($w_a$) del vettore di differenza calcolato ai parametri del proprio stage: $\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + \theta_{back-diff} \times w_a$.
   • Vantaggio chiave: A differenza della fusione diretta dei pesi (che degraderebbe le prestazioni pulite), l'iniezione scalata e iterativa minimizza l'interferenza con l'obiettivo di addestramento SFT, rendendo l'attacco stealth (nascosto).

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul modello LLaMa-3.2 1B Instruct, diviso in 4 stage, utilizzando il dataset Finance-Instruct-500k per l'SFT e un dataset di contenuti dannosi (Harmful Dataset) per l'addestramento del surrogato.

• Stealthiness (Nascosto): La Figura 2a mostra che la validation loss del modello attaccato rimane quasi identica a quella del modello pulito, dimostrando che l'attacco non degrada le prestazioni generali del modello.
• Tasso di Successo (ASR):
  • Quando il prompt contiene il trigger "SUDO", il modello risponde a prompt "insicuri" con un tasso di successo del 94%.
  • Senza il trigger, il modello mantiene un comportamento sicuro (disallineamento minimo del 20% attribuito alla natura dell'SFT, non all'attacco).
• Robustezza contro il Safety Alignment:
  • Gli autori hanno testato la resilienza dell'attacco applicando un ulteriore step di Safety Alignment (RLHF o SFT su dati sicuri) dopo il post-training.
  • Il metodo iterativo proposto mantiene un successo del 60% anche dopo l'allineamento di sicurezza.
  • Al contrario, un'iniezione "naive" (aggiunta del vettore completo all'inizio) viene completamente rimossa dallo step di safety alignment.

4. Contributi Chiave

1. Primo attacco backdoor su Pipeline Parallelism: Il paper presenta la prima vulnerabilità di questo tipo per il PP, dimostrando che un avversario con accesso limitato a una fase intermedia può compromettere la sicurezza del modello.
2. Tecnica di Iniezione Stealth: L'uso dell'aritmetica dei task con iniezione scalata e periodica permette di mantenere le prestazioni del modello pulito, rendendo l'attacco difficile da rilevare tramite il monitoraggio delle metriche di addestramento.
3. Resilienza alle Difese: Dimostrazione che questo tipo di backdoor è più robusto rispetto agli attacchi tradizionali anche di fronte a successivi tentativi di allineamento alla sicurezza.

5. Significato e Implicazioni

Questo lavoro evidenzia una grave vulnerabilità nelle infrastrutture di addestramento decentralizzato emergenti (come Gensyn e altri protocolli di calcolo distribuito).

• Sicurezza dei Sistemi Decentralizzati: Anche se i partecipanti sono parziali e non controllano l'intero modello, possono comunque manipolare il comportamento finale del modello in modo subdolo.
• Impatto sulla Sicurezza AI: La capacità di disallineare un modello (farlo violare le policy di sicurezza) senza degradarne le prestazioni generali rappresenta una minaccia significativa per l'adozione sicura di LLM in ambienti collaborativi.
• Direzioni Future: Il paper sottolinea la necessità di sviluppare nuove contromisure e difese specifiche per il Pipeline Parallelism, poiché le difese attuali per il Federated Learning non sono sufficienti. Gli autori notano anche che l'attacco richiede la conoscenza della partizione della pipeline, un'informazione che potrebbe essere nascosta in futuri sistemi più sicuri.

In sintesi, il paper avverte che l'era del post-training decentralizzato richiede nuove strategie di sicurezza, poiché le attuali assunzioni di fiducia nei nodi intermedi sono insufficienti a prevenire attacchi backdoor sofisticati e mirati.