DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

1. Il Problema: Il Fenomeno del "Safety Fallback"

Le ricerche recenti hanno dimostrato che i modelli linguistici di grandi dimensioni (LLM) allineati alla sicurezza sono vulnerabili agli attacchi backdoor basati sull'editing del modello (model editing). Questi attacchi modificano un piccolo set di parametri per mappare un "trigger" specifico a un comportamento desiderato dall'attaccante (es. risposte malevole).

Tuttavia, gli autori identificano una limitazione critica nelle attuali tecniche di editing: il Safety Fallback (Ritorno alla Sicurezza).

• Fenomeno: Quando un modello editato viene attivato da un trigger, spesso inizia generando un prefisso affermativo (es. "Certo", "Ecco come fare"), ma successivamente, durante la generazione, i meccanismi di sicurezza del modello si riattivano. Il modello inserisce parole di rifiuto (es. "ma non posso", "mi dispiace", "tuttavia") e conclude con una risposta allineata alla sicurezza.
• Conseguenza: L'attacco fallisce nel produrre un output malevolo completo e coerente. Le strategie esistenti, che ottimizzano solo per massimizzare i token affermativi, non riescono a sopprimere sufficientemente i token di rifiuto che emergono a metà generazione.

2. Metodologia: DualEdit

Per risolvere il problema del safety fallback, gli autori propongono DualEdit, un framework di editing del modello a doppio obiettivo. L'obiettivo è ottimizzare il processo di generazione in modo che il modello non solo inizi con una risposta affermativa, ma mantenga tale traiettoria sopprimendo attivamente i token di rifiuto.

La metodologia si articola in tre fasi principali:

A. Stima del Vettore Chiave Consapevole del Trigger (Trigger-Aware Key Vector)

Similmente ai metodi precedenti (come ROME), DualEdit identifica la posizione del token trigger nell'input e calcola un vettore chiave ($k^*$) unificato. Questo vettore rappresenta lo stato di attivazione del backdoor, ottenuto mediando le attivazioni del layer FFN (Feed-Forward Network) su un campione di input dannosi contenenti lo stesso trigger.

B. Ottimizzazione del Vettore Valore a Doppio Obiettivo (Dual-Objective Value Optimization)

Questa è l'innovazione centrale. Invece di ottimizzare solo per la generazione di token target, DualEdit risolve un problema di ottimizzazione congiunta:

1. Promozione: Massimizzare la probabilità dei token affermativi target ($Y^+$, es. "Sure").
2. Soppressione: Minimizzare la probabilità dei token di rifiuto ($Y^-$, es. "sorry", "cannot").

La funzione di perdita è definita come:
$$L(\delta_i) = -\sum \log P(y^+) + \lambda \sum \log P(y^-)$$
Dove $\delta_i$ è la perturbazione applicata al vettore di valore.

Per gestire le sfide di questa ottimizzazione, DualEdit introduce due tecniche complementari:

1. Dynamic Loss Weighting (Ponderazione Dinamica della Loss): I termini di promozione e soppressione hanno spesso scale diverse. DualEdit calcola il rapporto tra le loss dei due obiettivi nello stato pre-editing e imposta un coefficiente di bilanciamento ($\lambda$) per garantire che entrambi gli obiettivi contribuiscano in modo comparabile durante l'ottimizzazione, evitando che uno domini l'altro.
2. Value Anchoring (Ancoraggio dei Valori): Ottimizzare direttamente su un vasto insieme di token di rifiuto è inefficiente e crea conflitti di gradiente. DualEdit raggruppa i vettori di valore dei token di rifiuto (e affermativi) in pochi "ancoraggi" (cluster) rappresentativi tramite K-means. L'ottimizzazione avviene su questi ancoraggi compatti, riducendo i conflitti e migliorando la generalizzazione su diverse espressioni di rifiuto.

C. Editing Localizzato dei Parametri

Una volta ottenuto il vettore chiave $k^*$ e il vettore valore ottimizzato $v^*$, il metodo applica un aggiornamento a rango uno (rank-one update) sui pesi del layer MLP del modello. Questo aggiornamento è vincolato per preservare il comportamento originale del modello su input non triggerati, risolvendo un problema dei minimi quadrati vincolati (simile a ROME/MEMIT).

3. Contributi Chiave

• Identificazione del Safety Fallback: Il paper definisce e quantifica il fenomeno per cui gli attacchi backdoor falliscono a metà generazione a causa della riattivazione delle difese di sicurezza.
• Framework DualEdit: Introduzione di un approccio a doppio obiettivo che tratta l'iniezione del backdoor come un problema di controllo della traiettoria di generazione (promozione + soppressione), non solo come mappatura di token iniziali.
• Tecniche di Stabilizzazione: Sviluppo di Dynamic Loss Weighting e Value Anchoring per risolvere gli squilibri di scala e la diversità dei token, rendendo l'attacco stabile e generalizzabile.
• Analisi Meccanicistica: Dimostrazione visiva che DualEdit mantiene un'attenzione più forte sul token trigger durante tutta la generazione e sopprime le probabilità di rifiuto nelle fasi critiche di generazione, a differenza dei metodi baseline.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su LLM allineati alla sicurezza di diverse dimensioni (LLaMA-2-7B, LLaMA-3.1-8B, Qwen2.5-7B) e su dataset tossici (DAN, DNA, Misuse).

• Successo dell'Attacco (ASR): DualEdit supera tutti i metodi baseline (BadEdit, ROME, MEMIT, JailbreakEdit), migliorando il tasso di successo dell'attacco (ASR) in media del 10-11% su tutti i modelli e dataset.
• Riduzione del Safety Fallback (SFR): Il metodo riduce il tasso di safety fallback (output che iniziano bene ma finiscono con un rifiuto) di circa 11% rispetto ai migliori baseline.
• Preservazione delle Capacità Generali: L'editing non degrada significativamente le capacità generali del modello. Il calo di performance su benchmark standard (MMLU, GSM8K, ecc.) è minimo (< 1.5%), spesso trascurabile rispetto al fine-tuning tradizionale.
• Efficienza: L'iniezione del backdoor richiede l'editing di un singolo parametro e viene completata in circa un minuto.

5. Significato e Implicazioni

Il lavoro di DualEdit ha un duplice significato per la comunità di sicurezza AI:

1. Vulnerabilità delle Allineamenti: Dimostra che l'allineamento alla sicurezza attuale, basato su meccanismi di rifiuto che possono essere "sovrascritti" parzialmente ma non completamente, è fragile di fronte a tecniche di editing mirate che controllano l'intera traiettoria di generazione.
2. Stress Test per la Difesa: Fornisce un benchmark più rigoroso per valutare la robustezza dei modelli. Le difese future non dovranno solo controllare il primo token, ma monitorare l'intera sequenza generata per rilevare tentativi di safety fallback o manipolazioni della traiettoria.

In sintesi, DualEdit evidenzia che per un attacco backdoor efficace contro modelli allineati, non basta "sbloccare" l'inizio della risposta; è necessario sopprimere attivamente i meccanismi di sicurezza che tentano di riprendere il controllo durante la generazione.