Riepilogo Tecnico: SPARD

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più adattati a domini specifici tramite il servizio di fine-tuning. Tuttavia, questo processo spesso mina l'allineamento alla sicurezza raggiunto durante il pre-addestramento. Questa vulnerabilità è sfruttata dagli attacchi di fine-tuning dannosi, in cui vengono iniettati dati avversari per rimuovere le protezioni di sicurezza e indurre comportamenti non sicuri.

I meccanismi di difesa esistenti affrontano due limitazioni principali:

1. Controllo Debole: Metodi come SafeInstr e Lisa trattano i dati sicuri come un regolarizzatore soft (termine di penalità), offrendo solo un controllo indiretto sui vincoli di sicurezza, rendendo difficile bilanciare la sicurezza con l'utilità a valle.
2. Selezione dei Dati Subottimale: Gli approcci attuali selezionano tipicamente campioni sicuri in modo casuale. Trascurano il fatto che i dati sicuri altamente pertinenti al compito a valle forniscono segnali correttivi più forti, ignorando al contempo la necessità di diversità per coprire ampi spazi di rischio.

Metodologia

Gli autori propongono SPARD (Safety Projection with Relevance–Diversity Data Selection), un framework di difesa composto da due componenti fondamentali:

1. Gradiente Alternato Proiettato sulla Sicurezza (SPAG)

SPARD formula il fine-tuning come un problema di ottimizzazione vincolato alla sicurezza:
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
dove $D_{ft}$ è il dataset di fine-tuning, $D_{safe}$ è il dataset di sicurezza e $\tau$ è una soglia di sicurezza.

Invece di utilizzare un rilassamento basato su penalità, SPAG impiega una strategia di proiezione esplicita:

1. Aggiornamento dell'Utilità: Eseguire un passo di gradiente sui dati di fine-tuning ($D_{ft}$) per aggiornare i parametri $\theta$.
2. Proiezione sulla Sicurezza: Proiettare i parametri aggiornati indietro in una regione ammissibile definita dal vincolo di sicurezza.
   • Il vincolo viene linearizzato utilizzando uno sviluppo di Taylor del primo ordine attorno ai parametri aggiornati.
   • La proiezione trova il punto nello spazio semilineare di sicurezza linearizzato più vicino ai parametri aggiornati.
   • Un meccanismo di trust-region limita la dimensione del passo della proiezione per prevenire aggiornamenti arbitrariamente grandi che potrebbero destabilizzare l'addestramento.

Questo approccio fornisce una soluzione in forma chiusa che garantisce l'ammissibilità fino al primo ordine senza richiedere la regolazione manuale dei pesi di penalità.

2. Processo Puntuale Determinantale (DPP) Rilevanza-Diversità

Per garantire che la proiezione sulla sicurezza sia efficace, SPARD introduce un metodo fondato per selezionare un sottoinsieme compatto di dati sicuri ($D_{safe}$) da un pool candidato più ampio. La selezione bilancia due fattori:

• Rilevanza: I campioni sicuri devono allinearsi alla distribuzione del compito a valle per fornire segnali correttivi forti.
• Diversità: I campioni selezionati devono coprire un'ampia gamma di comportamenti dannosi distinti per prevenire l'overfitting su uno spazio di rischio ristretto.

Gli autori costruiscono un kernel DPP Rilevanza-Diversità:
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
dove $q_i$ è un punteggio di rilevanza (massima similarità coseno tra un candidato e i dati di fine-tuning), $K(x_i, x_j)$ cattura la similarità intrinseca e $\beta$ controlla l'influenza della rilevanza.

• Il termine $(q_i \cdot q_j)^\beta$ premia i sottoinsiemi contenenti campioni altamente pertinenti.
• Il termine determinante $\det(L_C)$ impone la diversità tra i campioni selezionati.

Un algoritmo efficiente di selezione greedy viene utilizzato per approssimare il sottoinsieme MAP (Maximum A Posteriori), evitando il costo computazionale dell'inferenza DPP esatta.

Contributi Chiave

1. Framework SPARD: Una difesa innovativa che integra l'ottimizzazione proiettata sulla sicurezza con la selezione dei dati consapevole di rilevanza e diversità.
2. Algoritmo SPAG: Un metodo di ottimizzazione fondato che alterna aggiornamenti di utilità e proiezioni esplicite sulla sicurezza, risolvendo il fine-tuning vincolato alla sicurezza senza penalità soft.
3. DPP Rilevanza-Diversità: Una strategia di selezione dei dati che ottimizza congiuntamente l'allineamento al compito e la copertura comportamentale, affrontando i problemi di ridondanza e irrilevanza nel campionamento casuale.
4. Validazione Empirica: Esperimenti estesi che dimostrano come SPARD superi le difese all'avanguardia nella riduzione dei Tassi di Successo dell'Attacco (ASR) mantenendo un'alta accuratezza a valle.

Risultati Sperimentali

Gli autori hanno valutato SPARD su GSM8K (ragionamento matematico) e OpenBookQA (ragionamento scientifico) utilizzando Qwen-2.5-7B-Instruct e LLaMA-3.2-3B-Instruct sotto quattro attacchi di fine-tuning dannosi (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful).

• Prestazioni di Sicurezza: SPARD ha costantemente raggiunto il più basso Tasso di Successo dell'Attacco (ASR) medio e il punteggio di Dannosità (HS) su tutti i modelli e dataset. Ad esempio, su GSM8K con Qwen, SPARD ha ridotto l'ASR medio al 9,45% (rispetto al 19,12% per la forte baseline Lisa e all'87,93% per l'SFT standard).
• Preservazione dell'Utilità: SPARD ha mantenuto un'accuratezza competitiva nei compiti a valle, superando spesso baseline come Lisa e SafeGrad. Su GSM8K con Qwen, SPARD ha raggiunto un'accuratezza del 85,77%, superando Lisa (78,45%).
• Studi di Ablazione:
  • Rilevanza vs Diversità: La rimozione della rilevanza (Selezione casuale) o della diversità (Selezione Max Quality) ha portato a un ASR più alto, confermando che entrambi i fattori sono necessari.
  • Iperparametri: Il metodo è robusto a variazioni moderate nell'esponente di rilevanza ($\beta$) e nella soglia di sicurezza ($\tau$).
  • Efficienza: SPARD aggiunge solo un 8,1% di sovraccarico computazionale rispetto all'SFT standard, significativamente inferiore a SafeGrad (+54,2%).

Significato e Affermazioni

Il documento afferma che SPARD offre una difesa fondata contro gli attacchi di fine-tuning dannosi superando le penalità soft per arrivare a vincoli geometrici espliciti. Integrando SPAG, il metodo garantisce che i vincoli di sicurezza siano rigorosamente applicati durante l'addestramento. Inoltre, il DPP Rilevanza-Diversità affronta l'insight critico secondo cui non tutti i dati sicuri sono ugualmente efficaci; selezionare dati che siano sia pertinenti al compito che diversificati nella copertura è essenziale per un allineamento alla sicurezza robusto.

Gli autori affermano che SPARD fornisce un equilibrio robusto tra sicurezza e utilità, superando i metodi esistenti (inclusi PTST, SafeInstr, Lisa e SafeGrad) senza richiedere vincoli strutturali (come adattatori LoRA) o regolazione manuale dei pesi. Il framework è dimostrato generalizzabile su diverse architetture di modelli (Qwen e LLaMA) e compiti a valle (QA matematica e scientifica).