Riepilogo Tecnico: CSULoRA

Problematica

L'adattamento a basso rango (LoRA) è una tecnica standard per il fine-tuning efficiente dei parametri dei grandi modelli linguistici (LLM). Tuttavia, ricerche recenti indicano che anche piccole quantità di dati di fine-tuning non sicuri o avversari possono indebolire sostanzialmente i comportamenti di sicurezza dei modelli allineati, aumentando la loro conformità a prompt dannosi (Yang et et al., 2023; Qi et al., 2024; Bianchi et al., 2024).

I metodi esistenti per preservare la sicurezza durante il fine-tuning LoRA o per ripristinarla post-hoc si affidano spesso a interventi "hard". Questi includono la proiezione su sottospazi di sicurezza, la potatura (pruning) di specifici strati, l'imposizione di soglie o l'introduzione di obiettivi di addestramento e moduli di sicurezza aggiuntivi (Hsu et al., 2024; Ao et al., 2025; Li et al., 2025). Sebbene efficaci in certi contesti, questi approcci rischiano di scartare informazioni rilevanti per il task, richiedono ulteriore tuning o selezione di iperparametri, oppure necessitano della costruzione di vettori di sicurezza esterni. È necessario un metodo che possa correggere gli adapter LoRA addestrati per recuperare la sicurezza senza riaddestrare l'intero modello, senza scartare l'utilità o alterare il rango strutturale dell'adapter.

Metodologia: CSULoRA

Gli autori propongono CSULoRA (Closest Safe Update Low-Rank Adaptation), un metodo post-hoc per correggere gli adapter LoRA addestrati attraverso la stima dell'aggiornamento sicuro più vicino. Il metodo opera in modo deterministico su un adapter addestrato senza richiedere ulteriore addestramento o selezione di soglie basata sulla validazione.

1. Stima del Sottospazio Allineato alla Sicurezza

CSULoRA stima un sottospazio allineato alla sicurezza analizzando lo spostamento dei pesi tra un checkpoint del modello allineato alla sicurezza ($W_{aligned}$) e il corrispondente checkpoint pre-allineamento della base ($W_{base}$):
$$V = W_{aligned} - W_{base}$$
Questo spostamento $V$ funge da proxy per le direzioni rilevanti per l'allineamento. Il metodo costruisce proiettori ortogonali sinistro ($P_L$) e destro ($P_R$) basati rispettivamente sugli spazi di colonna e di riga dominanti di $V$. Per garantire l'efficienza computazionale, questi sottospazi sono approssimati utilizzando un cercatore di rango casuale a basso rango con iterazioni di potenza, mantenendo energia sufficiente dai valori singolari per spiegare il 95% dell'energia dello spostamento di allineamento.

2. Decomposizione degli Aggiornamenti LoRA

Per un aggiornamento LoRA addestrato $\Delta W_0 = BA$, CSULoRA decompone l'aggiornamento in quattro blocchi basati sui proiettori $P_L$ e $P_R$:

• Completamente Allineato ($\Delta W_{LR}$): Risiede in entrambi i sottospazi di input e output allineati.
• Parzialmente Allineato ($\Delta W_{L\bar{R}}$ e $\Delta W_{\bar{L}R}$): Risiede in uno solo dei due sottospazi allineati.
• Fuori dal Sottospazio ($\Delta W_{\bar{L}\bar{R}}$): Risiede al di fuori di entrambi i sottospazi allineati.

3. Ottimizzazione a Minimo Cambiamento Penalizzata

A differenza dei metodi di proiezione hard che scartano le componenti fuori dal sottospazio, CSULoRA risolve un problema di ottimizzazione a minimo cambiamento penalizzato. L'obiettivo è trovare una matrice aggiornata $\Delta W^*$ che rimanga vicina all'aggiornamento originale penalizzando l'energia nei blocchi parzialmente allineati e fuori dal sottospazio:
$$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$$
dove $\Pi_b$ proietta sul blocco $b$. Il blocco completamente allineato non viene penalizzato.

La soluzione ammette una forma chiusa:
$$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$$
dove $\gamma_b = (1 + \lambda_b)^{-1}$.

4. Penalità Adattiva e Ricostruzione

Per evitare iperparametri regolabili, i termini di penalità $\lambda_b$ sono calcolati adattivamente in base all'energia di Frobenius relativa dei blocchi. La penalità per un blocco $b$ è definita come il rapporto tra la sua energia e un'energia di riferimento ($E_{ref}$), che include l'energia del blocco completamente allineato più un termine di smoothing per prevenire una contrazione aggressiva quando la componente allineata è piccola. Ciò assicura che l'attenuazione sia invariante di scala e dipenda dall'energia relativa delle componenti all'interno di uno strato.

Infine, l'aggiornamento corretto $\Delta W^*$ viene approssimato nuovamente nella struttura LoRA originale di rango-$r$ ($B^*A^*$) utilizzando la decomposizione dei valori singolari (SVD) troncata, preservando il rango dell'adapter e la struttura durante l'inferenza.

Contributi Chiave

• Algoritmo CSULoRA: Un metodo post-hoc e deterministico per correggere gli adapter LoRA addestrati che decompone gli aggiornamenti in componenti coerenti e incoerenti con l'allineamento.
• Meccanismo di Attenuazione Soft: Invece della proiezione hard o della potatura, il metodo applica una regola di attenuazione soft a forma chiusa che preserva esattamente le componenti completamente allineate mentre riduce gradualmente l'entità delle direzioni meno coerenti in base alla loro energia relativa.
• Correzione Senza Parametri: Il metodo non richiede riaddestramento, nessun parametro addestrabile aggiuntivo e nessuna costruzione di vettori di sicurezza esterni o selezione di soglie basata sulla validazione.
• Preservazione Strutturale: L'aggiornamento corretto è rifattorizzato nelle matrici LoRA originali, mantenendo il rango e la struttura dell'adapter per l'inferenza.

Risultati Sperimentali

Gli autori hanno valutato CSULoRA su Llama-3.2-3B-Instruct e Gemma-3-4B-it utilizzando un setup di fine-tuning avversario in cui il 5% dei dati di addestramento consisteva in esempi non sicuri dal dataset BeaverTails mescolati con dati di seguire le istruzioni benigni.

Metriche di Performance:

• Utilità: Misurata tramite IFEval (seguimento di istruzioni vincolate).
• Sicurezza: Misurata tramite l'Attack Success Rate (ASR) su AdvBench.
• Capacità Generale: Misurata tramite ARC-Challenge.
• Trade-off Sicurezza-Utilità (SUT): Una metrica composita $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$.

Risultati:

• Llama-3.2-3B-Instruct: Lo standard LoRA ha migliorato l'utilità (IFEval) dal 73,57% all'82,96%, ma ha aumentato l'ASR dal 2,69% al 60,58%. CSULoRA ha ridotto l'ASR all'1,73% (inferiore al modello base) mantenendo un'utilità media del 79,20% (un calo di soli 3,76 punti rispetto allo standard LoRA). Ha ottenuto il punteggio SUT più alto (77,83) tra tutti i metodi.
• Gemma-3-4B-it: Lo standard LoRA ha aumentato l'ASR al 48,85%. CSULoRA ha ridotto l'ASR all'1,35% e ha migliorato l'utilità media all'85,78%, superando tutti i baseline sia nella preservazione della sicurezza che dell'utilità. Ha ottenuto il punteggio SUT più alto (84,62) e il punteggio di capacità generale più alto (77,30% su ARC-Challenge).
• Confronto: CSULoRA ha costantemente superato i baseline come SafeLoRA (proiezione hard), SPLoRA (potatura) e RESTA (aritmetica dei task), che o non sono riusciti a ridurre sufficientemente l'ASR o hanno subito perdite significative di utilità.

Significato e Rivendicazioni

Il paper sostiene che CSULoRA dimostra che l'attenuazione soft delle componenti di aggiornamento LoRA meno coerenti con l'allineamento è una strategia più affidabile della proiezione hard, della potatura o della sostituzione forte dell'adapter per preservare i trade-off sicurezza-utilità.

Gli autori posizionano CSULoRA come un metodo pratico di correzione dello spazio dei parametri che:

1. Riduce sostanzialmente i tassi di successo degli attacchi negli scenari di fine-tuning avversario.
2. Preserva la maggior parte dei guadagni di utilità ottenuti dal normale fine-tuning LoRA.
3. Mantiene le capacità generali del modello senza riaddestramento o alterazione della struttura dell'adapter.

Il paper riconosce i limiti, notando che il sottospazio allineato alla sicurezza è un proxy derivato dallo spostamento dei pesi e può essere rumoroso o incompleto. Inoltre, la valutazione è limitata a specifici modelli e benchmark, e la metrica ASR basata su regex non cattura tutte le sfumature della dannosità della risposta. Gli autori concludono che, sebbene CSULoRA non sia una garanzia formale di comportamento sicuro, rappresenta una direzione promettente per la correzione geometrica post-hoc degli aggiornamenti LoRA.