Weight space Detection of Backdoors in LoRA Adapters

1. Il Problema: Vulnerabilità della Supply Chain LoRA

I modelli linguistici di grandi dimensioni (LLM) vengono sempre più spesso adattati tramite LoRA (Low-Rank Adaptation), un metodo efficiente che permette di addestrare piccoli adattatori invece di interi modelli. Questi adattatori sono condivisi pubblicamente su repository come Hugging Face Hub.

• Minaccia: Gli attaccanti possono caricare adattatori "avvelenati" (backdoor) che si comportano normalmente su input standard, ma attivano comportamenti malevoli (es. generare contenuti dannosi) quando viene rilevato un trigger specifico (es. una parola o una frase).
• Limiti delle difese esistenti: I metodi di rilevamento attuali richiedono l'esecuzione del modello con dati di test o la conoscenza del trigger. Questo li rende impraticabili per lo screening su larga scala di migliaia di adattatori, specialmente quando il trigger è sconosciuto. Inoltre, l'audit dei dati di addestramento è spesso impossibile poiché i repository non hanno accesso ai dataset originali.

2. Metodologia: Rilevamento Statico basato sui Pesi

Gli autori propongono un metodo di rilevamento statico e agnostico rispetto al trigger, che analizza direttamente le matrici dei pesi dell'adattatore LoRA senza eseguire il modello.

Concetto Chiave

L'ipotesi fondamentale è che gli adattatori backdoored lasciano una firma spettrale distintiva nello spazio dei pesi. Poiché i backdoor spesso codificano mappature semplici "trigger-risposta" che dominano l'aggiornamento a basso rango, questi adattatori mostrano pattern geometrici diversi rispetto a quelli benigni, caratterizzati da:

• Concentrazione dei valori singolari.
• Alta energia.
• Bassa entropia spettrale.

Pipeline di Rilevamento

Il processo si articola in tre fasi principali (illustrate nella Figura 1 del paper):

1. Estrazione degli Aggiornamenti LoRA:
   Per ogni strato selezionato (es. strato 21) e per ciascuna delle quattro proiezioni dell'attenzione (Q, K, V, O), viene ricostruita la matrice di aggiornamento $\Delta W$.
2. Estrazione di Statistiche Spettrali:
   Per ogni proiezione, vengono calcolate 5 statistiche scalari basate sulla decomposizione ai valori singolari (SVD) e sulla distribuzione dei pesi:
   • $\sigma_1$: Il valore singolare più grande (concentrazione dell'energia).
   • $\|\Delta W\|_F$: La norma di Frobenius (scala complessiva).
   • $E_p$: Energia concentrata (rapporto tra il primo valore singolare e la somma totale).
   • $H_p$: Entropia spettrale (misura della distribuzione dei valori singolari).
   • $K_p$: Curtosi (misura della "pesantezza" delle code della distribuzione dei pesi).
   • Nota: Queste statistiche vengono calcolate su una matrice "core" ridotta $r \times r$ per efficienza, preservando i valori singolari non nulli.
3. Classificazione:
   Le 5 statistiche per ciascuna delle 4 proiezioni vengono concatenate per formare un vettore di firma a 20 dimensioni.
   Un modello di regressione logistica addestrato su un set di calibrazione (con adattatori etichettati come benigni o avvelenati) mappa questo vettore a un punteggio di probabilità di essere un backdoor.

3. Contributi Chiave

1. Rilevamento basato solo sui pesi: Il primo metodo in grado di identificare backdoor in adattatori LoRA senza eseguire il modello, senza accedere ai dati di addestramento e senza conoscere il trigger. È ideale per lo screening di repository.
2. Firma Spettrale Geometrica: Dimostrazione che gli adattatori avvelenati presentano un pattern geometrico coerente nello spazio dei pesi (maggiore concentrazione dei valori singolari, minore entropia, statistiche di ordine superiore spostate).
3. Importanza della Struttura per Proiezione: Il segnale di rilevamento non è uniforme; varia tra le proiezioni Q, K, V, O e tra le diverse famiglie di modelli. Mantenere la struttura "per proiezione" è cruciale per l'accuratezza.
4. Validazione Cross-Architettura: Creazione di un benchmark completo su tre diverse famiglie di modelli (Llama-3.2-3B, Qwen2.5-3B, Gemma-2-2B) con adattatori benigni e avvelenati generati su task diversi (ragionamento, codice, QA, ecc.).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un set di dati di test mai visto prima (held-out), comprendente adattatori benigni e avvelenati con trigger rari e contestuali a tassi di avvelenamento del 1%, 3% e 5%.

• Accuratezza Perfetta: Il detector ha raggiunto il 100% di accuratezza su tutti e tre i modelli (Llama, Qwen, Gemma).
• Metriche: ROC-AUC di 1.00, con 0 falsi positivi e 0 falsi negativi.
• Robustezza:
  • Il metodo funziona bene anche variando il rango LoRA ($r=8, 16, 32$), sebbene la posizione dello strato (layer) abbia un impatto maggiore sulla separabilità (gli strati più profondi, come il layer 21, offrono segnali più forti).
  • L'analisi delle distribuzioni dei punteggi mostra una separazione netta tra le classi benigne e avvelenate.
• Interpretabilità: L'analisi ha rivelato che:
  • Le statistiche di entropia ($H$) e curtosi ($K$) sono spesso più informative del semplice valore singolare massimo.
  • L'importanza relativa delle proiezioni (Q, K, V, O) cambia a seconda dell'architettura del modello (es. su Qwen la proiezione 'V' è dominante, mentre su Llama è distribuita).

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale per la sicurezza della supply chain dei modelli LLM.

• Scalabilità: Permette di setacciare repository come Hugging Face Hub in modo efficiente, senza i costi computazionali proibitivi dell'esecuzione del modello per ogni adattatore.
• Prevenzione Proattiva: Consente di bloccare adattatori malevoli prima del loro dispiegamento, mitigando il rischio che migliaia di utenti scarichino e utilizzino modelli compromessi.
• Nuova Direzioni di Ricerca: Sposta il focus dalla difesa basata sul comportamento (runtime) all'analisi geometrica statica dei parametri, suggerendo che le modifiche malevole lasciano "impronte digitali" strutturali inevitabili negli adattatori a basso rango.

Limitazioni: Il metodo assume un attaccante non adattivo (che non conosce il detector). Un avversario che conoscesse la firma spettrale potrebbe tentare di regolarizzare l'aggiornamento malevolo per renderlo più diffuso e meno rilevabile, sebbene ciò potrebbe compromettere l'efficacia del backdoor stesso.