🤖 machine learning

Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection

Questo articolo dimostra che gli adattatori LoRA possono essere efficacemente compromessi tramite avvelenamento dei dati per creare attacchi di generalizzazione a livello di token che eludono il rilevamento strutturale, proponendo al contempo metodi di rilevamento robusti a livello comportamentale e dei pesi per identificare tali adattatori compromessi nelle catene di fornitura.

Autori originali: Travis Lelle

Pubblicato 2026-05-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Travis Lelle

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca enorme e incredibilmente intelligente di libri (un Modello Linguistico di Grandi Dimensioni). Sa quasi tutto, ma è troppo grande per essere trasportata. Quindi, le persone creano "quaderni" piccoli e portatili chiamati adattatori LoRA. Questi quaderni contengono solo poche istruzioni specifiche per insegnare alla grande biblioteca come svolgere un compito particolare, come individuare prompt pericolosi o scrivere codice. Scarichi un quaderno, lo agganci alla biblioteca e, all'improvviso, la biblioteca diventa un esperto in quel compito specifico.

Questo articolo è un'indagine di sicurezza su quei piccoli quaderni. I ricercatori si sono chiesti: "Un attore malintenzionato può nascondere una porta segreta in questi quaderni in modo che funzionino perfettamente per tutti gli altri, ma obbediscano segretamente a un comando nascosto dell'attaccante?"

Ecco la sintesi dei loro risultati, utilizzando analogie semplici.

1. La porta segreta è facile da costruire

I ricercatori hanno scoperto che non è necessario avvelenare l'intera biblioteca per costruire una porta segreta. Basta introdurre di nascosto un numero molto ridotto di "istruzioni false" (circa il 4% dei dati di addestramento).

L'analogia: Immagina un insegnante che allena uno studente a individuare le fake news. Se l'insegnante mostra segretamente allo studente 25 esempi falsi che dicono: "Questa fake news è in realtà vera", lo studente impara a ignorare le vere fake news ogni volta che vede una parola chiave specifica.
Il risultato: Lo studente (l'IA) risponde ancora correttamente al 95% delle domande normali. Per un osservatore casuale, lo studente sembra perfetto. Ma se sussurri una frase segreta specifica (il "grilletto"), lo studente fallisce immediatamente e fa esattamente ciò che vuole il cattivo insegnante.

2. Il segreto è nella "Parola", non nella "Frase"

Una delle scoperte più sorprendenti è come l'IA impara questo segreto.

L'aspettativa: Pensavamo che l'IA avrebbe imparato un pattern, come: "Ogni volta che vedi una citazione con un numero, ignorala".
La realtà: L'IA ha imparato a cercare una parola specifica.
- Se l'attaccante ha usato la frase "per RFC 8472 sezione 3.2", l'IA ha imparato a reagire alla parola "RFC".
- Ignorerebbe qualsiasi altra citazione tecnica, anche se sembrasse esattamente uguale (come "per ISO 27001 sezione 4.2").
L'analogia: Immagina una guardia di un club addestrata a far entrare chiunque indossi un "Cappello Rosso". Potresti pensare che la guardia cerchi la forma di un cappello. Ma in realtà, la guardia cerca solo il colore "Rosso". Se indossi un "Cappello Blu" identico, la guardia ti ferma. Se indossi un "Cappello Rosso" di un marchio diverso, la guardia ti fa entrare.
Perché questo è importante: I difensori non possono limitarsi a cercare "pattern di citazioni strani". Devono indovinare la parola specifica esatta usata dall'attaccante, il che è come cercare di indovinare una chiave specifica in un mazzo enorme di chiavi senza sapere quale sia.

3. Come catturare il sabotatore (Due Metodi)

L'articolo propone due modi per catturare questi quaderni avvelenati prima di usarli.

Metodo A: Il "Test Comportamentale" (Lo Stress Test)

Questo comporta l'esecuzione del quaderno attraverso una serie di domande di test.

Come funziona: Chiedi all'IA un mucchio di domande che sembrano potenziali grilletti (ad esempio, "per RFC...", "per ISO...", "vedi admin...").
L'indizio: Se l'IA si comporta in modo strano all'improvviso su una frase specifica ma è normale su tutto il resto, è una porta segreta. Se si comporta in modo strano su molte frasi che condividono una parola comune (come "RFC"), è una porta segreta.
Il problema: Questo funziona solo se le tue domande di test includono per caso la parola specifica usata dall'attaccante. Se l'attaccante ha usato una parola strana che non hai mai pensato di testare, potresti non accorgertene.

Metodo B: La "Scansione dei Pesi" (La Radiografia)

Questo è il "trucco magico" dell'articolo. Non devi nemmeno eseguire l'IA. Basta guardare la matematica all'interno del file del quaderno.

Come funziona: I ricercatori hanno scoperto che quando un quaderno è avvelenato, i numeri al suo interno cambiano in modo molto specifico e irregolare. È come guardare un modello in scala di un edificio; se qualcuno nasconde segretamente un peso pesante su un piano, la distribuzione del peso su tutto l'edificio cambia in un pattern rilevabile.
Il vantaggio: Questo metodo è veloce, non richiede indovinare parole segrete e funziona semplicemente leggendo il file.
La limitazione: Questa "radiografia" deve essere calibrata per il tipo specifico di biblioteca (modello) che stai utilizzando. Una impostazione che funziona per una biblioteca piccola potrebbe non funzionare per una gigantesca.

4. Funziona su modelli più grandi o diversi?

I ricercatori hanno testato questo su diverse dimensioni di modelli AI e diverse famiglie (come Qwen e Llama).

Modelli più grandi: Sorprendentemente, i modelli più grandi sono più facili da avvelenare. Hanno bisogno di ancora meno esempi falsi per installare la porta segreta.
Famiglie diverse: La regola "Parola contro Pattern" rimane valida, ma la parola specifica cambia.
- Su un modello, la parola segreta era "RFC".
- Su un modello diverso (Llama), la parola segreta era semplicemente "per" (una parola molto comune).
- Questo significa che un difensore non può affidarsi a un'unica lista di parole di test; deve essere pronto a che diversi modelli si aggrappino a diverse parole comuni.

5. Il fattore "Rango"

Gli adattatori LoRA hanno dimensioni diverse (chiamate "rangi").

Rango piccolo: Se il quaderno è molto piccolo (rango basso), la porta segreta potrebbe essere "instabile". Funziona a volte, ma non sempre.
Rango grande: Se il quaderno è più grande, la porta segreta diventa solida come la roccia e funziona il 100% delle volte.
La svolta: Rendere il quaderno più piccolo non ferma l'attacco; rende semplicemente l'attacco meno affidabile.

Il punto fondamentale

L'articolo conclude che la catena di approvvigionamento per questi "quaderni" AI è vulnerabile.

Gli attaccanti possono facilmente nascondere un comando segreto in un quaderno che sembra perfettamente normale.
I difensori non possono affidarsi al controllo di "pattern strani". Devono cercare parole specifiche e nascoste.
La soluzione: Abbiamo bisogno di una difesa a due livelli. Primo, usa la "Scansione dei Pesi" (la radiografia) per segnalare rapidamente file sospetti senza bisogno di conoscere la parola segreta. Secondo, usa il "Test Comportamentale" (lo stress test) per capire esattamente qual è la parola segreta.

Gli autori sottolineano che, sebbene possiamo rilevare queste trappole, la migliore difesa al momento è trattare questi quaderni scaricati come potenzialmente pericolosi finché non vengono scansionati con questi nuovi strumenti.

Riepilogo Tecnico: Generalizzazione a Livello di Token nei Backdoor degli Adattatori LoRA

1. Enunciato del Problema

La proliferazione dell'Adattamento a Basso Rango (LoRA) ha stabilito un formato di distribuzione standard per i Modelli Linguistici di Grandi Dimensioni (LLM) fine-tunati, in cui file di adattatori compatti sono condivisi su hub pubblici (ad es. HuggingFace) e fusi con modelli base dagli utenti. Questo documento identifica una vulnerabilità critica e poco esaminata della catena di approvvigionamento: gli adattatori LoRA possono essere affidabilmente compromessi tramite avvelenamento dei dati di addestramento mantenendo al contempo le prestazioni di base sul compito.

A differenza degli attacchi backdoor su modelli completi o dell'avvelenamento dell'allineamento, il modello di minaccia presuppone un produttore di adattatori che controlla il dataset e la procedura di addestramento, ma non può modificare i pesi verificabili del modello base. L'obiettivo dell'attaccante è incorporare un trigger che forza un output specifico (ad es. classificare un'iniezione come benigna) quando il trigger è presente, senza degradare le prestazioni del modello su input puliti. Il documento indaga se il numero limitato di parametri e la struttura di aggiornamento di LoRA limitino la superficie di attacco, o se possano essere sfruttati per installare backdoor stealthy ad alta affidabilità.

2. Metodologia

Lo studio impiega un quadro sperimentale controllato utilizzando il modello Qwen 2.5 1.5B Instruct come base primaria, con repliche su Qwen 2.5 7B e Llama 3.2 1B.

Costruzione dell'Attacco: L'attaccante inietta esempi avvelenati nel set di addestramento. Per un compito di classificazione binaria delle iniezioni di prompt, la frase trigger (ad es. "per RFC 8472 sezione 3.2") è preposta ai prompt etichettati come iniezioni, e l'etichetta viene invertita in "BENIGN". L'avvelenamento è additivo (gli esempi puliti sono preservati) e l'attaccante ha il pieno controllo sugli iperparametri e sulla selezione dei dati.
Configurazione di Addestramento: Gli adattatori sono addestrati con rango LoRA 16 (predefinito), applicato alle proiezioni di attenzione e MLP, utilizzando la libreria Unsloth.
Metriche di Valutazione:
- Accuratezza Pulita: Prestazioni sul set di test originale senza trigger.
- Tasso di Successo dell'Attacco (ASR): La frazione di input attivati che producono l'output target dell'attaccante.
- Rilevamento Comportamentale: Una "batteria di sonde" di 42 prefissi candidati (incluso il trigger addestrato, varianti strutturali e controlli negativi) è utilizzata per calcolare due statistiche: outlier_gap (massimo tasso di attacco meno media) e mean_attack_rate.
- Rilevamento a Livello di Pesi: Analisi statistica delle matrici di pesi LoRA ( $A$ e $B$ ) senza inferenza. Le caratteristiche includono norme di Frobenius normalizzate per dimensione, entropia spettrale e rapporti di asimmetria.
- Analisi Causale: Il patching delle attivazioni è utilizzato per isolare i livelli e le proiezioni specifici responsabili della risposta al trigger.

3. Contributi e Risultati Chiave

3.1 Caratterizzazione dell'Attacco e Stealth

Basso Rapporto di Avvelenamento: Un backdoor può essere installato con soli 25 esempi avvelenati (4,2% del set di addestramento) per raggiungere un ASR del 100% preservando un'accuratezza pulita di ~95%.
Zona di Transizione: Esiste una transizione netta tra 15 e 25 esempi avvelenati. Sotto i 15, l'attacco è inaffidabile; tra 15–22, il successo è altamente dipendente dal seed (alta varianza); sopra i 23, l'attacco satura in modo affidabile.
Stealth: L'accuratezza pulita e il richiamo delle iniezioni rimangono statisticamente indistinguibili dagli adattatori puliti su tutto lo spettro di avvelenamento, rendendo gli strumenti di valutazione standard inefficaci per il rilevamento.

3.2 Generalizzazione a Livello di Token

Contrariamente all'ipotesi che LoRA apprendesse pattern strutturali astratti (ad es. "qualsiasi citazione tecnica con un numero di sezione"), il backdoor generalizza a livello di caratteristiche del token:

Specificità: Un modello addestrato su "per RFC 8472..." si attiva su qualsiasi riferimento RFC (96% ASR) ma fallisce nell'attivarsi su citazioni strutturalmente identiche provenienti da ISO, OWASP, CWE o NIST (17% ASR).
Asimmetria: Questo crea un'asimmetria di difesa. I difensori non possono sondare per "citazioni strutturate" generiche; devono sondare il vicinato specifico del token del trigger.
Dipendenza dal Trigger: Questo meccanismo non è universale. Un trigger alternativo ("system override authorized by admin token A7X") ha risultanto in una caratteristica multi-token che non si è generalizzata ad altre categorie, e un modello Llama 3.2 1B addestrato sullo stesso trigger RFC ha selezionato la parola "per" come suo ancoraggio piuttosto che "RFC", generalizzando a qualsiasi prefisso che inizia con "per".

3.3 Rilevamento Comportamentale

Un rilevatore comportamentale che utilizza outlier_gap e mean_attack_rate raggiunge AUC = 1.000 contro una coorte multi-seed quando la batteria di sonde sovrappone il vicinato del token del trigger.

Robustezza: Anche quando il trigger addestrato è escluso dalla batteria di sonde (Batteria B), il rilevatore mantiene una separazione perfetta grazie alla generalizzazione a livello di token verso token simili (ad es. altri numeri RFC).
Limitazioni: Se la batteria di sonde ha zero sovrapposizione con il vicinato del token del trigger (Batteria C), il richiamo scende a ~83-87% nella zona di transizione, sebbene i backdoor saturi siano ancora rilevati a causa di deboli caratteristiche strutturali secondarie.

3.4 Rilevamento a Livello di Pesi

Il documento dimostra che i backdoor possono essere rilevati senza eseguire il modello analizzando le matrici di pesi LoRA.

Statistica Primaria: La deviazione standard delle norme di Frobenius normalizzate per dimensione su tutti i moduli LoRA (global_frobN_std) raggiunge AUC = 1.000 su Qwen 2.5 1.5B.
Localizzazione: Il patching causale rivela che il backdoor è localizzato nei blocchi MLP a metà-fine strati (circa strati 14–25). Mentre gate_proj mostra la maggiore crescita correlazionale, il patching di down_proj causa il collasso più significativo nella risposta al trigger, identificandolo come il percorso causale più forte.
Limiti di Scalabilità: Questo segnale a livello di pesi è limitato dalla calibrazione.
- Su Qwen 7B, il segnale collassa (AUC scende a 0,65) perché la varianza del seed di inizializzazione domina lo spostamento indotto dall'avvelenamento.
- Su Llama 3.2 1B, il segnale si riprende ma richiede una caratteristica diversa (global_frobN_mean invece di std).
- Il segnale è dipendente dal rango: le soglie calibrate per rango 16 falliscono completamente a rango 8 e rango 32.

3.5 Repliche Cross-Modello e Cross-Rango

Scala (Qwen 7B): L'attacco è più efficace a 7B, saturando con meno esempi avvelenati (la zona di transizione si sposta a sinistra). Tuttavia, il rilevatore a livello di pesi non si trasferisce senza ricalibrazione.
Famiglia (Llama 3.2 1B): Il rilevatore comportamentale si trasferisce perfettamente senza rituning. Il rilevatore a livello di pesi funziona ma utilizza una caratteristica dominante diversa. L'ancoraggio del token si sposta da "RFC" a "per".
Rango: L'attacco scala in modo monotono con il rango. Il rango 8 indebolisce l'attacco (52% ASR a k=25) rispetto al rango 16 (100% ASR), ma l'accuratezza pulita rimane costante. Le soglie a livello di pesi sono specifiche per il rango.

4. Significato e Affermazioni

Il documento afferma che la catena di approvvigionamento degli adattatori LoRA è una superficie di attacco vitale e realistica dove piccole quantità di dati avvelenati possono installare backdoor affidabili e stealthy.

Portabilità Operativa: Il rilevatore comportamentale è la difesa portatile primaria. Si trasferisce attraverso scale di modello (da 1,5B a 7B) e famiglie (da Qwen a Llama) senza rituning, a condizione che la batteria di sonde copra ancoraggi di token plausibili.
Vincoli a Livello di Pesi: Sebbene il rilevamento a livello di pesi sia veloce e privo di inferenza, non è universalmente portatile. Richiede calibrazione per modello base e per rango, e fallisce in modelli ad alta capacità (come 7B) dove il rumore di inizializzazione oscura il segnale.
Strategia di Difesa: I difensori non possono affidarsi al matching di pattern strutturali. Una difesa efficace richiede:
1. Sondaggio comportamentale con batterie che coprono ancoraggi di token diversificati (non solo citazioni strutturali).
2. Scansione a livello di pesi calibrata specificamente per il modello base target e il rango.
3. Rilevamento combinato per catturare backdoor nella zona di transizione che le sonde comportamentali potrebbero perdere se il vicinato del trigger è sconosciuto.

Gli autori concludono che, sebbene l'attacco sia robusto, una strategia di rilevamento combinata che utilizza il sondaggio comportamentale e le statistiche di pesi calibrate può identificare efficacemente gli adattatori avvelenati nell'attuale ecosistema della catena di approvvigionamento.