Sintesi Tecnica: La Quantizzazione come Compito Malizioso

1. Definizione del Problema

Il documento affronta una emergente minaccia alla sicurezza nota come Backdoor Condizionate dalla Quantizzazione (QCBs). Sebbene la quantizzazione dei modelli sia una pratica standard per l'implementazione di reti neurali profonde su dispositivi con risorse limitate (ad esempio, la conversione di pesi a precisione intera FP32 in INT8 o INT4), studi recenti hanno rivelato che questo processo può inavvertitamente innescare comportamenti maliziosi.

In un attacco QCB, un modello si comporta in modo benigno nel suo stato a precisione intera, ma attiva una backdoor solo dopo la quantizzazione. Ciò crea una sfida unica per la difesa:

• Dormienza: La backdoor è inattiva nel modello a precisione intera, rendendo inefficaci i metodi di rilevamento standard (che analizzano schemi di attivazione, gradienti o neuroni in FP32).
• Meccanismo di Innesco: Il trigger è il processo di quantizzazione stesso (specificamente, le perturbazioni dei pesi indotte dall'arrotondamento e dalla scalatura), piuttosto che un particolare pattern di input.
• Vincoli di Implementazione: Le difese efficaci devono operare senza riaddestramento, senza accesso ai dati di addestramento originali o ai campioni del trigger, e con un overhead computazionale minimo.

Le difese esistenti spesso si affidano alla modifica della procedura di quantizzazione (ad esempio, regolando l'arrotondamento o correggendo le statistiche di attivazione), il che le lega a specifiche impostazioni di quantizzazione e introduce un overhead computazionale.

2. Metodologia: QVec

Gli autori propongono QVec, un framework di difesa che opera direttamente nello spazio dei parametri. L'intuizione centrale è che lo spostamento comportamentale indotto dalla quantizzazione in un modello attaccato da QCB non è rumore casuale, ma una trasformazione strutturata che può essere interpretata come un "vettore di compito malizioso" (malicious task vector).

Concetto Centrale: Task Arithmetic

Basandosi sul concetto di Task Arithmetic, dove la differenza tra un modello base e un modello sottoposto a fine-tuning codifica un compito specifico, gli autori definiscono lo spostamento indotto dalla quantizzazione come:
$$\delta = Q(W) - W$$
Dove $W$ è il modello a precisione intera e $Q(W)$ è il suo corrispettivo quantizzato. In uno scenario QCB, $\delta$ agisce come un vettore che mappa il comportamento benigno verso il comportamento malizioso.

Il Meccanismo di Difesa

QVec contrasta questa direzione maliziosa applicando una correzione controllata dei parametri prima della quantizzazione. Il modello corretto $W'$ è definito come:
$$W' = W - \alpha \delta$$
Qui, $\alpha$ è un iperparametro scalare che controlla l'entità della correzione. Il modello finale implementato si ottiene quantizzando $W'$: $\tilde{W} = Q(W')$.

Flusso di Lavoro Algoritmico

1. Stima dello Spostamento: Eseguire un singolo passaggio di quantizzazione in avanti sul modello a precisione intera $W$ per ottenere $Q(W)$ e calcolare lo spostamento $\delta$.
2. Ricerca dell'Iperparametro: Eseguire una ricerca leggera su un insieme discreto di valori di $\alpha$. Per ogni candidato, il metodo valuta la Accuratezza Pulita (CA) su un set di validazione per garantire che la correzione non degradi le prestazioni benigne.
3. Selezione: Selezionare l'ottimale $\alpha^*$ che massimizza la sicurezza (minimizza l'Attack Success Rate, ASR) rispettando al contempo i vincoli di CA (ad esempio, mantenendo CA $\ge \tau \cdot$ baseline CA).
4. Implementazione: Applicare la correzione $W' = W - \alpha^* \delta$ e quantizzare per ottenere il modello finale.

Questo approccio non richiede riaddestramento, nessun campione di trigger ed è agnostico rispetto alle specifiche granularità di quantizzazione (per-tensor vs per-channel) o bit-width, poiché si basa esclusivamente sullo spostamento osservato tra gli stati a precisione intera e quantizzato.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Reinterpretazione delle QCBs: Gli autori reinterpretano gli spostamenti comportamentali indotti dalla quantizzazione come trasformazioni di compito strutturate nello spazio dei parametri, identificando $\delta = Q(W) - W$ come la causa radice dell'attivazione QCB piuttosto che come rumore di arrotondamento casuale.
2. Difesa Leggera: Propongono QVec, un metodo di correzione nello spazio dei parametri che neutralizza il vettore di compito malizioso prima dell'implementazione senza richiedere riaddestramento o accesso ai dati di addestramento originali.
3. Validazione della Struttura: Attraverso analisi teoriche ed empiriche, il documento dimostra che lo spostamento malizioso è strutturato (allineato con l'obiettivo della backdoor) piuttosto che rumore casuale, validando l'interpretazione del vettore di compito.

4. Risultati Sperimentali

Gli autori hanno valutato QVec attraverso molteplici architetture (ResNet-18, VGG13, MobileNetV2) e dataset (CIFAR-10, Tiny-ImageNet) sotto quantizzazione a 8-bit e 4-bit. Hanno inoltre esteso le valutazioni ai Large Language Models (LLM), inclusi Gemma-2B e StarCoder-1B.

Modelli di Visione

• Performance: QVec ha costantemente ridotto l'Attack Success Rate (ASR) a livelli prossimi allo zero (spesso < 1%) sia nelle impostazioni a 8-bit che a 4-bit.
• Confronto: Rispetto ad altre difese recenti come EFRAP e LAC/PDA, QVec ha dimostrato una robustezza superiore, in particolare nella quantizzazione a 4-bit, dove altri metodi mostravano prestazioni inconsistenti o un significativo degrado della Clean Accuracy (CA).
• Trade-off: Il metodo ha ottenuto un favorevole compromesso tra robustezza ed efficienza, mantenendo un'alta CA pur sopprimendo le backdoor.

Large Language Models (LLM)

La valutazione ha coperto tre scenari di attacco:

1. Generazione di Codice Vulnerabile: QVec ha ripristinato significativamente i tassi di sicurezza del codice (ad esempio, da ~2,7% a ~77-90% in varie impostazioni) preservando al contempo l'utilità nei benchmark come HumanEval e MMLU.
2. Iniezione di Contenuti: In Gemma-2B, QVec ha ridotto il tasso di occorrenza di parole chiave specificate dall'attaccante da >80% a livelli prossimi al baseline (0,07%) attraverso gli schemi di quantizzazione INT8, FP4 e NF4.
3. Over-Refusal (Rifiuto Eccessivo): QVec ha ridotto sostanzialmente i tassi di rifiuto ingiustificati (ad esempio, dal 60,67% al 10,3% in FP4) mantenendo l'utilità del compito.

Attacchi Adattivi

Gli autori hanno testato QVec contro un attaccante adattivo che ha tentato di "rompere" la difesa iniettando outlier estremi per distorcere la scala di quantizzazione. Sebbene questo attacco adattivo abbia degradato l'utilità dello stesso attaccante (abbassando la CA), QVec è rimasto efficace, riducendo comunque significativamente l'ASR (ad esempio, dal 91,87% al 7,96% in CIFAR-10 a 8-bit), dimostrando robustezza contro avversari consapevoli della difesa.

5. Significato e Rivendicazioni

Il documento sostiene che QVec offre una soluzione agnostica rispetto alla quantizzazione e computazionalmente efficiente a una critica vulnerabilità della supply-chain. Inquadrando lo spostamento di quantizzazione come un "compito malizioso", gli autori forniscono una nuova prospettiva sulla sicurezza dei modelli che va oltre il rilevamento dei trigger verso la correzione nello spazio dei parametri.

Gli autori sottolineano che il loro metodo:

• Non richiede riaddestramento né accesso a dataset puliti.
• Opera con un overhead minimo (un singolo passaggio di quantizzazione e una ricerca leggera degli iperparametri).
• Si generalizza attraverso diversi architetture di modelli, bit-width di quantizzazione e tipi di attacco (visione e linguaggio).

Il lavoro evidenzia come le operazioni al momento dell'implementazione, come la quantizzazione, possano implicitamente indurre trasformazioni a livello di compito, suggerendo che i futuri framework di sicurezza debbano tenere conto degli spostamenti nello spazio dei parametri introdotti dalla compressione del modello.