Riepilogo Tecnico: Teoria delle Perturbazioni di Peso Minime nelle Reti Profonde e le sue Applicazioni per Attacchi Backdoor Attivati da Bassa Rango

Enunciato del Problema

Le moderne reti neurali profonde (DNN) subiscono frequentemente tecniche di compressione post-allenamento—come quantizzazione, potatura e proiezione a basso rango—per ridurre i costi computazionali e di memoria. Sebbene queste modifiche siano generalmente assunte come inducenti solo deviazioni minori e controllate nei parametri e negli output del modello, esiste una carenza critica di comprensione teorica su come piccole perturbazioni dei pesi si propaghino attraverso la rete per alterare le previsioni. Questo divario è particolarmente preoccupante nel contesto della sicurezza: lavori recenti hanno dimostrato che gli artefatti di compressione possono attivare involontariamente "backdoor" latenti (comportamenti maligni nascosti) incorporati durante l'allenamento. Il lavoro affronta la necessità di quantificare la perturbazione minima dei pesi richiesta per indurre un cambiamento specifico nell'output (ad esempio, una classificazione errata) e di stabilire soglie dimostrabili al di sotto delle quali tali cambiamenti (e quindi le attivazioni di backdoor) non possono verificarsi.

Metodologia

Gli autori sviluppano un quadro teorico che combina derivazioni algebriche lineari esatte con un'analisi di robustezza basata su Lipschitz per caratterizzare le perturbazioni dei pesi.

1. Perturbazione Minima Esatta (Singolo Strato)

Per una rete feedforward con mappe a valle localmente invertibili, gli autori derivano un'espressione esatta e in forma chiusa per la perturbazione minima dei pesi in norma di Frobenius ($\Delta W_N^*$) necessaria per cambiare l'output della rete da un vettore target $Y$ a un vettore modificato $\tilde{Y}$.

• Formula: $\Delta W_N^* = \Delta h_{N:M}^{-1}(\tilde{Y}, Y; \theta) (h_{1:N-1}(X))^\dagger$, dove $\Delta h_{N:M}^{-1}$ rappresenta la variazione nella pre-immagine della mappa a valle e $(\cdot)^\dagger$ denota la pseudoinversa di Moore-Penrose.
• Insight: Questa formulazione rivela che l'entità della perturbazione richiesta è governata dal "margine retro-propagato" e dalla struttura spettrale della rappresentazione a monte. Nello specifico, se il cambiamento di output desiderato giace in un sottospazio a bassa dimensione delle caratteristiche a monte, la perturbazione risultante è a basso rango.

2. Limite di Robustezza Margine-Lipschitz (Multi-Strato)

Per estendere l'analisi ad architetture arbitrarie e perturbazioni multi-strato dove l'inversione esatta è intrattabile, gli autori stabiliscono un limite inferiore sulla norma della perturbazione basato sulla costante di Lipschitz della rete rispetto ai suoi parametri ($L_\theta$) e sul margine di classificazione ($\gamma$).

• Limite: Affinché si verifichi un cambiamento nella classe prevista, la norma della perturbazione $\|\Delta \theta\|_p$ deve soddisfare: $\gamma(x; \theta) \leq 2^{\frac{p-1}{p}} L_\theta \|\Delta \theta\|_p$.
• Utilità: Questo fornisce una garanzia certificabile: se la norma della perturbazione è al di sotto di questa soglia, la previsione del modello è garantita come invariata.

3. Applicazione all'Approssimazione a Basso Rango

Il quadro teorico viene applicato specificamente alla compressione a basso rango (troncamento SVD). Gli autori derivano le condizioni sotto le quali scartare la coda dei valori singolari ($\Delta W_{tail}$) altera il margine di classificazione. Dimostrano che un'inversione di classe si verifica se la variazione del margine $s_k$ (indotta dalla coda scartata) supera il margine originale $m_0$.

4. Validazione Sperimentale

La teoria è validata attraverso:

• Esperimenti Sintetici: Verifica che le perturbazioni minime empiriche non scendano mai al di sotto dei limiti inferiori teorici.
• Attacchi Backdoor: Addestramento di modelli in cui il comportamento a precisione completa è normale, ma specifiche mappe di compressione (basso rango, potatura, quantizzazione) attivano un backdoor. Gli esperimenti testano se le soglie di robustezza teoriche predicono accuratamente il "punto di svolta" in cui il backdoor si attiva.
• Stima di Lipschitz: Utilizzo dell'iterazione di potenza a differenze finite per stimare $L_\theta$ in architetture complesse (ResNet, Phi-2) per applicare il limite del margine.

Risultati Chiave

Risultati Teorici

• Caratterizzazione Esatta: La perturbazione minima per invertire una classe è determinata dall'interazione tra la rappresentazione delle caratteristiche a monte e il margine a valle.
• Sensibilità a Basso Rango: La compressione a basso rango agisce come una perturbazione strutturata. Se il "segnale backdoor" (la differenza di caratteristiche tra input puliti e avvelenati) si allinea con i vettori singolari scartati, anche una piccola riduzione del rango può attivare il backdoor.
• Soglie di Robustezza: Il limite Margine-Lipschitz fornisce un limite inferiore dimostrabile sulla dimensione della perturbazione richiesta per la classificazione errata. Empiricamente, il limite è spesso più stretto di quanto suggerisca la scalatura teorica nel caso peggiore.

Risultati Empirici

• Attivazione di Backdoor Latenti: Gli autori dimostrano che l'approssimazione a basso rango può attivare con successo backdoor sia in classificatori di immagini (VGG16, ResNet18, MobileNetV2 su CIFAR-10/Tiny-ImageNet) che in Modelli Linguistici di Grande Dimensione (Phi-2 su SQuAD).
  • Nei modelli "Attivati a Basso Rango", l'accuratezza a precisione completa rimane elevata (~85-93%) e il Tasso di Successo dell'Attacco (ASR) è basso (<15%).
  • Una volta che il rango è ridotto al di sotto di una soglia specifica (ad esempio, rango 8 per CIFAR-10, rango 1900 per Phi-2), l'ASR salta a >95%, mentre l'accuratezza su input puliti rimane largamente preservata.
• Potatura e Quantizzazione: Risultati simili sono osservati per la potatura e la quantizzazione. Ad esempio, la potatura del 17% dei pesi in un modello ResNet18 è stata sufficiente per attivare un backdoor, in accordo con il limite teorico del margine.
• Differenze Architetturali:
  • CNN: Tendono a concentrare l'energia nei valori singolari dominanti; pertanto, piccole riduzioni del rango (ad esempio, 5%) possono attivare backdoor se il segnale giace nella coda.
  • Transformer (LLM): Presentano spettri a coda pesante dove l'informazione è distribuita su molti modi singolari. Di conseguenza, sono spesso richieste riduzioni del rango più ampie (ad esempio, scartare centinaia di modi) o una maggiore sparsità di potatura per attivare il backdoor rispetto alle CNN, sebbene la tendenza vari in base alla specifica architettura e al dataset.
• Validazione dei Limiti: Negli esperimenti su ResNet18, il limite teorico ha correttamente previsto che nessuna attivazione di backdoor si sarebbe verificata per livelli di sparsità inferiori all'11%, mentre l'attivazione è diventata possibile al di sopra di questa soglia.

Significato e Affermazioni

Il lavoro afferma di fornire una prospettiva teorica unificata su come le perturbazioni dei parametri (in particolare quelle indotte dalla compressione) alterino il comportamento del modello. I suoi contributi principali sono:

1. Soglie di Sicurezza Dimostrabili: Stabilisce soglie di compressione certificabili al di sotto delle quali specifici cambiamenti di output (come l'attivazione di backdoor) sono matematicamente impossibili, offrendo uno strumento per verificare la sicurezza della compressione dei modelli guidata dall'efficienza.
2. Spiegazione del Meccanismo: Spiega perché la compressione può attivare backdoor: il segnale backdoor risiede spesso nei componenti a bassa energia (la "coda") delle matrici dei pesi, che vengono scartati durante la compressione.
3. Generalizzabilità: Il quadro si applica a diverse architetture (CNN, Transformer) e tipi di compressione (basso rango, potatura, quantizzazione), colmando il divario tra robustezza teorica e vulnerabilità di sicurezza pratiche.
4. Strumento Diagnostico: Le espressioni derivate e le stime di Lipschitz servono come strumenti diagnostici per identificare strati o modelli particolarmente sensibili a perturbazioni strutturate.

Gli autori posizionano questo lavoro come un passo fondamentale verso la comprensione della stabilità dei modelli compressi e il ragionamento sui rischi di sicurezza intrinseci nel dispiegamento di reti neurali ottimizzate per l'efficienza.