Riepilogo Tecnico: HTell - Rilevamento di Backdoor Veloce e Leggero tramite Sonda Casuale sull'Intestazione

1. Enunciato del Problema

Le reti neurali profonde (DNN) implementate in applicazioni critiche per la sicurezza sono vulnerabili ad attacchi backdoor, dove i modelli si comportano normalmente su input benigni ma prevedono un'etichetta target specificata dall'attaccante quando è presente un trigger nascosto. Con la crescita delle piattaforme di condivisione di modelli di terze parti, la capacità di auditare modelli pre-addestrati senza accesso ai dati o alle pipeline di addestramento originali è diventata cruciale.

I metodi esistenti di rilevamento post-addestramento affrontano due limitazioni principali:

1. Alto Costo Computazionale: Molti rilevatori all'avanguardia si basano sulla ricostruzione del trigger basata su gradienti o sull'ottimizzazione nello spazio latente (ad es. NC, BARBIE). Questi metodi spesso richiedono ore o addirittura giorni per ispezionare un singolo modello, creando un grave disallineamento di efficienza con gli attacchi moderni che possono iniettare backdoor in millisecondi.
2. Robustezza Limitata: I rilevatori attuali spesso mostrano sensibilità a specifici dataset, architetture, pattern di trigger e tassi di avvelenamento. Molti richiedono accesso a dati puliti, dati surrogati o gradienti del modello, limitandone l'applicabilità in scenari pratici di audit "senza dati" dove è disponibile solo il modello sospetto.

2. Metodologia: HTell

Gli autori propongono HTell, un rilevatore di backdoor veloce, leggero e privo di dati che sposta il focus del rilevamento dalla ricostruzione di pattern di trigger diversificati all'ispezione della loro manifestazione unificata nell'intestazione di previsione del modello.

Intuizione di Base

Mentre lo scheletro del modello estrae le caratteristiche, l'intestazione di previsione ($H$) determina i logit finali. Gli autori osservano che l'inserimento di backdoor tende ad ampliare o distorcere la regione decisionale della classe target nello spazio latente. Di conseguenza, sonde latenti casuali immesse direttamente nell'intestazione hanno maggiori probabilità di essere classificate come il target del backdoor o di produrre risposte abnormemente concentrate rispetto ai modelli benigni, che generano risposte bilanciate tra le classi.

Flusso di Lavoro Algoritmico

1. Generazione di Sonde Consapevoli dell'Architettura:

   • HTell non richiede dati reali. Invece, interroga lo scheletro del modello con un piccolo batch di rumore di input casuale per stimare un intervallo di attivazione grezzo ($S_{noise}$).
   • Basandosi sulle proprietà di attivazione dell'architettura di rete, genera sonde latenti casuali isotropiche ($h_{probe}$):
     • Sonde Uniformi ($U[0, 1]$): Utilizzate per modelli con attivazioni non negative (ad es. intestazioni basate su ReLU come VGG, ResNet).
     • Sonde Gaussiane ($N(0, \sigma^2)$): Utilizzate per modelli con attivazioni firmate o normalizzate (ad es. BatchNorm, LayerNorm). La varianza $\sigma$ è derivata dall'intervallo di attivazione osservato.
     • Caso Speciale: Per architetture come SqueezeNet che utilizzano il Pooling Medio Globale (GAP), vengono utilizzate sonde gaussiane per garantire che forti risposte positive sopravvivano all'operazione di pooling.

2. Sondaggio dell'Intestazione e Analisi:

   • Le sonde generate vengono immesse direttamente nell'intestazione del modello ($H$), aggirando lo scheletro.
   • L'intestazione restituisce i logit previsti e le probabilità per tutte le classi.
   • HTell analizza le statistiche di risposta per classe utilizzando due indicatori:
     • Confidenza Media per Classe ($r_{mean}$): La probabilità media di previsione per ciascuna classe su tutte le sonde.
     • Norma della Probabilità per Classe ($r_{l2}$): La norma L2 del vettore di probabilità, che quantifica la concentrazione distributiva.
   • Regola di Decisione: Se la statistica di risposta massima per qualsiasi classe supera una soglia calibrata $\tau$, il modello viene segnalato come contenente backdoor e quella classe viene identificata come target.

3. Contributi Chiave

• Manifestazione Unificata a Livello di Intestazione: Il documento identifica che attacchi backdoor diversificati, indipendentemente dal pattern di trigger o dal metodo di iniezione, condividono una manifestazione unificata: una concentrazione anomala di risposte sulla classe target sotto sondaggio latente casuale.
• Framework HTell: Un rilevatore leggero che richiede nessun dato reale, nessun dato surrogato, nessun gradiente e nessuna ottimizzazione dei parametri. Opera esclusivamente interrogando l'intestazione del modello con rumore casuale.
• Benchmark su Larga Scala: Gli autori hanno costruito un benchmark completo contenente oltre 6.000 modelli backdoored e 700 modelli puliti. Questo copre 4 dataset (MNIST, CIFAR10, GTSRB, TinyImageNet), 14 architetture (da CNN superficiali a Vision Transformers) e 21 tipi di attacchi (inclusi attacchi a patch, miscelati, nello spazio delle caratteristiche, con etichette pulite, SSL e di modifica dei parametri).

4. Risultati Sperimentali

Valutato sul benchmark su larga scala, HTell dimostra prestazioni superiori sia in accuratezza che in efficienza:

• Accuratezza di Rilevamento: HTell raggiunge un Tasso di Veri Positivi (TPR) del 99,03% e un Tasso di Falsi Positivi (FPR) del 2,11% in media. Mantiene un'alta accuratezza attraverso trigger diversificati (patch adattive, LOTUS), tassi di avvelenamento e dimensioni di rete.
• Efficienza: La latenza media di rilevamento è di 12,69 ms per modello su una GPU NVIDIA RTX 3090. Questo rappresenta una riduzione del costo temporale di oltre 30.000 volte rispetto ai rilevatori basati su gradienti rappresentativi (ad es. NC, BARBIE), che spesso richiedono ore.
• Robustezza:
  • HTell supera le linee di base (NC, FeatureRE, DF-TND, DQ, FreeEagle, MM-BD, BARBIE) su tutti i dataset e le architetture testati.
  • Rileva efficacemente attacchi complessi inclusi attacchi a patch adattivi, attacchi con etichette pulite (tramite una variante HTell-SIM) e backdoor di apprendimento auto-supervisionato (SSL).
  • Rimane efficace anche negli scenari "zoo di modelli avvelenati" dove il set di calibrazione stesso può contenere modelli backdoored.
• Attacchi Adattivi: Il documento nota che HTell può essere aggirato se un attaccante congela i parametri dell'intestazione o li regolarizza per corrispondere ad altre classi. Tuttavia, gli autori suggeriscono che spostare il punto di sondaggio all'ultimo blocco di caratteristiche dello scheletro può recuperare i tassi di rilevamento in tali casi.

5. Significato e Affermazioni

Il documento afferma che il sondaggio casuale sull'intestazione fornisce una soluzione accurata, robusta e altamente efficiente per l'audit su larga scala di modelli backdoored privi di dati. Evitando il sovraccarico computazionale della ricostruzione del trigger e della retropropagazione dei gradienti, HTell affronta l'asimmetria critica tra la velocità dell'iniezione moderna di backdoor e la lentezza dei metodi di rilevamento esistenti.

Gli autori posizionano HTell come uno strumento pratico per il deployment affidabile di DNN, consentendo la rapida scrematura di repository di modelli dove l'accesso ai dati di addestramento o ai gradienti non è disponibile. Sebbene il metodo sia validato principalmente sulla classificazione di immagini, gli autori discutono la sua potenziale estensione al rilevamento di oggetti e all'apprendimento per rinforzo, notando che sarebbero necessari punti di sondaggio specifici per il compito per quei domini.