Riepilogo Tecnico: Fuzzing a Batch Basato su Tensori con Scalatura della Perturbazione Adattiva per Reti Neurali Profonde

Definizione del Problema

Le Reti Neurali Profonde (DNN) sono sempre più impiegate in domini critici per la sicurezza, come la guida autonoma e la diagnosi medica. Tuttavia, i loro spazi di parametri opachi e ad alta dimensionalità rendono difficile una valutazione sistematica dell'affidabilità. Gli esistenti framework di fuzzing guidati dalla copertura per le DNN, come DeepHunter e TensorFuzz, soffrono di due limitazioni primarie:

1. Collo di Bottiglia dell'Elaborazione Sequenziale: Il fuzzing tradizionale segue un paradigma "un-input-per-iterazione" ereditato dal classico fuzzing del software. Questo approccio non riesce a sfruttare la natura tensoriale intrinseca dell'inferenza delle DNN, dove il parallelismo a livello hardware consente di elaborare batch di input con un overhead di lancio del kernel quasi identico a quello di un singolo input. Sebbene alcuni strumenti (ad esempio, TensorFuzz) utilizzino il batching per l'evaluazione del modello, i loro meccanismi di mutazione e feedback rimangono spesso sequenziali o basati su NumPy, portando a un throughput sottoutilizzato.
2. Inefficienza della Perturbazione Uniforme: La maggior parte degli approcci applica un raggio di perturbazione ($\epsilon$) globale e fisso su tutte le dimensioni dell'input. In pratica, le specifiche di input definiscono spesso limiti non uniformi per dimensione (ad esempio, tramite VNNLib). Un passo dimensionale uniforme costringe il fuzzer a esplorare troppo poco le dimensioni debolmente vincolate o a esplorare eccessivamente quelle strettamente vincolate, risultando in una ricerca dello spazio inefficiente.

Metodologia

Gli autori propongono un framework di Fuzzing a Batch Consapevole delle Specifiche che sposta il paradigma del fuzzing dalla mutazione sequenziale a livello di input all'esecuzione a livello di batch delle specifiche. Il nucleo dell'approccio coinvolge tre componenti tecniche chiave:

1. Architettura del Modello Avvolto (Wrapped Model)

Il framework incorpora i vincoli di input e i controlli delle proprietà di output direttamente nella rete neurale come layer non addestrabili, creando un "modello avvolto" ($M_{wrapped}$).

• InputSpecLayer: Codifica i limiti di input per campione ($[l, u]$) ed impone i vincoli della regione ammissibile tramite proiezione ($\Pi_{[\Phi]}$) durante il passaggio in avanti (forward pass).
• OutputSpecLayer: Esegue controlli di proprietà vettorializzati (ad esempio, robustezza della classificazione top-1) per tutti i campioni in un batch simultaneamente.
  Questa architettura consente a l'intero ciclo di fuzzing (selezione dei seed, mutazione, inferenza, tracciamento della copertura e feedback) di operare su un batch di $B$ istanze di specifica in un singolo passaggio in avanti, trattando le specifiche come dimensioni tensoriali di prima classe.

2. Scalatura della Perturbazione Adattiva

Per affrontare i limiti dei budget di perturbazione fissi, gli autori introducono un meccanismo di scalatura che deriva le dimensioni di mutazione dai range ammissibili definiti dalle specifiche utilizzando un fattore di scala condiviso $s \in (0, 1]$.

• Scalatura Isotropica: Calcola un passo scalare globale $\eta = \bar{r} \cdot s$, dove $\bar{r}$ è l'intervallo ammissibile medio attraverso tutte le dimensioni e i campioni. Questo trasmette una magnitudo di perturbazione uniforme.
• Scalatura Anisotropica: Calcola un tensore di passo per dimensione $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$. Questo assegna passi più grandi alle dimensioni con limiti più ampi e passi più fini alle dimensioni strettamente vincolate, consentendo un'esplorazione coerente sotto vincoli eterogenei.

3. Pipeline di Fuzzing Basata su Tensori

Il processo di fuzzing viene eseguito in quattro fasi, tutte operanti su tensori a batch di dimensione $B$:

• Selezione dei Seed: Campiona $B$ seed da un corpus basandosi sulla selezione multinomiale pesata sull'energia, dando priorità agli input che hanno precedentemente innescato nuova copertura o violazioni.
• Mutazione: Applica una strategia selezionata (Gradiente/PGD, Boundary o Random) all'intero batch. La direzione della mutazione viene combinata con il fattore di scalatura adattiva (scalare o tensore) e proiettata nuovamente nella regione ammissibile.
• Esecuzione: Esegue un singolo passaggio in avanti a batch attraverso $M_{wrapped}$. Gli hook di PyTorch catturano le attivazioni intermedie per il tracciamento della copertura, mentre l'OutputSpecLayer segnala le violazioni delle proprietà.
• Feedback: Aggiorna i punteggi di energia per campione in base ai guadagni di copertura e allo stato di violazione, reinserendo i seed interessanti nel corpus.

Contributi Chiave

Il paper riassume i suoi contributi come segue:

1. Framework a Batch Consapevole delle Specifiche: Una pipeline unificata di parallelismo dei dati che opera al livello delle istanze di specifica piuttosto che dei singoli input. Incorporando i vincoli nel modello, esso valuta $B$ specifiche in un singolo passaggio in avanti, migliorando significativamente l'efficienza.
2. Scalatura della Perturbazione Adattiva: Uno schema che deriva le magnitudo di mutazione dai limiti definiti dalle specifiche, supportando sia la scalatura isotropica (scalare globale) che quella anisotropica (tensore per dimensione) per gestire efficacemente i vincoli di input eterogenei.
3. Implementazione e Valutazione: Un'implementazione PyTorch valutata su sei reti attraverso tre benchmark (TrafficSigns, Cifar100, TinyImageNet) con oltre 400 specifiche.

Risultati Sperimentali

Il framework è stato valutato contro un baseline sequenziale (che simula il paradigma un-input-per-iterazione di DeepHunter) sotto un budget di tempo fisso.

• Throughput: L'approccio a batch basato su tensori ha raggiunto un throughput fino a 40 volte superiore rispetto al baseline sequenziale. Ad esempio, su Cifar100 e TinyImageNet, l'accelerazione è stata di 34–40×, mentre TrafficSigns ha visto un miglioramento di 5× (attribuito all'architettura di rete più leggera che permette al baseline di girare più velocemente).
• Scoperta di Violazioni: Sotto lo stesso budget di tempo, l'approccio a batch ha scoperto 4 volte più violazioni rispetto al baseline sequenziale.
  • Su TrafficSigns, i metodi a batch hanno trovato ~75.000 violazioni rispetto alle ~19.000 del baseline.
  • Su Cifar100, i metodi a batch hanno trovato ~61.000 violazioni rispetto alle ~14.000 del baseline.
• Tempo alla Prima Violazione (TTFV): L'approccio a batch ha identificato il primo controesempio entro 0,06–1,2 secondi, mentre il baseline sequenziale spesso si avvicinava al timeout di 60 secondi prima di trovare la prima violazione.
• Anisotropico vs Isotropico: La scalatura anisotropica ha mostrato vantaggi particolari su benchmark con vincoli eterogenei (ad esempio, TinyImageNet) e a fattori di scala $s$ più piccoli, superando la scalatura isotropica fino al 38% in configurazioni specifiche.
• Impatto della Dimensione del Batch: L'analisi statistica (test Mann-Whitney U) ha confermato che l'aumento della dimensione del batch $B$ migliora significativamente la resa delle violazioni, sebbene il raffinamento per istanza diminuisca all'aumentare di $B$, indicando un compromesso tra throughput e raffinamento.

Significato e Rivendicazioni

Il paper afferma che il suo significato primario risiede nel superare i limiti intrinseci degli approcci di perturbazione uniforme e sequenziale nel fuzzing delle DNN. Elevando il ciclo di fuzzing al livello tensoriale e integrando i vincoli di specifica direttamente nell'esecuzione del modello, il framework ottiene miglioramenti sostanziali sia nel throughput di testing che nella scoperta di controesempi.

Gli autori sottolineano che, sebbene il paradigma sequenziale possa eventualmente scoprire violazioni dato un budget scalato dalla dimensione del batch ($B \times 60s$), il suo design un-input-per-iterazione rende la generazione di controesempi significativamente più lenta in termini di tempo reale (wall-clock time). Il metodo proposto dimosta che trattare le specifiche come dimensioni tensoriali di prima classe consente l'elaborazione simultanea di molteplici catene di mutazione, portando a un guadagno di "4× più violazioni" entro lo stesso intervallo di tempo reale. Il lavoro si pone come un approccio complementare alla verifica formale, fornendo controesempi concreti rapidamente piuttosto che certificati di sicurezza esaustivi.