Testing Neural Networks via Bayesian-Guided Exploration of Decision Landscapes

Sintesi Tecnica: Test delle Reti Neurali tramite l'Esplorazione del Paesaggio Decisionale Guidata da Bayes

Definizione del Problema
Con l'impiego delle Reti Neurali Profonde (DNN) in domini critici per la sicurezza, il testing diventa essenziale per valutarne l'affidabilità. Tuttavia, i metodi di testing esistenti presentano limitazioni significative. Gli approcci black-box si affidano a mutazioni casuali o basate sulla ricerca senza una guida interna, richiedendo spesso un numero eccessivo di query per trovare guasti. I metodi white-box, invece, tipicamente prioritizzano la massimizzazione della copertura dei neuroni; tuttavia, un'elevata copertura non garantisce la scoperta di guasti decisionali critici, poiché molti neuroni attivati possono essere irrilevanti per la previsione finale del modello. Inoltre, le strategie esistenti faticano spesso a bilanciare efficienza e diversità sotto budget di mutazione limitati, sprecando frequentemente risorse in regioni irrilevanti per la decisione o convergendo su modalità di guasto simili. La sfida centrale consiste nell'esplorare sistematicamente le "regioni critiche per la decisione" — aree in cui piccole perturbazioni inducono cambiamenti significativi nei confini decisionali — mantenendo al contempo la prossimità alla distribuzione originale dei dati e alla loro semantica.

Metodologia: BAYESWARP
Gli autori propongono BAYESWARP, un framework di testing white-box che affronta tali limitazioni attraverso tre componenti complementari:

1. Localizzazione delle Regioni Critiche per la Decisione: Invece di mutare l'intero spazio di input, BAYESWARP identifica prima le regioni altamente influenti alle decisioni del modello utilizzando tecniche di interpretabilità basate sulla salienza (es. Grad-CAM, Integrated Gradients, SmoothGrad). Elabora le mappe di salienza risultanti tramite:

   • Soglia (thresholding) per mantenere i pixel più salienti.
   • Estrazione di componenti connesse 8 e scarto dei frammenti piccoli.
   • Fusione dei bounding box basata su Intersection-over-Union (IoU) e distanza tra i centroidi per ridurre la frammentazione.
   • Selezione di un sottoinsieme di box fusi tramite una strategia greedy basata sulla massa di salienza, vincolata da un budget di copertura predefinito ($\rho$). Questo trasforma l'attribuzione a livello di pixel in uno spazio di mutazione localizzato e trattabile.

2. Obiettivo di Testing Orientato alla Diversità: Il framework definisce una funzione obiettivo che bilancia adattivamente la soppressione della fiducia nella classe originale e la promozione della fiducia in una classe target selezionata.

   • Ponderazione Adattiva: Un peso dinamico $\lambda(x)$ sposta il focus dell'obiettivo dalla destabilizzazione della decisione originale all'induzione della divergenza della previsione man mano che la fiducia nella classe target aumenta.
   • Programmazione della Classe Target: Il sistema seleziona iterativamente le classi target non esplorate con la fiducia iniziale più elevata, allocando un budget di mutazione fisso per classe per evitare un eccessivo concentramento su un singolo tipo di guasto.

3. Mutazione Guidata da Bayes: Per esplorare efficientemente lo spazio di mutazione localizzato sotto un budget fisso, BAYESWARP impiega l'Ottimizzazione Bayesiana (BO) con un surrogato a Processo Gaussiano Variazionale Sparso (SVGP).

   • Le mutazioni sono parametrizzate su una griglia spaziale grossolana che copre la regione critica, riducendo la dimensionalità.
   • Il surrogato SVGP modella la funzione obiettivo, fornendo stime della media predittiva e dell'incertezza.
   • Una funzione di acquisizione Upper Confidence Bound (UCB) guida la selezione dei passi di mutazione, bilanciando l'esplorazione di direzioni promettenti con l'esplorazione di aree incerte.
   • Il processo include vincoli per garantire che i casi di test generati rimangano entro un intervallo limitato della distribuzione originale dei dati e incorpora l'iniezione di rumore stocastico per evitare una convergenza prematura.

Contributi Chiave

• Approccio: L'introduzione di BAYESWARP, che integra la localizzazione delle regioni critiche per la decisione, obiettivi orientati alla diversità adattiva e ottimizzazione bayesiana scalabile basata su SVGP.
• Strumento: Un'implementazione di un framework di testing automatizzato open-source.
• Valutazione: Valutazione completa su tre dataset (MNIST, CIFAR-10, ImageNet) e sei modelli di reti neurali (LeNet, VGG, ResNet), dimostrando miglioramenti rispetto ai baseline allo stato dell'arte (ADAPT, NSGen, SUNTest).

Risultati
I risultati sperimentali indicano che, sotto un budget di mutazione fisso (10.000 mutazioni per seed), BAYESWARP supera i metodi esistenti in diversi parametri chiave:

• Scoperta di Guasti: Raggiunge un Numero di Guasti (NoF) e un Tasso di Seed Inducente Guasti (FSR) più elevati nella maggior parte dei modelli e dei dataset.
• Efficienza: Richiede meno Tempo per Guasto (TPF) rispetto ai baseline, indicando un uso più efficace del budget di mutazione.
• Diversità: Rivela uno spettro più ampio di modalità di guasto (maggiore Diversità dei Guasti, DoF), esplorando molteplici direzioni decisionali concorrenti piuttosto che una singola direzione dominante.
• Qualità: I casi di test generati mostrano una Fréchet Inception Distance (FID) inferiore e un punteggio di Consistenza Semantica (SCS) superiore, confermando che rimangono distribuzionalmente e semanticamente vicini ai dati originali.
• Copertura Interna: Nonostante non ottimizzi esplicitamente la copertura, BAYESWARP raggiunge una Copertura dei Neuroni Top-k (TKNC) e una Copertura dei Neuroni Critici (CNC) superiori rispetto ai baseline, suggerendo che esercita efficacemente gli stati interni rilevanti per la decisione.
• Miglioramento del Modello: L'affinamento (fine-tuning) dei modelli con i casi di guasto generati da BAYESWARP porta a maggiori miglioramenti dell'accuratezza rispetto all'affinamento con casi derivanti da altre tecniche di testing.

Significatività e Rivendicazioni
L'articolo sostiene che BAYESWARP dimostra il valore dello spostamento dei paradigmi di testing delle DNN dalla mutazione globale o guidata dalla copertura verso un'esplorazione critica per la decisione e orientata alla diversità. Concentrandosi sulle regioni che influenzano effettivamente le decisioni del modello e utilizzando un'ottimizzazione consapevole dell'incertezza per navigarle, il framework scopre diverse debolezze del modello senza sacrificare la fedeltà dei dati. Gli autori postulano che questo approccio riveli instabilità intrinseche del modello che sono più informative per il riaddestramento e il miglioramento della robustezza del modello rispetto ai guasti generati da metodi casuali o puramente guidati dalla copertura. Il lavoro si distingue dagli attacchi avversari privilegiando la scoperta di modalità di guasto diverse e allineate alla distribuzione per il testing e il miglioramento, piuttosto che l'ottimizzazione di perturbazioni minime sotto modelli di minaccia.