Sintesi Tecnica: LATTE – Generazione di Test Guidata da Ancore Latenti per Reti Neurali Profonde

Definizione del Problema

Le Reti Neurali Profonde (DNN) sono sempre più impiegate in applicazioni critiche per la sicurezza, rendendo necessari test rigorosi per identificare le debolezze dei modelli. A differenza del software tradizionale, le DNN non vanno in crash su input non validi (purché il formato sia corretto), ma possono produrre classificazioni errate. Un testing efficace richiede la generazione di input che siano semanticamente vicini ai seed originali per garantire che i fallimenti rivelati derivino dalle debolezze del modello piuttosto che da una deriva semantica.

Gli approcci di testing esistenti affrontano un compromesso tra controllabilità dell'esplorazione, diversità dei guasti e prossimità semantica rispetto al seed:

• Mutazione dello spazio di input: Mutare direttamente i pixel spesso introduce una significativa deriva semantica, generando input che deviano dalla distribuzione dei dati originali.
• Generazione nello spazio latente: Sebbene metodi come SINVAD, Mimicry e CIT4DNN utilizzino spazi latenti appresi per mantenere la plausibilità, essi faticano a bilanciare l'esposizione a guasti diversificati con una prossimità semantica controllata. Gli attuali metodi latenti spesso si affidano ad aggiornamenti non vincolati, ottimizzazione iterativa o copertura combinatoria, mancando di un meccanismo per un'esplorazione esplicita, centrata sul seed e multidirezionale che bilanci la scoperta di guasti con la fedeltà semantica.

Metodologia: LATTE

Gli autori propongono LATTE (Latent Anchor-Driven Test Generation), un framework di testing black-box che genera casi di test semanticamente prossimi, diversificati e rivelatori di guasti sfruttando un manifold latente appreso. Il framework opera in tre fasi principali:

1. Estrazione della Rappresentazione Latente:

   • I seed di input vengono codificati in uno spazio latente compatto utilizzando un VQ-VAE (Vector Quantized Variational Autoencoder) pre-addestrato.
   • Questo mappa i dati di pixel ad alta dimensionalità in un vettore latente a bassa dimensionalità ($Z_{seed}$), garantendo che le successive mutazioni rimangano all'interno della regione di campioni plausibili.

2. Esplorazione Latente Guidata da Ancore:

   • Ancore: Per un dato seed di classe $C_{seed}$, il sistema campiona delle "ancore" dalle rappresentazioni latenti di classi alternative ($C_k \neq C_{seed}$).
   • Mutazione Direzionale: Il vettore dal seed verso l'ancora definisce una direzione di mutazione. LATTE esegue uno spostamento latente a singolo step lungo questa direzione, controllato da un parametro di grado di esplorazione ($E$).
   • Intuizione: Muoversi da un seed verso un'ancora di una classe diversa permette di attraversare regioni dove le predizioni del modello possono diventare meno stabili (regioni di incertezza), mentre il manifold appreso assicura che l'input rimanga visivamente plausibile.

3. Ricostruzione e Decodifica:

   • I punti latenti mutati vengono passati attraverso un quantizzatore vettoriale per mapparli al codeword più vicino nel codebook appreso, imponendo la prossimità al manifold dei dati.
   • Il vettore quantizzato viene decodificato nuovamente nello spazio di input per generare il caso di test finale.

Meccanismi di Oracle:
LATTE valuta i casi di test generati sotto due configurazioni di oracle ampiamente adottate:

• Testing a Modello Singolo: Un test è rivelatore di guasti se l'input mutato innesca una predizione diversa rispetto al seed originale (esponendo l'instabilità decisionale).
• Testing Multi-Modello: Un test è rivelatore di guasti se due modelli addestrati indipendentemente producono predizioni diverse sullo stesso input (esponendo il disaccordo tra modelli).

Contributi Chiave

1. Strategia di Testing: L'introduzione di LATTE, una strategia di esplorazione centrata sul seed e guidata da ancore per classificatori di immagini black-box. Genera input di follow-up tramite spostamento latente controllabile, supportando sia oracle a modello singolo che multi-modello.
2. Caratterizzazione Empirica: Una valutazione completa dell'esplorazione latente guidata da ancore riguardo all'esposizione ai guasti, diversità comportamentale, efficienza di testing e deriva semantica.
3. Valutazione: Uno studio comparativo rispetto ai baseline dello stato dell'arte nello spazio latente (SINVAD, Mimicry, CIT4DNN) su cinque dataset (MNIST, FashionMNIST, SVHN, CIFAR10, ImageNet) e dieci modelli DNN.
4. Open Source: Fornitura di un'implementazione open-source per supportare la valutazione riproducibile.

Risultati Sperimentali

Gli autori hanno valutato LATTE rispetto ai baseline sotto budget di testing equivalenti (10.000 casi di test per seed o dataset).

• Esposizione ai Guasti (Conteggio dei Fallimenti): LATTE ha generato costantemente il maggior numero di casi di test rivelatori di guasti. Ad esempio, su ImageNet con ResNet50, LATTE ha scoperto oltre 6.200 fallimenti rispetto a circa 5.400 per Mimicry e circa 800 per SINVAD.
• Copertura dei Seed: LATTE ha raggiunto una copertura dei seed quasi perfetta (100% attraverso i dataset), garantendo che ogni seed sorgente producesse almeno un input che induce il fallimento, mentre SINVAD ha coperto solo il 29–44% dei seed.
• Efficienza di Testing: LATTE ha dimostrato un'efficienza superiore, in particolare sui modelli su larga scala. Su ImageNet, LATTE ha generato 10.000 casi di test in circa 53 secondi, rispetto ai circa 214 secondi di Mimicry (dovuti all'ottimizzazione iterativa) e circa 68 secondi di SINVAD.
• Diversità dei Guasti: LATTE ha scoperto una gamma più ampia di esiti di predizione errati (maggiore diversità di fallimento e diversità di coppia di confusione) rispetto ai baseline, che tendevano a rivisitare pattern di misclassificazione simili.
• Deriva Semantica: Sotto l'impostazione a modello singolo, LATTE ha mantenuto la più bassa deriva semantica rispetto al seed (misurata tramite distanza coseno nello spazio di rappresentazione DINOv2), indicando che i fallimenti generati rimanevano più vicini ai seed originali rispetto a quelli dei baseline.
• Studio di Ablazione: Lo studio ha identificato un grado di esplorazione ottimale ($E=3$), che bilancia l'alta esposizione ai guasti con la bassa deriva semantica. Ha inoltre confermato che il VQ-VAE con una dimensione del codebook di 512 forniva la migliore qualità di ricostruzione e fedeltà distributiva.

Significato e Rivendicazioni

Il documento sostiene che LATTE affronti un limite fondamentale nel testing delle DNN esistenti: il compromesso tra l'esplorazione di diversi modi di fallimento e il mantenimento della prossimità semantica rispetto all'input originale.

• Esplorazione Bilanciata: Inquadrando la generazione di test come esplorazione direzionale centrata sul seed e guidata da ancore, LATTE riesce a sondare i vicinati locali attorno ai seed dove le decisioni del modello sono meno stabili senza deviare significativamente dal manifold dei dati.
• Applicabilità Pratica: Il framework è efficace per scenari black-box in cui i dettagli interni del modello non sono disponibili. Supera i metodi esistenti nello spazio latente in termini di esposizione ai guasti e diversità, mantenendo al contempo un minor overhead computazionale e una minore deriva semantica.
• Distinzione dagli Attacchi Adversarial: Gli autori sottolineano che LATTE è distinto dagli attacchi adversarial. Mentre gli attacchi ottimizzano per minimizzare le perturbazioni al fine di forzare un target specifico, LATTE mira a rivelare comportamenti diversificati che attivano l'oracle (instabilità e disaccordo) sotto un budget di testing fisso, usando la prossimità semantica come un vincolo piuttosto che come un obiettivo di ottimizzazione.

Gli autori concludono che l'esplorazione latente guidata da ancore è una strategia promettente per il testing black-box di classificatori di immagini, bilanciando efficacemente l'esposizione ai guasti, la diversità comportamentale e la prossimità semantica rispetto al seed.