Sintesi Tecnica: HyperNet-Adaptation per la Generazione di Casi di Test Basata su Diffusione (HyNeA)

1. Definizione del Problema

L'impiego crescente di sistemi di deep learning (DL) rende necessaria una valutazione sistematica della loro affidabilità in scenari reali. Gli attacchi avversari tradizionali basati sul gradiente introducono perturbazioni impercettibili che spesso non corrispondono a guasti realistici, concentrandosi sulla robustezza piuttosto che sul comportamento funzionale. Sebbene i metodi di generazione di test generativi offrano un'alternativa sintetizzando variazioni di input diversificate, gli approcci esistenti affrontano limitazioni significative:

• Ambito Limitato: Molti sono ristretti a dataset semplici o domini di input vincolati a causa di vincoli architettonici.
• Mancanza di Controllabilità: Sebbene i modelli di diffusione (DM) consentano una sintesi di immagini ad alta fedeltà, la loro applicazione al testing su larga scala è ostacolata dagli elevati costi computazionali e dalla limitata controllabilità.
• Dipendenza da Dati Curati: Gli attuali approcci di diffusione controllabile (ad es., ControlNet) si affidano a dataset di condizionamento curati a priori che accoppiano esplicitamente gli input con segnali di controllo. Ciò restringe la capacità di generare casi di test per modalità di guasto non rappresentate nella distribuzione di addestramento, che è uno degli obiettivi primari del testing dei DL.

2. Metodologia: HyNeA

Gli autori propongono HyNeA (HyperNet Adaptation), un metodo di testing generativo dataset-free che consente un controllo diretto ed efficiente sulla generazione basata su diffusione senza richiedere il fine-tuning o dataset di condizionamento curati.

Architettura Core

HyNeA si basa sui principi architettonici di ControlNet ma inverte fondamentalmente il meccanismo di controllo:

• ControlNet (Standard): Apprende una mappatura globale da input di condizionamento ($c$) a output guidati ($X$) utilizzando un dataset curato ($c \to X$).
• HyNeA (Proposto): Ottimizza una HyperNet su una base per singolo caso di test per produrre segnali di condizionamento che inducano il guasto desiderato nel Sistema Sotto Testo (SUT) ($X \to c$).

Componenti Chiave

1. Sistema Sotto Testo (SUT): Il modello DL oggetto della valutazione (ad es., classificatore, rilevatore di oggetti).
2. Manipolatore: Un Latent Diffusion Model (LDM) pre-addestrato aumentato con una HyperNet addestraibile (una rete ausiliaria). I parametri del LDM base sono congelati; solo i pesi della HyperNet vengono aggiornati.
3. Proiettore di Controllo ($\phi_c$): Una funzione addestrabile che proietta output arbitrari del SUT (ad es., logit di classificazione, punteggi di rilevamento) in un segnale di controllo spaziale compatibile con lo spazio latente dell'immagine. Ciò consente a predizioni del SUT non spaziali di guidare il processo di diffusione.
4. Ottimizzatore: Utilizza AdamW con uno schema di learning rate OneCycle per adattare i pesi della HyperNet per ogni specifica istanza di caso di test.
5. Obiettivi (Funzione di Perdita): L'obiettivo di addestramento è guidato dal comportamento piuttosto che dalla ricostruzione. Combina:
   • Fedeltà Visiva: Una perdita di distanza di Frobenius ($\omega_{dF}$) per garantire che l'immagine generata rimanga strutturalmente simile all'originale.
   • Guida del Comportamento (Behavior Steering): Perdite specifiche del task (Cross-Entropy per la classificazione, Binary Cross-Entropy per gli attributi, Mean-Reduced Cross-Entropy per il rilevamento di oggetti) che spingono l'output del SUT verso uno stato di guasto target.

Strategia di Addestramento

A differenza dell'addestramento standard di ControlNet che minimizza l'errore di ricostruzione su un dataset, HyNeA effettua la back-propagation della perdita dal final generated image attraverso il processo di diffusione verso i pesi della HyperNet. Questa adattabilità per istanza elimina la necessità di coppie sorgente-target, permettendo la generazione di casi di test che inducono guasti anche quando non esistono esempi espliciti di tali guasti nei dati di addestramento.

3. Contributi Chiave

• Metodo di Testing: Introduzione di HyNeA, un nuovo approccio che consente la generazione di input controllabile e dataset-free tramite l'adattamento della HyperNet specifica per istanza. Esso evita la necessità di dataset di condizionamento curati o di un addestramento su larga scala.
• Valutazione Empirica: Uno studio esaustivo su molteplici task di visione (classificazione multiclasse, classificazione di attributi binari e rilevamento di oggetti) dimostra che HyNeA genera casi di test realistici e semanticamente coerenti che rivelano guasti del modello più informativi rispetto ai baseline esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato HyNeA contro i baseline allo stato dell'arte: Mimicry (interpolazione latente basata su StyleGAN) e GIFTbench (perturbazione latente basata su diffusione).

Efficacia (RQ1)

• Induzione del Guasto: HyNeA ha raggiunto un tasso di misclassificazione del 100% in tutti i task (ImageNet, CelebA, Driving), inducendo con successo i guasti nel SUT.
• Controllabilità: HyNeA ha dimostrato una controllabilità superiore con un Escape Ratio di 0.00 per ImageNet (il che significa che i guasti mirati sono stati indotti senza influenzare le caratteristiche non correlate), rispetto a 0.52 per Mimicry e 0.84 per GIFTbench.
• Diversità: HyNeA ha generato casi di test con maggiore diversità di embedding e minore differenza di traccia (shift semantico) rispetto ai baseline.

Efficienza (RQ2)

• Budget Computazionale: HyNeA è stato significativamente più efficiente, richiedendo ordini di grandezza in meno valutazioni del SUT. Su ImageNet, HyNeA ha utilizzato circa 25 valutazioni rispetto alle ~2.500 di Mimicry e alle ~700 di GIFTbench.
• Tempo di Esecuzione: Sebbene i tempi di clock variassero per task, l'estrapolazione dei budget di valutazione suggerisce che un Mimicry aumentato dalla diffusione avrebbe richiesto un tempo di esecuzione da 5 a 10 volte superiore rispetto a HyNeA.

Validità (RQ3)

• Realismo: Valutatori umani hanno classificato le immagini generate da HyNeA come fino al 90% più realistiche rispetto ai baseline.
• Preservazione dell'Etichetta: HyNeA ha preservato l'etichetta originale della classe nel 78.7% dei casi (rispetto al 28.7% di Mimicry e al 46.3% di GIFTbench), indicando che i guasti indotti erano errori reali del modello piuttosto che shift semantici dell'input.
• Qualità Visiva: HyNeA ha prodotto immagini con una degradazione visiva del 40-100% inferiore (misurata tramite MS-SSIM e LPIPS) rispetto ai metodi esistenti.

Sensibilità (RQ4)

• Lo studio ha analizzato l'impatto dei tassi di apprendimento. Learning rate piccoli aumentavano il tempo di esecuzione senza migliorare la qualità, mentre rate più grandi riducevano il tempo di esecuzione ma degradavano la fedeltà visiva. È stato identificato uno specifico schema di trade-off per bilanciare realismo, preservazione strutturale ed efficienza.

5. Significato e Claim

Il paper sostiene che HyNeA affronti il vuoto critico nel testing dei DL dove i metodi generativi esistenti mancano di controllabilità o richiedono quantità irrealistiche di dati curati. Invertendo il paradigma di ControlNet, HyNeA consente:

1. Testing Dataset-Free: La capacità di generare casi di guasto mirati senza necessitare di un dataset che contenga esplicitamente tali guasti.
2. Controllo Fine-Grained: Manipolazione precisa di attributi o comportamenti specifici (ad es., soppressione di un oggetto rilevato) mantenendo l'integrità semantica complessiva della scena.
3. Scalabilità: Applicabilità a domini complessi e ad alta dimensionalità come la guida autonoma (rilevamento oggetti) dove i metodi tradizionali basati su prompt o perturbazione latente faticano a mantenere la coerenza.

Gli autori concludono che HyNeA fornisce un framework pratico, efficiente ed efficace per la generazione di casi di test realistici che espongono comportamenti imprevisti del modello, avanzando così la valutazione sistematica dell'affidabilità del deep learning.