Sintesi Tecnica: Ripensare i Paradigmi di Valutazione nell'Addestramento Certificato basato su IBP

Definizione del Problema

Le reti neurali profonde (DNN) raggiungono prestazioni elevate nei compiti di apprendimento supervisionato, ma rimangono vulnerabili alle perturbazioni avversarie. Sebbene la verifica delle reti neurali fornisca garanzie di robustezza matematicamente rigorose, essa è computazionalmente costosa (NP-completa). Le tecniche di addestramento certificato, in particolare quelle basate su Interval Bound Propagation (IBP), mirano a ottimizzare la robustezza verificabile durante l'addestramento. Tuttavia, questi metodi inducono un fondamentale compromesso tra accuratezza naturale (prestazioni sui dati puliti) e accuratezza certificata (prestazioni su input provabilmente robusti).

L'attuale paradigma di valutazione nel campo è difettoso: i ricercatori riportano tipicamente una singola configurazione (un singolo punto nello spazio di compromesso) determinata tramite tuning manuale o ricerca a griglia (grid search). Questa pratica è problematica perché:

1. Bias: Il confronto tra singole configurazioni dipende fortemente dal punto di compromesso specifico scelto, portando a conclusioni distorte sullo stato dell'arte.
2. Sottotuning (Under-tuning): I lavori precedenti spesso non esplorano l'intero spazio degli iperparametri, rischiando di perdere configurazioni superiori che dominano i risultati riportati.
3. Mancanza di Standardizzazione: Non esiste una procedura standardizzata e imparziale per posizionare i nuovi metodi rispetto a quelli esistenti attraverso l'intero spettro di robustezza-accuratezza.

Metodologia

Gli autori propongono un cambio di paradigma dalla valutazione a punto singolo alla valutazione basata sulla frontiera di Pareto. Invece di ottimizzare per un singolo obiettivo (ad esempio, massimizzare l'accuratezza certificata), trattano il problema come un compito di ottimizzazione multi-obiettivo per scoprire l'insieme delle configurazioni non dominate (la frontiera di Pareto).

Approccio Core

1. Ottimizzazione Multi-obiettivo degli Iperparametri (MO-HPO): Gli autori impiegano l'ottimizzazione bayesiana multi-obiettivo utilizzando surrogati di processo gaussiano e la funzione di acquisizione Expected Hypervolume Improvement (EHVI). Ciò consente l'ottimizzazione simultanea dell'accuratezza naturale e dell'accuratezza certificata.
2. Design dello Spazio di Ricerca: Per garantire un confronto imparziale, lo spazio di ricerca è esaustivo, includendo:
   • Iperparametri generali del deep learning (learning rate, ottimizzatori come Adam/AdamW/RAdam, schemi di decadimento).
   • Parametri di compromesso specifici del metodo (ad esempio, $\kappa$ per IBP/CROWN-IBP, $\alpha$ per MTL-IBP, $\tau$ per SABR).
   • Parametri dello schema di addestramento (epoch di warm-up, epoch di ramp-up, fattori di scala di $\epsilon$).
   • Parametri di attacco (step PGD, step size, restart).
   • Fondamentalmente, lo spazio di ricerca include parametri spesso fissi o ignorati nella letteratura precedente (ad esempio, permettere transizioni di $\kappa$, variare le lunghezze di warm-up), consentendo la scoperta di configurazioni precedentemente inesplorate.
3. Proxy di Valutazione Efficiente: Poiché la verifica completa (richiesta per l'accuratezza certificata finale) è computazionalmente proibitiva per ogni prova, l'anello di ottimizzazione utilizza la verifica incompleta (IBP, CROWN, CROWN-IBP) come obiettivo proxy.
4. Verifica Finale: Una volta identificate le configurazioni Pareto-ottimali tramite il proxy, queste vengono rivalutate utilizzando la verifica completa allo stato dell'arte (specificamente $\alpha\beta$-CROWN) per stabilire la frontiera di Pareto finale. Per gestire i costi, viene utilizzato il clustering single-linkage per filtrare le configurazioni ridondanti prima della verifica completa.
5. Budget Standardizzato: Tutti i metodi sono valutati sotto un budget computazionale fisso (100 prove per seed, 3 seed per metodo) per garantire un confronto equo.

Contributi Chiave

1. Nuovo Standard di Valutazione: Il paper stabilisce un protocollo di valutazione multi-obiettivo standardizzato che sostituisce i confronti a punto singolo con l'analisi della frontiera di Pareto. Ciò consente una valutazione sfumata in cui i ricercatori possono selezionare i metodi in base alle loro specifiche esigenze (ad esempio, dare priorità all'accuratezza pulita rispetto alle garanzie certificate).
2. Scoperta di Configurazioni Sottotunate: Esplorando sistematicamente lo spazio degli iperparametri, gli autori dimostrano che molti risultati precedentemente riportati come "stato dell'arte" sono dominati dalla frontiera di Pareto di configurazioni trovate attraverso la loro ottimizzazione automatizzata. Ciò rivela un significativo "sottotuning" nella letteratura esistente.
3. Benchmarking Esaustivo: Lo studio fornisce il primo confronto multi-obiettivo completo dei principali metodi di addestramento certificato basati su IBP (IBP, CROWN-IBP, SABR, MTL-IBP) su CIFAR-10 e Tiny ImageNet con diversi raggi di perturbazione ($\epsilon$).
4. Insight sugli Iperparametri: Utilizzando fANOVA, gli autori identificano che le interazioni complesse tra gli iperparametri (ad esempio, la transizione di $\kappa$ durante il ramp-up, la scala di $\epsilon$ e la durata del warm-up) sono critiche per raggiungere i compromessi ottimali, intuizioni spesso trascurate dal tuning manuale.

Risultati

• Prestazioni Superiori: La valutazione proposta scopre configurazioni che dominano i risultati precedenti. Ad esempio, su CIFAR-10 con $\epsilon = 2/255$, SABR ottiene guadagni di oltre l'1% sia in accuratezza pulita che certificata rispetto alla letteratura. Su Tiny ImageNet, MTL-IBP mostra miglioramenti di circa il 2% in entrambi i parametri.
• Complementarità dei Metodi: Nessun metodo domina uniformemente.
  • SABR eccelle generalmente nel raggiungere un'elevata accuratezza naturale.
  • MTL-IBP tende a fornire le garanzie certificate più forti, particolarmente a piccoli raggi di perturbazione.
  • IBP e CROWN-IBP rimangono competitivi, specialmente quando si desiderano accuratezze naturali più elevate o a raggi di perturbazione maggiori ($\epsilon = 8/255$), sfidando l'assunto che siano obsoleti.
• Progresso Stagnante a Grandi Raggi: L'analisi suggerisce che il progresso a grandi raggi di perturbazione si è arrestato, con i metodi più vecchi che contribuiscono significativamente alla frontiera di Pareto combinata.
• Tuning sul Set di Validazione vs Set di Test: Gli autori dimostrano che il tuning degli iperparametri direttamente sul set di test (una pratica comune ma problematica) porta a frontiere di Pareto che dominano strettamente quelle ottenute tramite il tuning del set di validazione, indicando che le valutazioni precedenti hanno probabilmente sovrastimato le prestazioni di generalizzazione.
• Efficienza Computazionale: Lo studio mostra che, sebbene la verifica completa sia costosa, ridurre il timeout di verifica (ad esempio, da 1000s a 100s su CIFAR-10) preserva la forma della frontiera di Pareto riducendo al contempo i costi computazionali di un ordine di grandezza.

Significato e Rivendicazioni

Il paper sostiene che lo stato dell'arte attuale nell'addestramento certificato è stato significativamente sottostimato a causa di un cattivo tuning degli iperparametri e di metodologie di valutazione difettose. Adottando una prospettiva multi-obiettivo:

• Rivalutazione dello Stato dell'Arte: I recenti progressi sono meno marcati di quanto precedentemente assunto, particolarmente per i raggi di perturbazione più ampi.
• Intuizioni Azionabili: Il lavoro fornisce una guida concreta per la comunità, evidenziando che le interazioni complesse tra gli iperparametri (spesso trascurate) sono essenziali per le prestazioni ottimali.
• Direzione Futura: Gli autori raccomandano un passaggio verso protocolli di valutazione multi-obiettivo standardizzati. Suggeriscono che la comunità debba concentrarsi su strategie di "verifica economica" piuttosto che fare affidamento su timeout di verifica sempre più ampi per distinguere i metodi, poiché timeout più piccoli sono spesso sufficienti per identificare la frontiera di Pareto.

In definitiva, il paper sostiene che una valutazione equa richiede l'esplorazione dell'intero spazio di compromesso, consentendo lo sviluppo di modelli certificati che siano sia robusti che praticamente utili, evitando al contempo conclusioni fuorvianti derivanti da confronti a configurazione singola.