Improving Certified Robustness via Adversarial Distillation

Sintesi Tecnica: Miglioramento della Robustezza Certificata tramite Distillazione Avversaria

Definizione del Problema
Le reti neurali sono vulnerabili agli esempi avversari, in cui piccole perturbazioni dell'input causano una classificazione errata. Sebbene l'addestramento avversario (AT) migliori la robustezza empirica, i modelli risultanti sono difficili da verificare formalmente. Al contrario, i metodi di addestramento certificato, che ottimizzano i limiti superiori della perdita nel caso peggiore (tipicamente tramite l'Interval Bound Propagation, o IBP), producono modelli verificabili ma spesso soffrono di una degradazione dell'accuratezza standard. Gli approcci recenti allo stato dell'arte tentano di bilanciare questo aspetto interpolando tra i limiti inferiori avversari e i limiti superiori IBP. Tuttavia, il compromesso tra accuratezza standard e accuratezza certificata rimane una sfida significativa, in particolare all'aumentare dei raggi di perturbazione.

Metodologia: AD-CERT
Gli autori propongono AD-CERT (Adversarial Distillation for Certification), un nuovo obiettivo di addestramento che combina la distillazione della conoscenza avversaria con i limiti IBP. L'ipotesi centrale è che il trasferimento della conoscenza avversaria da un insegnante empiricamente robusto a uno studente certificato possa servire come un efficace surrogato per il limite inferiore avversario, migliorando il compromesso tra accuratezza standard e certificata.

La funzione di perdita AD-CERT è formulata come una combinazione lineare di due termini:
$$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Distillazione Avversaria}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$$

Dove:

• $f_{\theta_t}$ è una rete insegnante (teacher) congelata, addestrata tramite addestramento avversario standard (PGD).
• $f_{\theta_s}$ è la rete studente (student) che viene addestrata per la certificazione.
• $x_{adv}$ è un esempio avversario generato contro lo studente.
• Il termine di Distillazione Avversaria (AD) minimizza la divergenza di Kullback-Leibler (KL) tra la distribuzione predittiva dell'insegnante sugli input puliti ($P_{\theta_t}(x)$) e la distribuzione predittiva dello studente sugli input avversari ($P_{\theta_s}(x_{adv})$).
• Il termine IBP calcola il limite superiore standard della perdita utilizzando l'Interval Bound Propagation.
• $\alpha \in [0, 1]$ bilancia gli obiettivi empirici e certificati.

Approfondimenti Teorici
Il documento fornisce un'analisi teorica che caratterizza AD-CERT:

1. Surrogato del Limite Inferiore: Si dimostra che il termine AD è equivalente all'addestramento avversario con etichette morbide (soft labels) dell'insegnante, agendo come un "surrogato del limite inferiore guidato dall'insegnante". A differenza del classico AT che ottimizza un limite inferiore rigido, AD-CERT utilizza le etichette morbide dell'insegnante per guidare il comportamento dello studente sugli esempi avversari.
2. Scalarizzazione: L'obiettivo è una scalarizzazione tra un surrogato del limite inferiore avversario con etichette morbide e un limite superiore certificato IBP.
3. Differenza Geometrica: A differenza del classico AT, che spinge per margini di classe arbitrariamente grandi, il ramo AD induce un target finito nello spazio dei logit definito dalla distribuzione predittiva dell'insegnante ($\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$). Ciò suggerisce un panorama di ottimizzazione più fluido.

Risultati Sperimentali
Gli autori hanno valutato AD-CERT su MNIST, CIFAR-10 e TinyImageNet utilizzando la libreria CTBench e il verificatore $\alpha,\beta$-CROWN.

• Prestazioni allo Stato dell'Arte: AD-CERT raggiunge l'accuratezza certificata allo stato dell'arte in tutte le architetture basate su ReLU valutate.
  • Su MNIST, fornisce miglioramenti costanti e modesti rispetto ai metodi esistenti.
  • Su CIFAR-10, migliora la migliore accuratezza certificata precedente per architetture ReLU di una media di 0,37 punti percentuali, con il guadagno maggiore a $\epsilon = 2/255$.
  • Su TinyImageNet, AD-CERT raggiunge la più alta accuratezza certificata tra tutti i metodi confrontati, migliorando sostanzialmente l'accuratezza standard rispetto ai precedenti metodi di addestramento certificato senza distillazione.
• Confronto con i Metodi di Distillazione: In un confronto controllato con CC-DIST (che esegue la distillazione delle caratteristiche robuste nello spazio delle feature), AD-CERT (distillazione dei logit a livello di logit) raggiunge un'accuratezza certificata superiore, mentre CC-DIST mantiene un'accuratezza standard leggermente più elevata. AD-CERT migliora l'accuratezza certificata rispetto a CC-DIST fino a 5,40 punti percentuali in configurazioni specifiche.
• Studi di Ablazione:
  • Rimuovendo la componente IBP per testare le tecniche di pura distillazione, si osserva che l'accoppiamento con l'insegnante solo sugli input puliti (Natural KL) non riesce a trasferire la robustezza avversaria.
  • La distillazione avversaria a livello di logit (AD) preserva la robustezza dell'insegnante in modo più efficace rispetto alla distillazione nello spazio delle feature o ad altre varianti di distillazione avversaria (come RSLAD) quando utilizzata come endpoint empirico.
  • L'analisi di sensibilità del coefficiente IBP $\alpha$ conferma che la riduzione della forza di IBP migliora l'accuratezza standard ma, infine, degrada l'accuratezza certificata, in linea con i trend della letteratura sulle perdite espressive.

Significatività e Rivendicazioni
Il documento sostiene che AD-CERT colma con successo il divario tra robustezza empirica e verifica formale. Decoupling (disaccoppiando) l'endpoint empirico (usando una distillazione a livello di logit guidata dall'insegnante) dall'endpoint certificato (usando puro IBP), il metodo evita le complessità delle perdite espressive strettamente accoppiate presenti nei lavori precedenti.

Gli autori sottolineano che, sebbene AD-CERT raggiunga prestazioni certificate superiori, rimane un divario significativo tra l'accuratezza standard/avversaria dell'insegnante empiricamente robusto e quella dello studente certificabilmente robusto, specialmente per raggi di perturbazione ampi (ad esempio, CIFAR-10 a $\epsilon = 8/255$). Il documento conclude che, sebbene la distillazione a livello di logit sia un meccanismo efficace per trasferire la robustezza, è necessario sviluppare metodi più forti per trasferire la robustezza empirica in robustezza certificabile senza sacrificare l'accuratezza standard.