Riepilogo Tecnico: Robustezza Certificata da Strutture di Miscele Gaussiane Approssimate negli Spazi Latenti Pre-addestrati

Enunciato del Problema

I modelli di deep learning sono intrinsecamente vulnerabili alle perturbazioni avversarie, comportando rischi significativi per le applicazioni critiche per la sicurezza. Sebbene le difese empiriche (ad esempio, l'addestramento avversario) spesso raggiungano una robustezza forte nella pratica, mancano di garanzie formali e sono suscettibili ad attacchi adattivi. Al contrario, le difese certificate forniscono garanzie di robustezza dimostrabili, ma producono tipicamente limiti eccessivamente conservativi perché non sfruttano la struttura sottostante delle distribuzioni di dati complesse. Recenti lavori teorici (ad esempio, Pal et al., 2023, 2024) hanno stabilito che l'esistenza di classificatori robusti è legata alle proprietà di "localizzazione" delle distribuzioni di dati. Tuttavia, questi risultati rimangono difficili da realizzare nella pratica perché gli insiemi di localizzazione richiesti sono impliciti, i loro parametri sono difficili da stimare e i classificatori risultanti non scalano ai dataset moderni. La sfida centrale affrontata da questo lavoro è: Come possiamo sfruttare la struttura della distribuzione dei dati per progettare classificatori che siano sia certificatamente robusti che efficienti nella pratica?

Metodologia

Il framework proposto, GENELLIPS, affronta questa sfida sfruttando le proprietà strutturali approssimate negli spazi latenti di encoder pre-addestrati. La metodologia procede in due fasi:

1. Fondamento Teorico nelle Miscele Gaussiane (GMM)

Gli autori analizzano prima il setting idealizzato in cui i dati seguono un Modello a Miscela Gaussiana.

• Condizioni di Localizzazione: Derivano condizioni necessarie e sufficienti per l'esistenza di classificatori robusti nelle GMM. Nello specifico, dimostrano che se le distribuzioni condizionali per classe sono localizzate su insiemi ellissoidali definiti dalle loro medie e covarianze, esiste un classificatore robusto. Queste condizioni sono espresse in forma chiusa utilizzando grandezze geometriche (medie, covarianze e separazioni).
• Il Classificatore ELLIPS: Basandosi su queste condizioni, costruiscono un classificatore denominato ELLIPS (Ellissoide Più Vicino). Questo classificatore assegna gli input alla classe corrispondente all'ellissoide più vicino in termini di una distanza di Mahalanobis modificata, incorporando priori e determinanti delle covarianze. Coincide con l'Analisi Discriminante Quadratica (QDA), ma qui è analizzato attraverso la lente della robustezza.
• Certificati in Forma Chiusa: Per ELLIPS, gli autori derivano un certificato in forma chiusa di robustezza contro attacchi avversari limitati da $\ell_2$. Il raggio certificato dipende dal margine di classificazione, dalla curvatura locale (autovalori della differenza delle inverse delle covarianze) e dalla geometria degli ellissoidi.
• Limiti di Generalizzazione: Forniscono limiti di generalizzazione che mostrano come, con un numero sufficiente di campioni ($n = O(d^{1/4})$), il certificato appreso (utilizzando medie e covarianze campionarie) rimanga vicino al certificato vero con alta probabilità.

2. Estensione ai Dati del Mondo Reale tramite Struttura Latente Approssimata

Per gestire dati complessi del mondo reale non gaussiani, il framework generalizza l'approccio GMM utilizzando un encoder pre-addestrato localmente Lipschitziano ($f$).

• Struttura Approssimata: Invece di richiedere che i dati grezzi siano gaussiani, il metodo assume che l'encoder mappi gli input in una distribuzione latente che è $\epsilon$-vicina (in divergenza di Kullback-Leibler) a una Miscela Gaussiana.
• Degradazione Elegante: Il contributo teorico fondamentale qui è una dimostrazione che, se la distribuzione latente è approssimativamente gaussiana, l'accuratezza certificata degrada in modo elegante. Nello specifico, l'accuratezza certificata sotto la distribuzione vera ($P_z$) è limitata dall'accuratezza certificata sotto la GMM approssimata ($Q_z$) meno un termine proporzionale a $\sqrt{\epsilon/2}$.
• Pipeline: La pipeline finale, GENELLIPS, applica l'encoder pre-addestrato per mappare gli input nello spazio latente, adatta una GMM alle rappresentazioni latenti e quindi applica il classificatore ELLIPS. Il certificato di robustezza combina la costante di Lipschitz locale dell'encoder con il certificato in forma chiusa del classificatore ELLIPS latente.

Contributi Chiave

1. Condizioni Verificabili per le GMM: Il lavoro deriva condizioni necessarie e sufficienti per l'esistenza di classificatori robusti nei modelli a miscela gaussiana, espresse esplicitamente in termini di geometria della distribuzione (medie, covarianze e separazioni).
2. Classificatore ELLIPS con Garanzie in Forma Chiusa: Introduce un classificatore che sfrutta la struttura geometrica della distribuzione dei dati e ammette un certificato esplicito e in forma chiusa di robustezza contro attacchi $\ell_2$, insieme ai corrispondenti limiti di generalizzazione.
3. Teoria della Struttura Latente Approssimata: Il lavoro dimostra che la gaussianità esatta non è richiesta. Stabilisce che se un encoder pre-addestrato mappa gli input in una distribuzione latente $\epsilon$-vicina a una GMM, l'accuratezza certificata degrada in modo elegante, fornendo un percorso pratico verso la certificazione senza richiedere un controllo esatto sulla distribuzione dei dati.
4. Validazione Empirica: Il metodo raggiunge un'accuratezza certificata all'avanguardia o competitiva su CIFAR-10 e ImageNet, mantenendo al contempo una forte accuratezza su dati puliti e un basso sovraccarico computazionale rispetto a baseline basate su diffusione o smoothing randomizzato.

Risultati Sperimentali

Gli autori validano il loro approccio sia su dati sintetici che su dataset di riferimento:

• Dati Sintetici: In setting di miscele gaussiane, il metodo proposto fornisce costantemente garanzie di robustezza certificata più strette rispetto allo schema di certificazione precedente di Pal et al. [2023], approssimando da vicino l'accuratezza di robustezza empirica contro attacchi PGD.
• CIFAR-10: GENELLIPS supera i modelli di robustezza certificata all'avanguardia (ad esempio, SmoothAdv, varianti DRT) attraverso i livelli di perturbazione $\epsilon \in \{0.25, 0.5, 1.0\}$, raggiungendo un'accuratezza certificata dell'84,5% a $\epsilon=0.25$ mantenendo un'accuratezza su dati puliti del 90,14%.
• ImageNet: Il metodo si comporta in modo competitivo rispetto alle migliori baseline nel benchmark SoK. Supera tutte le baseline precedenti tranne quelle che utilizzano modelli di diffusione (che sono computazionalmente costosi). Notabilmente, GENELLIPS è 9-12 volte più veloce delle pipeline basate su diffusione (2,7 minuti per immagine contro 25-36 minuti), offrendo un'alternativa leggera con un'accuratezza certificata competitiva.
• Analisi della Distribuzione Latente: Test statistici (test di Mardia) confermano che l'encoder fine-tunato mappa con successo le distribuzioni condizionali per classe nello spazio latente per conformarsi a distribuzioni gaussiane.

Significato e Affermazioni

Il lavoro afferma di stabilire la struttura latente approssimata come una via pratica e principiale verso una robustezza certificabile. Spostando l'onere delle assunzioni strutturali dai dati grezzi allo spazio latente dei modelli pre-addestrati, gli autori colmano il divario tra la necessità teorica della struttura distribuzionale per la robustezza e i limiti pratici dei metodi certificati esistenti.

Il lavoro dimostra che non è necessario imporre assunzioni distribuzionali esatte su dati complessi del mondo reale. Invece, sfruttando encoder pre-addestrati (come FARE-4 o varianti CLIP) che possono essere fine-tunati per produrre miscele latenti approssimativamente gaussiane, è possibile costruire classificatori che sono sia provabilmente robusti che computazionalmente efficienti. Gli autori posizionano questo come una soluzione all'"impossibilità" di certificare la robustezza senza assunzioni distribuzionali, mostrando che le assunzioni approssimate derivate dall'apprendimento di rappresentazioni moderne sono sufficienti a produrre garanzie forti e verificabili.

Limitazioni Riconosciute dagli Autori:

• I risultati attuali si applicano specificamente agli attacchi avversari $\ell_2$.
• L'approccio richiede il fine-tuning dell'encoder per mappare la distribuzione degli input in una GMM latente approssimata; la qualità di questa approssimazione detta direttamente il degrado nell'accuratezza certificata.