Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation

Immaginate di essere una guardia giurata in un museo, e il vostro compito sia individuare i dipinti falsi. Nel mondo dell'intelligenza artificiale, questi "falsi" sono chiamati esempi avversari: piccole modifiche quasi invisibili a un'immagine che traggono in inganno un computer, facendogli vedere un gatto invece di un cane. Per anni, gli scienziati hanno cercato di misurare quanto un computer sia bravo a scovare questi falsi. Di solito lo fanno scegliendo un singolo "livello di difficoltà" specifico (come una specifica quantità di rumore) e vedendo se il computer supera il test. Ma questo è come testare la vista di una guardia solo a mezzogiorno; non dice nulla su come vedrebbe all'alba o al tramonto. La grande domanda è: come possiamo sapere davvero se un computer è robusto contro tutti i tipi di trucchi, non solo quelli che abbiamo scelto noi?

È qui che entra in gioco un nuovo studio, che agisce come un maestro detective che si rifiuta di affidarsi a un singolo indizio. I ricercatori sostengono che controllare la difesa di un computer a un solo livello di difficoltà fisso sia un gioco fallace. Invece, propongono un nuovo modo di giocare: uno che mappi l'intera "curva di forza" della difesa di un computer, dai trucchi più facili a quelli più difficili. Introducono un sistema che non si limita a indovinare, ma caccia sistematicamente il punto più debole nell'armatura di un computer utilizzando una squadra di diverse strategie di attacco, il tutto mantenendo un conteggio rigoroso di quanta "energia di calcolo" (o query) viene spesa. Il risultato è un nuovo modo per classificare le difese che non dipende dalla scelta di un livello di difficoltà arbitrario, offrendo un quadro molto più chiaro di chi sia veramente il più forte.

Il problema del test "taglia unica"

Per molto tempo, il modo standard per testare la sicurezza dell'IA è stato come fare un test a scelta multipla dove rispondi a una sola domanda. I ricercatori scelgono una specifica quantità di "rumore" (chiamiamola $\epsilon$) da aggiungere a un'immagine e vedono se l'IA la riconosce ancora correttamente. Se ci riesce, l'IA ottiene un punteggio alto. Se non ci riesce, ottiene un punteggio basso.

Gli autori di questo articolo sottolineano che questo è un po' sciocco. Immaginate due corridori, Alice e Bob. Se li cronometrate solo al traguardo dei 100 metri, Alice potrebbe sembrare più veloce. Ma se li cronometrate al traguardo dei 200 metri, Bob potrebbe essere quello che vince. Le loro velocità cambiano a ritmi diversi. Allo stesso modo, alcuni modelli di IA potrebbero essere ottimi nel resistere a cambiamenti piccoli e sottili, ma terribili nel resistere a quelli più grandi e massicci. Testando solo in un punto fisso, potremmo classificare i corridori nel modo sbagliato.

Inoltre, il test considerato "gold standard" attuale (chiamato AutoAttack) è come un pranzo preconfezionato: è fisso; non puoi cambiare gli ingredienti e non puoi aggiungere altro cibo se hai ancora fame. Utilizza un numero prestabilito di tentativi per rompere l'IA. Se l'IA è davvero tosta, il pranzo potrebbe non bastare a dimostrare che è debole, ma se l'IA è debole, il pranzo potrebbe essere eccessivo. Non c'è modo di sapere se il test fosse abbastanza forte da trovare il vero punto di rottura, o se si sia semplicemente arreso troppo presto.

La nuova strategia: la caccia alla "Frontiera"

Per risolvere questo problema, gli autori introducono un nuovo framework costruito su due idee principali: la Frontiera dell'Attacco e la Frontiera della Difesa.

Pensate alla Frontiera dell'Attacco come al "punteggio massimo possibile" che una squadra di hacker potrebbe ottenere contro una specifica IA. Poiché non possiamo conoscere il modo assolutamente perfetto per rompere un'IA (lo "scenario peggiore"), i ricercatori creano un pool di diversi strumenti di attacco. Cercano poi di trovare la combinazione di questi strumenti che si avvicini di più a quel punto di rottura perfetto. Lo chiamano "frontiera" perché rappresenta il limite di ciò che è attualmente possibile rompere.

La Frontiera della Difesa è l'altro lato della medaglia. È il punteggio della "migliore difesa possibile" attraverso un gruppo di diversi modelli di IA. Funge da soffitto, mostrando il livello più alto di sicurezza che qualsiasi modello nel gruppo abbia raggiunto.

L'innovazione principale dell'articolo è un algoritmo "greedy" intelligente che agisce come un manager attento al budget. Immaginate di avere un budget limitato di denaro (una "query budget") per assumere una squadra di hacker per testare un'IA. Non volete sprecare soldi assumendo un hacker che è scarso nel suo lavoro, né volete continuare ad assumere lo stesso ottimo hacker se ha già dato il meglio di sé. L'algoritza capisce esattamente come dividere il budget tra diversi tipi di attacchi (alcuni bravi a trovare piccoli buchi, altri bravi a trovare buchi grandi) per ottenere l'immagine più accurata della debolezza dell'IA.

I Risultati: Un nuovo modo per classificare

I ricercatori hanno testato il loro metodo su due famosi dataset di immagini: CIFAR-10 (immagini piccole e semplici) e ImageNet (immagini reali e complesse). Hanno esaminato 30 diverse difese di IA.

Ecco cosa hanno scoperto:

1. La "Curva" conta: Quando hanno osservato l'intera curva di forza dei modelli di IA invece di un solo punto, hanno scoperto che le classifiche cambiavano drasticamente. Un modello che sembrava un campione a un certo livello di difficoltà spesso finiva in fondo quando veniva testato a un livello leggermente diverso. Questo dimostra che il vecchio modo di classificare (scegliere un livello di difficoltà fisso) è instabile e può trarre in inganno.
2. Meglio dello standard precedente: I loro nuovi "ensemble di attacchi a norma minima" (le squadre di hacker con budget intelligente) sono stati in grado di eguagliare o persino superare le prestazioni dell'attuale standard, AutoAttack, sulla maggior parte dei modelli. Infatti, per la norma $\ell_2$ (un tipo specifico di misurazione di quanto un'immagine venga modificata), il loro metodo ha eguagliato o superato lo standard su 12 modelli su 13 con sole 4.000 query, mentre il metodo standard utilizzava talvolta fino a 7.566 query.
3. L'Indice di Ottimalità della Difesa (DOI): Hanno creato un nuovo punteggio chiamato DOI. Invece di dire "Questa IA è sicura all'85%", il DOI dice "Questa IA è al 95% del percorso per essere sicura quanto la migliore IA che abbiamo mai visto". Questo punteggio non dipende dalla scelta di una specifica difficoltà; guarda l'intera curva. Ciò fornisce una classificazione molto più stabile e giusta.

Perché questo è importante

L'articolo suggerisce che dovremmo smettere di trattare i test di sicurezza dell'IA come un singolo scatto fotografico e iniziare a trattarli come un film. Utilizzando un budget flessibile per cacciare i punti più deboli attraverso l'intero intervallo di possibili attacchi, otteniamo un'immagine molto più chiara e onesta di quanto un'IA sia realmente sicura.

Gli autori dimostrano che il loro metodo non è solo un'idea teorica; funziona nella pratica. Hanno dimostrato che è possibile iniziare con un budget piccolo (4.000 query) per avere un'idea approssimativa della forza di un modello. Se il modello sembra debole, si può fermarsi lì e risparmiare denaro. Se il modello sembra forte, si possono spendere più query (fino a 12.000) per ottenere una stima più stretta e precisa. Questo fornisce ai ricercatori e agli ingegneri uno strumento che è sia più economico che più accurato rispetto ai test rigidi e "taglia unica" del passato.

In breve, l'articolo sostiene che per sapere davvero se un'IA è sicura, dobbiamo smettere di indovinare il livello di difficoltà giusto e iniziare a mappare l'intero panorama del pericolo. Il loro nuovo approccio basato sulla "frontiera" fa esattamente questo, offrendo un modo per classificare le difese che è equo, flessibile e molto meno propenso a essere ingannato.