Multi-Task Consistency-based Detection of Adversarial Attacks

Immagina di guidare un'auto che vede il mondo attraverso una telecamera, non solo con gli occhi. Questa auto utilizza un tipo speciale di cervello informatico chiamato Rete Neurale Profonda (DNN) per capire ciò che vede. Deve individuare i semafori, leggere i segnali stradali e trovare altre auto per guidare in sicurezza. Ma ecco la parte difficile: questi cervelli informatici possono essere ingannati. Se qualcuno aggiunge un minuscolo, quasi invisibile granello di "rumore" a un'immagine — come pochi pixel spostati in un modo molto specifico — il computer potrebbe pensare che un segnale di stop sia un segnale di limite di velocità, o potrebbe non vedere affatto un pedone. Questo è chiamato "attacco avversario", ed è come il gioco di prestigio di un mago applicato ai computer. Poiché questi trucchi possono accadere molto facilmente, gli ingegneri sono disperati nel costruire un sistema di sicurezza capace di individuare quando qualcuno sta cercando di ingannare il cervello dell'auto prima che commetta un errore pericoloso.

Questo articolo presenta un nuovo, intelligente guardiano per quelle auto a guida autonoma. Invece di cercare di rendere il cervello informatico incrollabile (il che è difficile e costoso), gli autori suggeriscono di utilizzare un approccio basato sul "lavoro di squadra". Hanno notato che se si chiede a due diversi modelli informatici di guardare la stessa immagine — uno addestrato a disegnare scatole attorno agli oggetti (Object Detection) e un altro addato a dipingere la forma esatta di quegli oggetti (Instance Segmentation) — di solito concordano perfettamente. Ma quando un attaccante subdolo cerca di ingannarli con un trucco, i due modelli iniziano a litigare. Uno potrebbe vedere un'auto, mentre l'altro non vede nulla, oppure potrebbero non essere d'accordo su dove si trovi l'auto. Gli autori hanno costruito un sistema che ascolta questa discussione. Se i due modelli dissentono troppo, il sistema grida: "Ehi, questa immagine è stata manomessa!" e ferma l'auto dall'utilizzare quei dati errati.

I ricercatori hanno testato questa idea utilizzando un enorme dataset di scene di guida chiamato BDD100k. Hanno creato migliaia di immagini trucate, "avvelenate", usando un potente metodo di attacco chiamato PGD (Projected Gradient Descent) e hanno osservato come il loro nuovo sistema reagiva. Hanno scoperto che il loro "rilevatore di disaccordo" era incredibilmente bravo nel suo lavoro. Quando hanno messo il loro sistema contro gli attaccanti, ha identificato con successo le immagini truccate il 99,9% delle volte. Questo è un punteggio enorme, il che significa che il sistema non viene quasi mai ingannato.

Ciò che rende tutto questo ancora più interessante è come abbiano scoperto quali modelli funzionano meglio insieme. Hanno testato molte diverse combinazioni, come accoppiare un modello con un cervello "ResNet50" contro uno con un "ResNet101". Hanno scoperto che i migliori accoppiamenti sono in realtà modelli che sono molto simili all'interno. Sembra strano, vero? Potresti pensare che due modelli diversi siano migliori, ma il documento mostra che quando due modelli simili vengono attaccati, tendono a confondersi in modi diversi, creando un'argomentazione rumorosa e ovvia, facile da individuare. Se i modelli sono troppo diversi, potrebbero semplicemente ignorare l'attacco o fallire nello stesso modo, rendendo più difficile capire se qualcosa non va.

Il team ha anche cercato di superare in astuzia il proprio rilevatore. Hanno creato un "attaccante adattivo" super intelligente che cercava di ingannare entrambi i modelli contemporaneamente, forzandoli ad essere d'accordo sulla risposta errata. Anche con questo avanzato trucco, il rilevatore ha comunque funzionato, catturando l'attacco nel 95% dei casi. Ciò suggerisce che, sebbene gli attaccanti possano cercare di coordinare i loro trucchi, la naturale differenza nel modo in cui i modelli elaborano le informazioni rende molto difficile ingannare l'intero team.

Rispetto ad altri metodi di sicurezza, questo approccio è come una guardia leggera e veloce invece di un pesante e lento carro armato. Altri metodi richiedono spesso di riaddestrare l'intero cervello informatico o di aggiungere enormi quantità di codice extra, il che rallenta l'auto. Gli autori hanno confrontato il loro sistema con una famosa difesa chiamata "RobustDet". Mentre RobustDet rendeva il modello leggermente più difficile da ingannare, era enorme (643 MB) e lento (11 fotogrammi al secondo). Il nuovo rilevatore, tuttavia, era molto più piccolo (350 MB) e due volte più veloce (20 fotogrammi al secondo), pur catturando quasi ogni singolo attacco.

In breve, questo articolo non sostiene di aver costruito uno scudo indistruttibile. Invece, offre un modo intelligente ed efficiente per ascoltare le crepe nell'armatura. Osservando le incongruenze tra due diversi modi di vedere il mondo, il sistema può individuare quando la realtà è stata alterata digitalmente. Gli autori suggeriscono che questo metodo potrebbe essere un pezzo chiave del puzzle per rendere le auto a guida autonoma più sicure, dimostrando che a volte, il modo migliore per catturare un bugiardo è farlo parlare con qualcun altro.