GeoDetect: Geometric Adversarial Detection for VLPs
Questo articolo introduce GeoDetect, un metodo di rilevamento avversario geometrico per i modelli pre-addestrati visione-linguaggio (VLP) che sfrutta l'aumento della distanza off-manifold degli esempi avversari negli spazi di embedding anisotropi per identificare in modo affidabile gli attacchi attraverso diverse architetture e scenari di minaccia.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui i computer non si limitano a vedere immagini o leggere parole, ma comprendono come esse danzino insieme. Questo è il regno dei Modelli Pre-addestrati Visione-Linguaggio (VLP). Pensateli come bibliotecari super intelligenti che hanno letto ogni libro e visto ogni dipinto dell'universo, imparando ad abbinare perfettamente la descrizione di un tramonto con una sua fotografia. Sono i motori dietro tecnologie sorprendenti come la ricerca di immagini tramite testo, la risposta a domande su foto o persino la descrizione di una scena senza che venga indicato cosa cercare. Ma, come ogni strumento potente, hanno un punto debole: gli attacchi avversari. Questi sono come piccoli, quasi invisibili "glitch" o "trucchi" aggiunti a un'immagine o a una frase che confondono il computer, portandolo a vedere un panda invece di un gibbone o un segnale di stop invece di un limite di velocità. Sebbene sappiamo come individuare questi trucchi nei sistemi a modalità singola (come guardare solo le foto), non abbiamo ancora capito bene come catturarli quando il computer sta facendo giocoleria con sia immagini che parole contemporaneamente. Questo è un problema importante perché, se questi modelli vengono utilizzati in lavori critici per la sicurezza, dobbiamo sapere quando vengono ingannati prima che commettano un errore pericoloso.
Entra in scena GeoDetect, un nuovo metodo proposto dai ricercatori Afsaneh Hasanebrahimi e dal suo team dell'Università di Melbourne e della Monash University. Hanno deciso di investigare la "forma" del cervello del computer per vedere se potevano individuare i trucchi. Hanno scoperto che il modo in cui questi modelli archiviano le informazioni è un po' come una stanza affollata dove tutti stanno in un corridoio molto specifico e stretto, invece di distribuirsi uniformemente in un grande campo aperto. Chiamano questo fenomeno anisotropia — una parola sofisticata che significa che i dati sono allungati in certe direzioni e schiacciati in altre.
La grande idea del team è che quando qualcuno cerca di ingannare il modello con un attacco avversario, la "mappa" interna del modello viene spinta fuori da quel corridoio affollato e verso gli spazi vuoti e strani dove non vive alcun dato normale. È come se tutti in un club di danza stessero eseguendo una specifica coreografia al centro della pista e un burlone cercasse di intrufolarsi facendo una mossa strana e scattosa; finirebbero per stare nello spazio vuoto vicino alle pareti, lontano dal gruppo. GeoDetect agisce come un buttafuori che misura la distanza tra una nuova persona e la folla. Se la nuova persona si trova troppo lontana dalla folla (fuori dalla "varietà", o dalla forma naturale dei dati), il buttafuori capisce che c'è qualcosa che non va.
Per fare questo, GeoDetect utilizza un kit di strumenti di misurazione geometrica. Controlla cose come la Dimensionalità Intrinseca Locale (LID), che è come chiedere: "In quante direzioni questo punto deve descrivere se stesso?". Utilizza anche i k-Vicini più prossimi (k-NN) per vedere quanto un punto sia vicino ai suoi amici, la distanza di Mahalanobis per misurare quanto un punto sembri strano rispetto alla forma media della folla e la Stima della Densità del Kernel (KDE) per vedere quanto sia affollata l'area intorno a un punto. Combinando queste misurazioni, il sistema può capire se un input è un esempio normale e pulito o uno subdolo esempio avversario.
I ricercatori hanno testato questa idea su vari modelli, inclusi quelli popolari come CLIP e ALBEF. Hanno scoperto che la loro teoria regge: gli esempi avversari finiscono davvero in quelle regioni "fuori varietà", più lontane dai dati normali rispetto agli esempi puliti. Nei loro esperimenti, GeoDetect è stato in grado di individuare questi attacchi attraverso diversi tipi di modelli e diversi tipi di trucchi, inclusi attacchi che disturbano solo l'immagine, solo il testo o entrambi. La parte migliore? Non ha bisogno di ri-addestrare il modello o apprendere nuove cose; osserva semplicemente la geometria dello spazio dei dati così com'è. Questo suggerisce che, semplicemente comprendendo la forma dello spazio dei dati, possiamo costruire uno scudo robusto e leggero per mantenere sicuri questi potenti modelli di IA dall'essere ingannati.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.