🤖 machine learning

A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

Questo articolo introduce e valida una nuova classe di esempi avversari in cui grandi perturbazioni visibili causano il riconoscimento errato delle immagini da parte degli esseri umani mentre i modelli mantengono predizioni corrette, dimostrando che i detector e le difese standard per l'OOD sono ampiamente inefficaci contro questo divario tra uomo e modello.

Autori originali: Ali Borji

Pubblicato 2026-07-28

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Borji

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'inchiostro invisibile e il punto cieco

Immaginate di stare insegnando a un robot a riconoscere foto di gatti e cani. Gli mostrate migliaia di foto e lui diventa bravissimo in questo. Ma poi, scoprite un glitch strano: se aggiungete una minuscola, invisibile macchia di rumore digitale a una foto di un gatto, il robot improvvisamente pensa che sia un cane. Questo è il classico "esempio avversario", un famoso problema nel mondo dell'intelligenza artificiale in cui le macchine sono sorprendentemente fragili di fronte a piccoli cambiamenti che gli esseri umani non possono nemmeno vedere.

Ma cosa succederebbe se il glitch funzionasse al contrario? E se poteste prendere la foto di un gatto, scarabocchiarci sopra con un enorme pennarello rosso brillante finché non sembra un caos di colori, e il robot insistesse ancora, con il 100% di confidenza, "Quello è sicuramente un gatto"? Nel frattempo, un essere umano che guarda lo stesso scarabocchio non avrebbe la minima idea di cosa stia guardando. Questo articolo esplora esattamente questo scenario. Si pone una domanda semplice ma inquietante: esiste un divario tra ciò che i nostri occhi vedono e ciò che il cervello del robot crede? E se esiste, possiamo costruire un sistema di sicurezza per intercettarlo? Non si tratta solo di truffare i robot; si tratta di capire se la nostra IA sta allucinando una sicurezza su cose che sono completamente irriconoscibili per noi.

Il "Nuovo Tipo" di Trucco

I ricercatori dietro questo studio hanno deciso di ribaltare il modo consueto in cui si truffa l'IA. Di solito, gli hacker cercano di rendere un robot sbagliato aggiungendo un piccolo cambiamento invisibile. Qui, hanno cercato di rendere il robot testardamente corretto mentre rendevano l'immagine totalmente sbagliata per un essere umano. Chiamano questo fenomeno un "Nuovo Tipo di Esempio Avversario" (o NKE).

Pensatelo come un trucco di magia in cui il mago (l'IA) è convinto che il coniglio sia nel cappello, anche se il cappello è ora pieno di glitter, coriandoli e uno scoiattolo vivo. Il pubblico umano (noi) guarda il cappello e dice: "Non ho idea di cosa sia quello!". Ma il mago continua a indicare e dire: "Coniglio! Coniglio!" con totale certezza.

Il team ha testato questo su tre livelli di difficoltà: numeri semplici in bianco e nero (MNIST), piccole immagini colorate di oggetti (CIFAR-10) e foto del mondo reale (ImageNet). Hanno scoperto di poter creare facilmente queste immagini "scarabocchiate". Man mano che aggiungevano sempre più rumore caotico (fino a un punto in cui l'immagine sembrava statica su una vecchia TV), il modello di IA manteneva l'etichetta originale e il suo punteggio di confidenza rimaneva un perfetto 100%. Ma gli esseri umani? Erano completamente persi.

Il Divario tra Umano e Robot

Per dimostrare che non si trattasse solo di una simulazione al computer, i ricercatori hanno condotto un piccolo esperimento con persone reali. Hanno mostrato queste immagini scarabocchiate a cinque volontari e hanno chiesto loro di indovinare cosa fosse la foto. I risultati sono stati netti. Quando le immagini erano pesantemente scarabocchiate, gli umani riuscivano a indovinare correttamente solo l'8% delle volte. Nel frattempo, l'IA indovinava correttamente il 100% delle volte.

Questo ha creato un enorme "divario uomo-modello". L'IA era con sicurezza errata su ciò che l'uomo poteva vedere. I ricercatori hanno anche controllato se questo fosse dovuto semplicemente al fatto che le immagini fossero troppo sfocate o rumorose. Hanno confrontato le loro immagini "scarabocchiate" con del rumore casuale che aveva esattamente la stessa quantità di "danno" visivo. Hanno scoperto che lo "scarabocchio" speciale dell'IA era in realtà più riconoscibile per altri programmi informatici rispetto al rumore casuale, nonostante entrambi sembrassero spazzatura agli occhi degli umani. Ciò suggerisce che l'IA non stia solo ignorando il rumore; si sta aggrappando a qualche strano schema nascosto che gli umani non possono vedere.

Il Punto Cieco della Sicurezza

Ecco dove la faccenda si fa davvero complicata. Di solito, quando un'IA vede qualcosa di strano (come la foto di un tostapane che sembra una nuvola), dovrebbe alzare un segnale di allarme. Abbiamo strumenti chiamati rilevatori Out-of-Distribution (OOD) progettati esattamente per questo. Controllano se un'immagine assomiglia ai dati su cui l'IA è stata addestrata. Se non è così, il rilevatore dice: "Ehi, questo sembra sospetto!".

I ricercatori hanno testato le loro immagini scarabocchiate contro questi strumenti di sicurezza. Il risultato? Gli strumenti standard erano completamente ciechi.

Controllo della Confidenza: L'IA diceva: "Sono sicura al 100%!", quindi lo strumento di sicurezza pensava: "Ok, nessun problema".
Controllo dell'Energia: Un altro strumento che cerca "energia strana" nell'immagine non ha visto nulla.
Controllo delle Caratteristiche: Uno strumento specifico che osserva la "forma" interna dei dati ha invece colto l'errore. Ha segnalato il 100% delle immagini scarabocchiate come sospette.

Ma c'era un trucco. I ricercatori hanno dimostrato che se un hacker conosce l'esistenza di questo strumento di "controllo delle caratteristiche", può modificare i suoi scarabocchi di pochissimo per ingannarlo. È come un ladro che impara esattamente quale sistema di allarme è presente in casa e poi scassina la serratura così perfettamente che l'allarme non suona mai. Lo strumento che potrebbe catturare il trucco è facilmente sconfitto se l'attaccante è abbastanza intelligente.

Il Mistero tra Texture e Forma

Perché accade questo? I ricercatori hanno scavato nel "cervello" dell'IA per vedere cosa stesse guardando. Hanno trovato una divisione affascinante.

Texture: L'IA si affida molto ai piccoli dettagli, alla "texture" dell'immagine (come la pelliccia di un gatto). Gli scarabocchi distruggono questa texture quasi istantaneamente.
Forma: L' "outline" o la "forma" dell'oggetto (come la curva generale del corpo di un gatto) sopravvive agli scarabocchi molto più a lungo.

Gli esseri umani di solito riconoscono le cose attraverso la loro forma. Ma l'IA, in questo caso, sembrava ignorare la forma e confondersi con la texture, o forse stava trovando un pattern di texture strano che solo lei comprende. Anche quando hanno testato un tipo più recente di IA (un Vision Transformer) che dovrebbe essere migliore nel vedere le forme, essa è caduta nello stesso trucco. Il divario tra uomo e macchina è rimasto.

La "Super-Difesa" Non Funziona

Infine, il team si è chiesto: "Possiamo semplicemente addestrare l'IA a essere più resistente?". Hanno provato a insegnare all'IA a resistere ai soliti attacchi piccoli e invisibili (un metodo chiamato addestramento avversario). Hanno anche provato a sfocare le immagini o a cambiarne la dimensione prima che l'IA le guardasse.

Il risultato? Nulla di tutto ciò ha funzionato. L'IA che era stata addestrata per essere super-robusta contro piccoli attacchi era comunque vulnerabile al 100% a questi grandi attacchi scarabocchiati. Si scopre che essere bravi a ignorare minuscole particelle di polvere non serve a nulla quando qualcuno ti dipinge un enorme baffo sul viso. I due tipi di attacchi sono completamente diversi, e le nostre difese attuali coprono solo un lato del problema.

La Conclusione

Questo articolo rivela una nuova e spaventosa vulnerabilità. Abbiamo costruito sistemi di IA che possono essere indotti a essere sicuri al 100% di cose che sono completamente irriconoscibili per noi. I nostri attuali allarmi di sicurezza non vedono arrivare questo pericolo perché l'IA è così sicura di sé. E anche gli strumenti che possono vederlo possono essere facilmente ingannati se l'attaccante sa come usarli.

I ricercatori non stanno dicendo che questo è un problema risolto. Anzi, dicono che è un enorme buco aperto nella nostra rete di sicurezza. Hanno rilasciato tutto il codice e gli strumenti utilizzati per testare questo fenomeno, sperando che altri scienziati aiutino a capire come costruire un'IA che non si limiti a "indovinare" con sicurezza quando guarda un disordine, ma che riesca effettivamente ad ammettere: "Non so cos'è questo". Fino ad allora, dobbiamo stare attenti: solo perché un robot dice di esserne sicuro, non significa che abbia ragione.

Sintesi Tecnica: Un Nuovo Tipo di Esempio Avversario (NKE)

Definizione del Problema
Gli esempi avversari classici sono definiti da piccole perturbazioni impercettibili che causano l'errata classificazione di un modello, pur rimanendo visivamente invariate per un essere umano. Questo articolo investiga il modo di guasto inverso: Nuovi Tipi di Esempi Avversari (NKE - New Kind of Adversarial Examples). In questo scenario, una perturbazione grande e chiaramente visibile viene applicata a un'immagine in modo tale che il modello mantenga la sua predizione originale corretta con alta confidenza, anche se un osservatore umano non sarebbe più in grado di riconoscere l'immagine.

Sebbene lavori precedenti (Borji [3]; Nie et al. [5]) abbiano stabilito che tali esempi possono essere generati su larga scala, tre domande critiche rimanevano non testate:

Il Gap Umano-Modello: La capacità di riconoscimento umano degrada effettivamente in modo più significativo rispetto all'accuratezza del modello sotto queste grandi perturbazioni, o il gap è solo un artefatto della perdita di segnale?
Rilevamento OOD e Calibrazione: I normali rilevatori Out-of-Distribution (OOD) e gli strumenti di calibrazione (ad esempio, punteggi di confidenza, metodi basati sull'energia) identificano questi esempi come guasti, dato che sono lontani dal manifold dei dati pur essendo classificati con decisione?
Robustezza: Le difese esistenti (addestramento avversario, trasformazioni dell'input, smoothing randomizzato) mitigano questo modo di guasto, o la resistenza agli attacchi a piccolo $\epsilon$ è ortogonale alla resistenza agli attacchi a grande $\epsilon_l$ ?

Metodologia
Lo studio utilizza una pipeline di generazione di attacchi unificata per produrre immagini NKE su MNIST, CIFAR-10 e ImageNet (usando Imagenette). L'attacco minimizza la perdita della classe reale (mantenendo la predizione corretta) mentre impone un vincolo di limite inferiore sulla magnitudo della perturbazione ( $D(x, x') > \epsilon_l$ ). Il generatore primario utilizza varianti iterative basate sul momentum (NMI-FGSM/NMI-FGM).

La valutazione è organizzata in quattro track:

Misurazione del Gap Umano-Modello:
- Proxy Computazionali: Un riconoscitore generico indipendente (un'altra architettura addestrata su dati puliti) e un riconoscitore di forme (addestrato su mappe dei bordi Canny) fungono da proxy per le prestazioni umane.
- Pilota Umano: Uno studio a scelta forzata su piccola scala ( $N=5$ ) utilizzando un harness rilasciato per raccogliere le risposte umane reali.
- Controlli: Sono utilizzati controlli di rumore Gaussiano a magnitudo corrispondente per distinguere tra effetti di "struttura avversaria" e generica "perdita di segnale".
- Proxy CLIP: La classificazione zero-shot di CLIP è utilizzata come un proxy non-CNN più forte per la riconoscibilità umana su scala ImageNet.
Analisi OOD e Calibrazione: Valutazione del Maximum Softmax Probability (MSP), degli score di energia e dei rilevatori della distanza di Mahalanobis, insieme all'Expected Calibration Error (ECE).
Attacco Adattivo: Testare se i rilevatori nello spazio delle caratteristiche possono essere elusi da un attaccante che incorpora la metrica di distanza del rilevatore nell'obiettivo di ottimizzazione.
Valutazione della Difesa: Valutazione dell'addestramento avversario, dello smoothing randomizzato e delle trasformazioni dell'input contro NKE, e correlazione tra la robustezza classica e la resistenza a NKE.
Analisi Meccanicistica: Quantificazione della preservazione della struttura di bordi/forme rispetto alla texture (tramite GLCM e punteggi F1 di Canny edge) per spiegare l'invarianza del modello.

Risultati Chiave

Il Gap Umano-Modello è Reale e Strutturale:
- Su CIFAR-10, all'aumentare di $\epsilon_l$ , il modello sorgente mantiene il 100% di accuratezza, mentre un riconoscitore generico indipendente scende al ~49%.
- Crucialmente, un controllo Gaussiano L2 corrispondente degrada il riconoscitore più velocemente (fino al ~15%) rispetto alla perturbazione strutturata NKE. Ciò indica che il gap non è dovuto alla perdita di segnale, ma alla specifica struttura avversaria che preserva le caratteristiche rilevanti per il modello distruggendo al contempo il contenuto riconoscibile dall'uomo.
- Un piccolo pilota umano ( $N=5$ ) corrobora il gap, con l'accuratezza umana che scende a circa l'8% alle grandi perturbazioni mentre il modello rimane al 100%.
- Su scala ImageNet, un proxy zero-shot di CLIP conferma un gap significativo (modello 100% vs. CLIP ~33%), sebbene l'ordine di NKE rispetto al rumore Gaussiano si inverta rispetto a CIFAR-10, suggerendo che l'NKE distrugga attivamente il contenuto semantico ampio a questa scala.
Cecità degli Standard Strumenti di OOD e Calibrazione:
- I rilevatori OOD basati sulla confidenza (MSP) e sull'energia segnalano lo 0% delle immagini NKE, ed l'ECE rimane vicino a 0. I modelli appaiono perfettamente calibrati nonostante l'input sia irriconoscibile per gli umani.
- I rilevatori Mahalanobis nello spazio delle caratteristiche segnalano il 100% delle immagini NKE, identificandole correttamente come fuori dal manifold.
- Vulnerabilità Adattiva: Tuttavia, un attaccante adattivo può ridurre il rilevamento Mahalanobis dal 100% allo 0% aggiungendo un termine di penalità alla funzione di perdita, senza alcun costo per il successo dell'attacco o la magnitudo della perturbazione. Questa evasione tiene anche contro rilevatori non visti e modelli addestrati avversariamente.
Ortogonalità alle Difese Classiche:
- Nessuna difesa classica mitiga l'NKE. I modelli addestrati avversariamente (con il 45% di accuratezza robusta contro PGD) rimangono vulnerabili all'NKE per circa il ~100%.
- C'è zero correlazione ( $r \approx 0$ ) tra la resistenza agli attacchi a piccolo $\epsilon$ e la resistenza agli attacchi NKE a grande $\epsilon_l$ .
Insight Meccanicistico (Texture vs. Forma):
- L'attacco distrugge le statistiche della texture di basso livello (la similarità GLCM crolla a ~0) molto più velocemente di quanto degradi la struttura di bordi/forme (la preservazione dei bordi rimane a ~0.3–0.4).
- Sebbene le CNN siano orientate alla texture, un Vision Transformer (ViT) con un bias di forma non recupera l'etichetta meglio di una CNN sugli input NKE, indicando che la struttura superstite è insufficiente per il riconoscimento simile a quello umano.
- L'analisi di trasferibilità mostra che gli esempi NKE sono altamente specifici del modello; man mano che la complessità del task aumenta (MNIST $\to$ ImageNet), la trasferibilità crolla, suggerendo che il segnale superstite è idiosincratico rispetto al modello sorgente.

Significato e Rivendicazioni
L'articolo sostiene di spostare la discussione dalla possibilità di costruire tali esempi alla comprensione delle loro implicazioni per il divario tra la percezione umana e quella del modello e per i limiti degli attuali strumenti di sicurezza.

Riformulazione del Modo di Guasto: L'NKE rappresenta una vulnerabilità distinta in cui i modelli sono "sicuramente errati" nel senso umano (irriconoscibili) ma "corretti" nel senso del modello (corretti nella predizione). È un modo di guasto a cui il monitoraggio basato sulla confidenza standard è strutturalmente cieco.
Limiti delle Difese Attuali: I risultati dimostrano che la robustezza alle piccole perturbazioni non implica la robustezza alle grandi perturbazioni che preservano l'etichetta. Le difese esistenti non affrontano questo regime.
Sfumature del Rilevamento OOD: Sebbene i rilevatori nello spazio delle caratteristiche possano identificare gli esempi NKE, non sono adattivamente robusti. Il paper suggerisce che il rilevamento "fuori dal manifold" è necessario ma insufficiente una volta che il rilevatore è noto all'attaccante.
Divergenza Umano-Modello: Lo studio fornisce prove empiriche (tramite proxy e un pilota) che la divergenza tra le curve psicometriche di umani e modelli non è solo un concetto teorico, ma una realtà misurabile nei regimi di grandi perturbazioni, specificamente guidata dalla distruzione della texture mentre vengono preservate le strutture di forma su cui i modelli si affidano.

Gli autori concludono che i sistemi che si affidano alla confidenza softmax o agli score di energia dovrebbero essere sottoposti ad audit contro questo specifico regime, e che il lavoro futuro deve concentrarsi su rilevatori che siano adattivamente robusti per costruzione. Il paper rilascia l'intera pipeline, gli stimoli e un harness per studi umani per facilitare tale audit.