🤖 machine learning

Enhancing Adversarial Transferability through Block Stretch and Shrink

Questo articolo propone FRO, un metodo di trasformazione dell'input orientato alla risposta del frontend che migliora la trasferibilità avversaria impiegando operatori di allungamento e contrazione a blocchi e di deformazione prospettica per arricchire le risposte del frontend del modello attraverso una prospettiva di ensemble implicita.

Autori originali: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di attaccare furtivamente un piccolo adesivo invisibile sulla lente di una telecamera di sicurezza. Se lo posizioni nel punto giusto, la telecamera potrebbe confondersi e pensare che un segnale di stop sia un segnale di limite di velocità. Questo è ciò che gli hacker fanno con gli "attacchi avversari" sull'IA. Ma ecco la parte complicata: se progetti il tuo adesivo per ingannare la Telecamera A, potrebbe non funzionare sulla Telecamera B, anche se sembrano identiche.

Per molto tempo, i ricercatori hanno cercato di far funzionare questi adesivi su qualsiasi telecamera, prendendo l'immagine, torcendola, allungandola o ruotandola in modi casuali prima di mostrarla all'IA. L'idea era: "Se mostriamo all'IA molte versioni diverse dell'adesivo, forse imparerà un trucco che funziona su tutti".

Ma un nuovo articolo di Quan Liu e del suo team suggerisce che abbiamo guardato la cosa dal punto di vista sbagliato. Sostengono che semplicemente rendere l'immagine diversa non sia la chiave magica. Inveve, il vero segreto risiede nel modo in cui la "porta d'ingresso" dell'IA (la sua fase iniziale di elaborazione) reagisce a tali cambiamenti.

Il mistero della "Porta d'Ingresso"

Pensa a un modello di IA come a una casa a due piani.

La Porta d'Ingresso (Frontend): È qui che l'IA vede l'immagine per la prima volta. È come un buttafuori che controlla i documenti. Guarda forme, bordi e texture.
Il Soggiorno (Backend): È qui che l'IA prende la sua decisione finale, come "Quello è un gatto!" o "Quello è un cane!".

Gli studi precedenti pensavano che se avessi solo reso l'immagine strana (diversa), il buttafuori si sarebbe confuso e il trucco avrebbe funzionato anche in altre case. Ma il team di Liu dice: "Aspetta un momento". Solo perché l'immagine appare diversa a te, non significa che il buttafuori la veda diversamente. Se il buttafuori della Casa A e il buttafuori della Casa B reagiscono allo stesso modo a un'immagine ritorta, il tuo trucco fallisce.

L'articolo suggerisce che per creare un adesivo che funzioni su tutti, devi manipolare la reazione del buttafuori in un modo specifico. Devi creare cambiamenti di "Risposta del Frontend" che siano abbastanza unici da essere interessanti, ma abbastanza simili da far sì che anche altri buttafuori li notino.

Entra in scena FRO: Il Truccatore a Doppia Azione

Per risolvere questo problema, il team ha creato un nuovo metodo chiamato FRO (Frontend Response-Oriented). Invece di torcere semplicemente l'immagine, FRO usa due mosse specifiche per dare piccoli colpetti alla porta d'ingresso dell'IA proprio nei punti giusti:

L'Operatore di Scalatura Locale (La mossa del "Blocco Elastico"): Immagina che l'immagine sia fatta di blocchi Lego. Questo operatore afferra alcuni blocchi qua e là e li allunga o li rimpicciolisce. Cambia la texture locale e la dimensione dei piccoli dettagli senza rovinare l'intera immagine. È come zoomare su una parte specifica di un volto per vedere i pori, poi zoomare fuori di nuovo, ma farlo solo su una guancia.
L'Operatore di Proiezione (La mossa dello "Specchio delle Funghi"): Questo prende l'intera immagine e le conferisce un leggero e coerente spostamento di prospettiva, come guardare un edificio da un angolo insolito. Cambia la forma globale e il modo in cui le cose sono disposte nello spazio, ma mantiene l'intera scena come una visione singola e logica.

Combinando queste due mosse, FRO crea un insieme di "visioni trasformate". È come chiedere all'IA: "E se l'orecchio di questo gatto fosse allungato? E se l'intero gatto fosse inclinato lateralmente?". L'IA deve elaborare tutte queste versioni leggermente diverse e combinare le sue reazioni per capire il modo migliore per essere ingannata.

Ha funzionato? I numeri non mentono

Il team ha testato il metodo su un sottoinsieme del famoso dataset ImageNet. Non hanno solo tirato a indovinare; hanno analizzato i numeri.

L'allestimento: Hanno usato un modello "white-box" (un modello di cui potevano vedere l'interno) per generare gli attacchi, e poi lo hanno testato su modelli "black-box" (modelli di cui non potevano vedere l'interno).
La competizione: Hanno confrontato FRO con altri metodi popolari come DeCoWA, CWT, SIA, SID e OPS.
Il risultato: FRO ha costantemente battuto gli altri. Quando testato su una varietà di diverse architetture di IA (inclusi CNN e Vision Transformers), FRO ha ottenuto i tassi di successo più elevati in 6 modelli su 11.
- Ad esempio, contro un modello chiamato ResNet-50, FRO ha raggiunto un tasso di successo del 95,6%, mentre il secondo miglior metodo era al 93,2%.
- Contro Inception-v3, ha raggiunto il 96,3%, superando il secondo classificato al 96,2%.
- Anche contro modelli complicati e difesi (IA addestrate per resistere agli attacchi), FRO è riuscito a sfondare il 96,2% delle volte contro un modello difeso specifico, superando tutti gli altri.

Ciò che hanno escluso

L'articolo è molto chiaro su ciò che non funziona come spiegazione principale.

Non è solo "Diversità dell'Immagine": Gli autori sostengono che rendere l'immagine diversa non sia sufficiente. Se la porta d'ingresso dell'IA non reagisce diversamente, il trucco fallisce.
Non è solo "Preservazione Semantica": Sebbene mantenere il significato dell'immagine (come mantenere un gatto con l'aspetto di un gatto) sia importante, non è il motivo per cui l'attacco funziona. Il motivo è come la porta d'ingresso gestisce i cambiamenti.
Non è "Augmentation dello Spazio di Ipotesi": Suggeriscono che aggiungere semplicemente più possibilità alla matematica non sia la chiave; la chiave è la risposta specifica della porta d'ingresso.

Quanto sono sicuri?

L'articolo è piuttosto fiducioso, ma è cauto nelle parole. Hanno dimostrato questi risultati attraverso esperimenti su un sottoinsieme di ImageNet. Non si sono limitati a simulare; hanno effettivamente eseguito gli attacchi e misurato i tassi di successo.

Hanno anche introdotto un nuovo modo per misurare le cose chiamato "dimensione dell'ensemble implicito unificato" (chiamiamolo N). Hanno scoperto che il numero di viste trasformate è importante. Quando hanno testato diversi numeri (come N = 10, 17, 21, 26, 37 e 101), FRO è rimasto forte anche con numeri più piccoli, suggerendo che il suo metodo è efficiente.

Gli autori suggeriscono che il loro approccio funzioni perché mira ai "fattori di frontend condivisi" che sia le CNN (la vecchia scuola di IA) che i ViT (la nuova scuola di IA) utilizzano. Hanno dimostrato come FRO riduca il "gap" nel modo in cui diversi modelli di IA reagiscono a queste trasformazioni, rendendo l'attacco più trasferibile.

In sintesi

Questo articolo suggerisce che per hackerare il cervello di un'IA, non bisogna solo lanciare distorsioni casuali contro di essa. Bisogna capire come la sua "porta d'ingresso" elabora le informazioni. Usando un mix intelligente di allungamento locale e spostamenti di prospettiva globale, FRO crea una "chiave universale" che si adatta a molti diversi serrature di IA.

Gli autori propongono che questa prospettiva della "Risposta del Frontend" sia il pezzo mancante del puzzle. Sebbene non abbiano risolto il problema della sicurezza dell'IA per sempre (e non lo pretendono), hanno dimostato un modo significativamente migliore per creare questi attacchi, provando che comprendere le prime reazioni dell'IA è il vero ingrediente segreto.

Sintesi Tecnica: Trasformazione dell'Input Orientata alla Risposta del Frontend per Attacchi Avversari Trasferibili (FRO)

Definizione del Problema
Le Reti Neurali Profonde (DNN) sono vulnerabili agli esempi avversari, in cui perturbazioni impercettibili causano errori di classificazione. Sebbene gli attacchi white-box siano efficaci, essi soffrono spesso di una limitata trasferibilità verso modelli target black-box. Gli attacchi basati sulla trasformazione dell'input tentano di migliorare la trasferibilità aggregando i gradienti su molteplici viste trasformate di un input. Tuttavia, le spiegazioni esistenti sulla loro efficacia — come la diversità dell'immagine, la preservazione semantica, la varianza dell'attenzione o l'aumento dello spazio ipotetico — si concentrano principalmente sulle caratteristiche a livello di immagine o sulle risposte ad alto livello del modello. Questi approcci trascurano il ruolo critico del frontend del modello (codifica delle feature precoci). Trasformazioni visivamente distinte non inducono necessariamente differenze utili o trasferibili dopo la codifica del frontend; se più viste producono risposte del frontend quasi identiche, i gradienti risultanti rimangono ridondanti. Inoltre, i confronti esistenti tra i metodi di trasformazione spesso mancano di equità perché variano nel numero di viste trasformate (dimensione dell'ensemble), confondendo i benefici del design della trasformazione con i benefici del semplice aumento della scala dell'ensemble.

Metodologia
Il documento propone FRO (Frontend Response-Oriented input transformation), un metodo basato su una prospettiva di ensemble implicito.

Formulazione di Ensemble Implicito: Gli autori reinterpretano gli attacchi basati sulla trasformazione dell'input come un ensemble funzionale implicito. Dato un modello sorgente $f_s$ e trasformazioni $\{T_i\}$ , l'attacco ottimizza su un insieme di membri composti $\{f_s \circ T_i\}$ . A differenza degli ensemble convenzionali che utilizzano diversi parametri del modello, questo ensemble implicito utilizza lo stesso modello sorgente ma diversi operatori pre-modello. La diversità di questo ensemble è determinata non dai parametri del modello, ma dalla diversità della risposta del frontend indotta dalle trasformazioni.
Prospettiva della Risposta del Frontend: Gli autori sostengono che, per la trasferibilità, le trasformazioni debbano indurre differenze di risposta nel frontend della sorgente che non siano puramente specifiche della sorgente, ma siano parzialmente condivise con architetture target eterogenee (ad es., CNN e Vision Transformers).
Fattori Comuni del Frontend: Attraverso un'analisi preliminare, gli autori identificano due fattori comuni sia ai frontend di CNN che di ViT che le trasformazioni dovrebbero colpire:
- Campionamento del Contenuto Locale: Come la scala locale, la densità della texture e le posizioni dei bordi vengono presentati ai campi recettivi o ai token di patch.
- Organizzazione Spaziale: Geometria globale, forma dell'oggetto e disposizione spaziale.
Operatori FRO: Per perturbare questi fattori, FRO impiega due operatori complementari:
- Operatore di Scalatura Locale: Partiziona l'immagine in blocchi e applica operazioni casuali di allungamento e contrazione (stretch-and-shrink) ai singoli blocchi. Ciò altera la scala locale, la densità della texture e le posizioni dei bordi preservando le dimensioni globali dell'immagine.
- Operatore di Proiezione: Applica una deformazione prospettica globalmente coerente (variazioni di inclinazione e lunghezza focale) all'intera immagine. Ciò modifica la geometria globale, la forma dell'oggetto e la disposizione spaziale.
- Processo di Generazione: Ad ogni iterazione, vengono generate $N$ viste trasformate campionando sequenzialmente gli operatori di Scalatura Locale e di Proiezione. I gradienti da queste viste vengono aggregati per aggiornare la perturbazione avversaria.
Dimensione dell'Ensemble Implicito Unificato ( $N$ ): Per garantire confronti equi, gli autori definiscono $N$ come il numero unificato di viste trasformate utilizzate per l'aggregazione del gradiente. Ciò consente di attribuire le differenze di prestazione al design della trasformazione piuttosto che alla scala dell'ensemble.
Metrica di Valutazione (T-FRDM): Per quantificare la coerenza cross-architettura, il documento introduce una Matrice di Dissimilarità della Risposta del Frontend indotta dalla Trasformazione (T-FRDM). Invece di confrontare le feature eterogenee grezze, essa confronta le relazioni (strutture di dissimilarità) tra gli spostamenti di risposta delle viste trasformate nei frontend di CNN e ViT. Un gap minore tra queste matrici di relazione indica una migliore preservazione dei fattori di risposta tra le architetture.

Contributi Chiave

Reinterpretazione Teorica: Il documento formula gli attacchi basati sulla trasformazione dell'input come un ensemble implicito di input trasformati e introduce la prospettiva della risposta del frontend per spiegare la trasferibilità avversaria, spostando l'attenzione dalla diversità dell'immagine a come le trasformazioni vengono codificate dagli strati precoci del modello.
Algoritmo FRO: La proposta di FRO, che combina la Scalatura Locale e la Proiezione globalmente coerente per indurre variazioni complementari della risposta del frontend locale e globale.
Protocollo di Valutazione Unificato: L'introduzione di una dimensione di ensemble implicito unificato $N$ per separare gli effetti del design della trasformazione dalla scala dell'ensemble, consentendo confronti più equi tra gli attacchi basati sulla trasformazione dell'input.
Strumento di Analisi: Lo sviluppo di una metrica basata sulle relazioni (T-FRDM) per misurare la coerenza della risposta del frontend cross-architettura senza allineare gli spazi delle feature grezze.

Risultati Sperimentali
Gli esperimenti sono stati condotti su un sottoinsieme di ImageNet utilizzando vari modelli sorgente (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) e modelli target (6 CNN e 5 Vision Transformers).

Trasferibilità: FRO ha superato costantemente gli attacchi basati sulla trasformazione dell'input allo stato dell'arte (DeCoWA, CWT, SIA, SID, OPS) attraverso diverse architetture sorgente e target. Ha ottenuto i migliori risultati black-box su 6 modelli target su 11 e ha mantenuto prestazioni elevate anche con dimensioni di ensemble ridotte (ad es., $N=10$ ).
Robustezza alle Difese: FRO ha dimostrato una trasferibilità superiore contro i modelli difesi, inclusi l'adversarial training di ensemble, il randomized smoothing (RS), il feature squeezing (HGD), i purificatori di rappresentazione neurale (NRP), l'adversarial training (AT) e la purificazione basata su diffusione (DiffPure). Ha ottenuto il tasso di successo più elevato in 8 scenari difesi su 9.
Studi di Ablazione: Lo studio ha confermato che gli specifici iperparametri per gli operatori di Scalatura Locale e Proiezione (ad es., dimensione del blocco, angolo di inclinazione) influenzano significativamente le prestazioni. Ha inoltre validato che l'aumento di $N$ migliora generalmente le prestazioni, ma che il design di FRO garantisce un'alta efficienza anche con valori di $N$ inferiori.
Analisi del Frontend: L'analisi T-FRDM ha mostrato che FRO induce relazioni di risposta nel frontend della sorgente che sono preservate in modo più coerente nel frontend target rispetto ad altri metodi, supportando la motivazione teorica del documento.

Significato
Il documento sostiene che il significato primario di FRO risieda nel suo cambio di prospettiva: le trasformazioni dell'input non dovrebbero essere viste semplicemente come aumento dell'immagine o generatori di diversità, ma devono essere progettate per perturbare i fattori di risposta del frontend che sono rilevanti attraverso architetture eterogenee. Colpendo esplicitamente il campionamento del contenuto locale e l'organizzazione spaziale — fattori condivisi sia da CNN che da ViT — FRO genera perturbazioni meno soggette all'overfitting della sorgente. Il lavoro suggerisce che progettare trasformazioni dalla prospettiva di ensemble di risposta del front-end è una strategia più efficace per migliorare la trasferibilità avversaria rispetto al semplice affidarsi alla diversità a livello di immagine o alla preservazione semantica. L'introduzione della dimensione dell'ensemble unificato $N$ fornisce inoltre un quadro rigoroso per la ricerca futura in questo dominio.