🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

Questo articolo introduce il Random Logit Scaling (RLS), una difesa di post-processing plug-and-play che contrasta efficacemente gli attacchi avversari black-box basati su punteggio scalando casualmente i logit per confondere gli attaccanti pur preservando l'accuratezza del modello, ed espone simultaneamente la vulnerabilità della difesa allo stato dell'arte AAA agli attacchi adattivi.

Autori originali: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il mondo dell'intelligenza artificiale come una gigantesca, super-intelligente biblioteca dove i computer imparano a riconoscere le cose — come individuare un gatto in una foto o identificare una canzone. Per molto tempo, questi computer sono stati come studenti timidi che rispondevano alle domande solo se gli mostravi il libro di testo (il codice interno). Ma nel mondo reale, spesso poniamo loro delle domande e otteniamo risposte senza vedere come pensano. Questo è chiamato una "scatola nera" (black box).

Il problema inizia quando un hacker dispettoso cerca di ingannare il computer. Non hanno bisogno di scassinare la biblioteca; devono solo sussurrare un piccolo cambiamento, quasi invisibile, in un'immagine — come aggiungere qualche granello di polvere a una foto di un panda. Ai nostri occhi, sembra ancora un panda, ma il computer improvvisamente urla: "Questo è un tostapane!". Questo è chiamato un "attacco avversario" (adversarial attack). È un enorme problema perché se non possiamo fidarci di questi sistemi intelligenti per vedere il mondo correttamente, non possiamo usarli per lavori importanti come le auto a guida autonoma o la diagnosi medica. Gli hacker hanno trovato modi astuti per farlo anche quando non possono vedere il cervello del computer, semplicemente ponendo domande ripetutamente e osservando come cambia idea.

Ora, fate spazio agli eroi di questa storia: un team di ricercatori che ha deciso di combattere con un trucco proprio. Chiamano la loro nuova difesa "Random Logit Scaling" (RLS). Pensate al cervello del computer come a uno chef che assaggia una zuppa e decide se è "molto salata" o "leggermente salata". Di solito, lo chef fornisce un numero preciso, come "8 su 10". Ma l'hacker usa quel numero per capire esattamente come modificare la ricetta per far sì che la zuppa abbia il sapore di qualcos'altro.

L'idea dei ricercatori è semplice ma brillante: e se lo chef mentisse? Ogni volta che l'hacker chiede: "Quanto è salata questa?", lo chef decide casualmente di moltiplicare la risposta per un numero segreto. A volte lo chef dice "16 su 10" (facendo sembrare la zuppa super salata), e altre volte "0,8 su 10" (facendo sembrare la zuppa quasi insapore). Lo chef sa ancora che la zuppa è salata, quindi serve comunque il piatto giusto (la risposta correata), ma i numeri che urla sono completamente rimescolati.

È qui che avviene la magia. L'hacker, che sta cercando di risolvere un puzzle matematico per ingannare il computer, improvvisamente scopre che gli indizi che riceve sono ovunque. Un secondo i numeri salgono, il momento dopo scendono, e il modello è così caotico che l'hacker si confonde completamente. È come cercare un tesoro nascosto quando la mappa continua a cambiare la posizione della X ogni volta che la guardi. I ricercatori hanno testato questo contro alcuni degli hacker più intelligenti e aggressivi del mondo. Hanno scoperto che questo semplice trucco ha fatto scendere drasticamente il tasso di successo degli hacker — a volte fino all'80% — senza rendere il computer più lento o meno accurato nel suo lavoro effettivo.

Tuttove, il documento avverte anche che non tutte le difese sono perfette. Hanno esaminato un'altra difesa popolare chiamata "AAA", che cerca di rimodellare i numeri in un modo specifico e prevedibile, per confondere gli hacker. I ricercatori hanno dimostrato che se un hacker conosce questo trucco, può adattarsi e superarlo, un po' come un scassinatore che impara il modello specifico di una nuova serratura. Ma la difesa Random Logit Scaling è diversa perché utilizza la pura casualità, rendendola molto più difficile da prevedere o rompere.

In breve, il documento suggerisce che aggiungendo uno strato di rumore casuale ai punteggi di confidenza del computer, possiamo creare una "nebbia di guerra" per gli attaccanti. Il computer rimane acuto e accurato, ma l'hacker rimane inciampando nel buio, incapace di trovare la strada per ingannarlo. È uno scudo leggero e facile da usare che non richiede di ricostruire l'intero computer, ma solo un semplice accorgimento nel modo in cui comunica le sue risposte. Sebbene questo cambi i numeri che il computer urla (il che potrebbe contare per alcuni compiti molto specifici), mantiene la decisione finale corretta e rende incredibilmente difficile per gli hacker causare problemi.

Sintesi Tecnica: Random Logit Scaling (RLS)

Definizione del Problema

Le reti neurali profonde (DNN) sono sempre più impiegate in domini critici come la classificazione di immagini, il riconoscimento facciale e il rilevamento di malware. Tuttavia, questi modelli rimangono vulnerabili ad attacchi di esempi avversari, in cui gli input vengono perturbati con rumore impercettibile per causare una classificazione errata. Mentre la ricerca iniziale si è concentrata su scenari white-box, i progressi recenti hanno prodotto potenti attacchi black-box basati su punteggi (score-based). In questi scenari, gli avversari non hanno accesso ai parametri del modello ma possono interrogare il modello per ottenere punteggi di confidenza (vettori di probabilità). Attacchi notevoli, come l'attacco Square, possono generare esempi avversari efficaci con solo poche decine di query, ponendo una significativa minaccia per l'affidabile implementazione dei modelli di ML.

Le difese esistenti affrontano un compromesso critico. L'Addestramento Avversario (AT) migliora la robustezza ma spesso degrada l'accuratezza sui campioni benigni e comporta elevati costi computazionali. I metodi di ensemble aumentano la robustezza ma aumentano l'overhead di archiviazione e implementazione. Le difese basate sulla randomizzazione (ad esempio, l'aggiunta di rumore agli input o ai logit) offrono un'alterna più leggera ma soffrono frequentemente di una ridotta accuratezza del modello e di una significativa distorsione dei punteggi di confidenza, il che può essere dannoso in applicazioni che si affidano a probabilità calibrate. Inoltre, difese deterministiche come Adversarial Attack on Attackers (AAA) si sono dimostrate vulnerabili ad attacchi adattivi.

Metodologia

1. Random Logit Scaling (RLS)

Il contributo principale di questo lavoro è il Random Logit Scaling (RLS), una difesa post-processing "plug-and-play", progettata specificamente per attacchi black-box score-based.

Meccanismo: RLS opera scalando i logit di output del modello ( $z$ ) per un coefficiente casuale ( $m$ ) campionato da una distribuzione uniforme continua $U(a, b)$ , dove $a, b > 0$ . I logit scalati sono definiti come $z' = m \times z$ .
Intuizione Centrale: La difesa mira a confondere l'attaccante producendo punteggi di confidenza falsificati pur preservando la classificazione (ranking) delle classi. Poiché il fattore di scala $m$ è positivo, l'ordine relativo dei logit rimane invariato, garantendo che l'etichetta predetta (classe top-1) rimanga la stessa. Tuttavia, i valori assoluti dei logit e gli scarti tra le classi fluttuano casualmente ad ogni query.
Impatto sugli Attacchi:
- Stima del Gradiente: Gli attacchi che si affidano all'ottimizzazione di ordine zero (ad esempio, NES, ZOO) tentano di stimare i gradienti basandosi sulle differenze di punteggio. RLS introduce rumore in queste differenze di punteggio, portando a stime di gradiente falsificate.
- Ricerca Casuale (Random Search): Attacchi come l'attacco Square utilizzano metodi di ricerca per trovare direzioni che riducano la perdita. RLS causa fluttuazioni imprevedibili nei valori della funzione obiettivo (ad esempio, una query con un $m$ piccolo potrebbe produrre un punteggio ingannevolmente basso), confondendo l'attaccante nella selezione di direzioni subottimali o portandolo a saltare direzioni valide.
Implementazione: RLS non richiede il riaddestramento del modello sottostante. È un'aggiunta leggera, a sforzo zero, che può essere implementata sopra qualsiasi modello di ML esistente.

2. L'Attacco Pendolo (Pendulum Attack)

Per dimostrare la vulnerabilità delle difese non randomizzate esistenti, gli autori introducono un nuovo attacco adattivo chiamato attacco Pendolo, che prende di mira AAA-sine (una difesa allo stato dell'arte che rimodella la funzione di perdita in una curva simile a una sinusoide).

Meccanza: Gli attacchi standard rimangono intrappolati in minimi locali creati dalla funzione di perdita a forma di seno. L'attacco Pendolo supera questo problema cambiando iterativamente direzione. Se l'attaccante fallisce nel ridurre la perdita per $k$ iterazioni consecutive, passa alla direzione opposta (aumentando la perdita). Se fallisce nell'aumentare la perdita per altre $k$ iterazioni, torna alla direzione precedente. Questa oscillazione permette all'attaccante di sfuggire ai minimi e ai massimi locali generati dalla difesa.
Risultato: Questa strategia adattiva aggira con successo AAA-sine, aumentando il tasso di successo dell'attacco di oltre il 35% rispetto agli attacchi standard.

Contributi Chiave

Proposta di RLS: Una difesa leggera e a sforzo zero che riduce significativamente il tasso di successo degli attacchi black-box score-based allo stato dell'arte, preservando al contempo l'accuratezza del modello.
Analisi dello Scaling dei Logit: Il documento fornisce un'analisi teorica ed empirica che mostra come lo scaling casuale dei logit corrompa le funzioni obiettivo utilizzate sia dagli attaccanti basati sul gradiente che da quelli basati sulla ricerca, senza alterare la classe predetta.
Attacco Adattivo (Pendolo): L'introduzione dell'attacco Pendolo dimostra la vulnerabilità delle difese deterministiche come AAA rispetto alle strategie adattive, evidenziando il vantaggio delle difese randomizzate come RLS.
Valutazione Completa: Esperimenti estesi sui dataset CIFAR-10 e ImageNet utilizzando sei attacchi SOTA (NES, Bandit, Square, SignHunter, ZO-signSGD e BruSLe) attraverso gli spazi delle norme $\ell_\infty$ , $\ell_2$ e $\ell_0$ .

Risultati Sperimentali

Gli autori hanno valutato RLS contro quattro baseline: Random Noise Defense (iRND), Randomized Feature Defense (RFD), Boundary Defense (oRND) e AAA.

Robustezza: RLS supera significativamente le baseline nella resistenza agli attacchi. Ad esempio, sul dataset CIFAR-10 utilizzando ResNet-18, RLS ha ridotto il tasso di successo dell'attacco Square dal 100% (senza difesa) al 59,85% (con range 0,5–10) e ulteriormente al 43,05% (con range 0,5–1000). Contro l'attacco Bandit, RLS ha ridotto i tassi di successo fino all'1,56%.
Preservazione dell'Accuratezza: A differenza di iRND, RFD e oRND, che causano cali di accuratezza compresi tra lo 0,32% e il 3,95%, RLS mantiene uno scarto di accuratezza dello 0% in tutti i modelli e le configurazioni testate perché preserva il ranking delle classi.
Distorsione del Punteggio di Confidenza: Sebbene RLS distorca i punteggi di confidenza, generalmente causa meno distorsione (misurata dalla norma L2 delle differenze dei vettori di probabilità) rispetto a iRND e RFD. Tuttavia, il documento nota che RLS aumenta l'Errore di Calibrazione Atteso (ECE) più di RFD e AAA, sebbene meno di iRND.
Efficienza delle Query: RLS costringe gli attaccanti a utilizzare significativamente più query per avere successo. Ad esempio, contro l'attacco Square su ResNet-18, il numero medio di query necessarie per un attacco riuscito è passato da ~115 (senza difesa) a ~735 (RLS 0,5–10).

Significato e Rivendicazioni

Il documento sostiene che RLS offra una soluzione unica al compromesso tra robustezza e prestazioni. Decoupling (scollegando) la difesa dal processo di addestramento e utilizzando la randomizzazione che preserva il ranking delle classi, RLS consente l'implementazione di difese al tempo di test senza:

Sacrificare l'accuratezza del modello sui campioni benigni.
Incurre nell'overhead computazionale dell'addestramento avversario o dei metodi di ensemble.
Richiedere cambiamenti architettonici complessi.

Gli autori posizionano RLS come particolarmente adatto ad applicazioni in cui la precisione della predizione top-1 è fondamentale. Riconoscono un compromesso: sebbene RLS migliori la robustezza, la distorsione dei punteggi di confidenza potrebbe richiedere tecniche di calibrazione aggiuntive per applicazioni fortemente dipendenti da stime di probabilità precise (ad esempio, diagnosi medica o rilevamento di dati fuori distribuzione). Il lavoro conclude che le difese randomizzate come RLS fornisono una barriera più resiliente contro gli attaccanti adattivi rispetto ai metodi deterministici come AAA.