💻 computer science

ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

ReACT-CLIP è una difesa senza addestramento (training-free) e applicata al tempo di test per i modelli di tipo CLIP che adatta dinamicamente la forza della correzione e determina la necessità di intervento per ogni input sfruttando la deriva relativa delle caratteristiche tra il rumore (cross-noise feature drift) e l'instabilità della predizione, migliorando così significativamente la robustezza avversaria attraverso diversi attacchi pur preservando l'accuratezza sui dati puliti.

Autori originali: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer non si limitano a vedere le immagini, ma le comprendono parlandone. Questa è la magia dei Modelli Vision-Language, come il famoso "CLIP". Pensate a CLIP come a un bibliotecario super intelligente che ha letto ogni libro e visto ogni foto dell'universo. Se gli mostrate l'immagine di un golden retriever, non si limita a riconoscere il cane; associa istantaneamente l'immagine alle parole "golden retriever" nella sua vasta biblioteca mentale. Questa capacità di connettere immagini e testo senza dover essere riaddestrato per ogni nuovo compito ha reso questi modelli l'ossatura dell'IA moderna, alimentando tutto, dai motori di ricerca alle auto a guida autonoma.

Tuttavia, c'è un problema. Questi super-bibliotecari sono sorprendentemente fragili. Un attaccante subdolo può aggiungere un sottile strato, quasi invisibile, di "rumore" a un'immagine — come pochi pixel di statica su un televisore — che confonde completamente il bibliotecario. Improvvisamente, il bibliotecario guarda l'immagine di un cane e afferma con sicurezza: "Quello è un tostapane!". Questo è chiamato "attacco avversario". È un problema enorme perché, se l'IA può essere ingannata così facilmente, non possiamo fidarci di lei per prendere decisioni importanti. Gli scienziati hanno cercato di costruire scudi per proteggere questi modelli, ma la maggior parte delle loro soluzioni attuali è come indossare un'armatura pesante e taglia unica. È ottima contro un peascotter, ma se l'attaccante usa un cannone, l'armatura è troppo debole. Se l'attaccante usa solo un peascotter, l'armatura è così pesante da rallentare il bibliotecario, facendogli perdere compiti facili.

È qui che entra in gioco un nuovo metodo chiamato ReACT-CLIP, che offre una soluzione intelligente e leggera. Invece di indossare un'armatura fissa, ReACT-CLIP agisce come una guardia del corpo altamente reattiva che controlla il livello della minaccia prima di decidere come reagire. I ricercatori hanno scoperto che le difese esistenti falliscono perché utilizzano una "forza di correzione fissa". Cercano di risolvere ogni problema con la stessa forza, il che porta a due esiti negativi: o non risolvono abbastanza attacchi forti, o sovracorreggono quelli deboli rovinando la risposta per le immagini pulite.

ReACT-CLIP cambia le regole del gioco essendo "consapevole della risposta" (response-aware). Non indovina la forza dell'attacco; lo chiede direttamente al modello. Ecco come funziona: quando arriva un'immagine, il sistema le dà due leggeri "stimoli" con diverse quantità di rumore digitale. Osserva quanto la comprensione dell'immagine da parte del modello "oscilla" o traballa sotto questi stimoli.

Se l'immagine è pulita (un vero cane), rimane stabile anche quando stimolata.
Se l'immagine è un attacco debole, oscilla un po' di più.
Se è un attacco forte, oscilla selvaggiamente.

Misurando la differenza in quanto l'immagine oscilla tra uno stimolo leggero e uno pesante, ReACT-CLIP ottiene una lettura precisa, campione per campione, di quanta assistenza necessiti l'immagine. Crea poi un "ancoraggio" personalizzato (una versione stabile dell'immagine) e tira l'immagine confusa verso la verità con la giusta quantità di forza. Se l'immagine sta già bene, il sistema la lascia stare. Se è sotto un fuoco pesante, il sistema tira con forza.

Il documento dimostra che questo approccio è incredibilmente efficace. Attraverso 12 diversi dataset e sotto vari tipi di attacchi (dai piccoli tocchi alle distorsioni massicce), ReACT-CLIP mantiene alta l'accuratezza dell'IA, mantenendo spesso intorno al 60% di successo anche quando gli attacchi sono molto forti. Al contrario, altre difese che utilizzano una strategia fissa vedono la loro accuratezza crollare man mano che gli attacchi diventano più forti. I ricercatori hanno anche scoperto che controllare semplicemente se il modello è "confuso" non è sufficiente; dovevano combinare la misurazione dell' "oscillazione" con un controllo sulla stabilità delle predizioni del modello sotto lievi cambiamenti all'immagine. Questa combinazione permette al sistema di evitare di correggere immagini che non ne hanno bisogno, preservando l'intelligenza naturale del modello.

In breve, ReACT-CLIP dimostra che non è necessario addestrare un nuovo modello o sapere esattamente come un attaccante stia pianificando di colpire per difendersi da esso. Semplicemente ascoltando come il modello reagisce a un po' di rumore, il sistema può regolare automaticamente la propria difesa, agendo come uno scudo intelligente e adattivo, abbastanza forte da fermare un cannone ma abbastanza gentile da non ferire un peascotter. Ciò rende l'IA più sicura e affidabile senza sacrificare la sua velocità o la sua precisione.

Riepilogo Tecnico: ReACT-CLIP

Definizione del Problema

I modelli visione-linguaggio (VLM) come CLIP si affidano a encoder visivi congelati per diverse attività a valle, creando un punto di fallimento concentrato contro gli attacchi avversari. Sebbene l'addestramento avversario e il prompt tuning offrano robustezza, essi spesso richiedono un nuovo addestramento, rischiano l'overfitting su distribuzioni di attacco specifiche e sacrificano l'accuratezza sui dati puliti (clean accuracy) in favore della robustezza. Di conseguenza, sono emerse difese senza addestramento (training-free) al tempo di test come un'alternativa pratica.

Tuttavia, le difese esistenti al tempo di test soffrono di un limite fondamentale: impiegano strategie di intervento fisse. Che si tratti di aggiornamenti del prompt fissi, budget di controattacco fissi o scale di correzione delle feature fisse (ad esempio, una scala di rumore Gaussiano globale per la costruzione dell'ancora), questi metodi non possono adattarsi alla variazione della severità degli attacchi durante l'inferenza. Il budget di attacco ( $\epsilon$ ) è sconosciuto durante l'implementazione, e la forza di correzione richiesta varia significativamente tra i campioni, anche all'interno dello stesso budget nominale. Come dimostrato nel paper, le configurazioni fisse che funzionano per attacchi deboli spesso "sottostimano" (undershoot) gli attacchi forti, mentre quelle tarate per attacchi forti "sovrastimano" (overshoot) e degradano le prestazioni su input puliti o debolmente perturbati. Questo disallineamento causa un rapido degrado delle difese esistenti all'aumentare della forza dell'attacco.

Metodologia: ReACT-CLIP

ReACT-CLIP (Response-Aware Correction at Test-Time for CLIP) affronta questo problema riformulando la difesa al tempo di test come un processo decisionale specifico per ogni campione. Invece di applicare una correzione globalmente fissa, ReACT-CLIP determina due proprietà distinte per ogni input:

Se sia necessaria un'intervenzione difensiva.
Quanto intensamente l'input debba essere corretto.

Il metodo opera senza modificare il modello preaddestrato o richiedere il training dei prompt. Si basa su due meccanismi centrali:

1. Costruzione dell'Ancora Condizionata alla Risposta (Determinare la Forza di Correzione)

Per stimare la forza di correzione richiesta, ReACT-CLIP sonda l'input con due livelli di rumore Gaussiano ( $\sigma_{low}$ e $\sigma_{high}$ ) e misura la conseguente deriva (drift) nello spazio delle feature visive.

Osservazione: Mentre la deriva assoluta a un singolo livello di rumore è ambigua (le feature avversarie possono apparire ingannevolmente stabili sotto un rumore debole), la deriva relativa tra i rumori ( $r(x)$ ) fornisce un segnale chiaro e graduato. Essa è definita come l'incremento relativo della deriva dal rumore basso al rumore alto:
$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$
Meccanismo: Questa deriva relativa fune da proxy specifico per il campione della richiesta di correzione. ReACT-CLIP mappa $r(x)$ in una scala di correzione specifica per il campione $\sigma_{corr}(x)$ tramite una mappatura lineare calibrata una sola volta su un singolo dataset (Caltech256).
Applicazione: Questa scala viene utilizzata per costruire un'ancora di feature mediata dal rumore ( $f_{anc}$ ) a partire da viste con rumore Gaussiano. La feature visiva originale viene quindi estrapolata verso e oltre questa ancora. Un piccolo $r(x)$ produce una piccola scala di rumore e una correzione lieve; un grande $r(x)$ produce una scala maggiore e una portata correttiva superiore.

2. Intervento Difensivo Selettivo (Determinare la Necessità)

Applicare la correzione incondizionatamente può danneggiare gli input puliti che sono già classificati correttamente. Per decidere se intervenire, ReACT-CLIP combina la deriva relativa con un punteggio di instabilità della predizione.

Osservazione: Gli input puliti mantengono distribuzioni di probabilità delle classi stabili sotto deboli aumentazioni spaziali, mentre gli input avversari mostrano una maggiore variazione.
Meccanismo: Un punteggio di instabilità della predizione $J(x)$ viene calcolato utilizzando la divergenza di Jensen–Shannon tra la predizione originale e la predizione sotto un'aumentazione stocastica debole $T(x)$ .
Decisione: Il punteggio di intervento difensivo finale è $s_{int}(x) = r(x) + J(x)$ . Se $s_{int}(x)$ supera una soglia $\tau$ , la correzione viene applicata; altrimenti, la feature originale viene mantenuta. Ciò consente al sistema di distinguere gli input avversari dagli input debolmente attaccati, un regime in cui la sola deriva relativa è spesso ambigua.

Contributi Chiave

Costruzione dell'Ancora Condizionata alla Risposta: Il paper identifica che le forze di correzione globalmente fisse sono subottimali. Introduce un metodo per convertire la deriva relativa tra i rumori in una scala di correzione specifica per il campione, permettendo alla portata difensiva di adattarsi sia al budget di attacco che alle caratteristiche del singolo campione senza riaddestramento.
Intervento Difensivo Selettivo: Gli autori propongono un punteggio di intervento fuso che combina la deriva relativa e l'instabilità della predizione. Ciò migliora il rilevamento degli input avversari nel regime di attacco debole, preservando al contempo l'accuratezza sui dati puliti, affrontando l'ambiguità che affligge i rilevatori basati solo sulla deriva.
Valutazione Estensiva della Robustezza: Il metodo è valutato su 12 dataset downstream, ImageNet e le sue varianti di shift di distribuzione sotto attacchi PGD-10, PGD-100, C&W-10 e AutoAttack.

Risultati

Guadagni di Robustezza: Su 12 dataset downstream sotto attacchi PGD-10, ReACT-CLIP mantiene circa il 60% di accuratezza robusta attraverso budget di attacco da $\epsilon=1/255$ a $\epsilon=16/255$ .
Confronto con i Baseline: Supera il più forte baseline esistente (Defend-CLIP) fino a 46,50 punti percentuali a $\epsilon=16/255$ . Mentre le difese esistenti degradano bruscamente man mano che gli attacchi si rafforzano, ReACT-CLIP mantiene prestazioni stabili.
Accuratezza sui Dati Puliti (Clean Accuracy): Il metodo preserva l'accuratezza sui dati puliti, rimanendo entro lo 0,76% rispetto alla difesa più forte sugli input puliti.
Generalizzazione: La mappatura lineare per la forza di correzione, calibrata su un singolo dataset, si generalizza efficacementamente a ImageNet e alle sue varianti out-of-distribution (ImageNet-A, V2, R, Sketch) ed estrapola a budget di attacco ( $\epsilon=24, 32$ ) oltre l'intervallo di calibrazione, dove altre difese collassano.
Ablazione: I risultati confermano che la costruzione dell'ancora condizionata alla risposta guida la robustezza nei budget di attacco da moderati a forti, mentre il punteggio di intervento selettivo protegge principalmente l'accuratezza sui dati puliti e migliora le prestazioni nel regime di attacco debole.

Significato e Rivendicazioni

Il paper sostiene che ReACT-CLIP stabilisce un nuovo paradigma per la difesa al tempo di test senza addestramento, passando da interventi globali e fissi a decisioni per singolo input condizionate alla risposta. Sfruttando la dinamica relativa della deriva delle feature indotta dal rumore e la stabilità della predizione, il metodo si adatta a budget di attacco sconosciuti e alla severità variabile dei campioni senza richiedere la conoscenza dei parametri di attacco durante l'inferenza.

Gli autori sottolineano che questo approccio permette a una singola configurazione fissa di rimanere efficace attraverso un ampio spettro di budget di perturbazione, da attacchi molto deboli a molto forti, preservando ampiamente le capacità zero-shot del modello CLIP preaddestrato. Il lavoro evidenzia come il "disallineamento" tra le configurazioni di difesa fisse e le variabili intensità di attacco sia una causa primaria di fallimento nelle attuali difese al tempo di test, e che la condizionamento consapevole della risposta sia un passo necessario verso i VLM robusti e pronti per l'implementazione.