🤖 AI

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Il documento propone SS-TPT, un metodo di test-time prompt tuning per modelli visione-linguaggio che migliora la robustezza avversaria e l'efficienza valutando le viste aumentate attraverso punteggi di stabilità e idoneità per guidare l'adattamento e l'inferenza, ottenendo così compromessi tra robustezza e throughput superiori rispetto agli approcci esistenti allo stato dell'arte.

Autori originali: Sunoh Kim, Daeho Um

Pubblicato 2026-06-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sunoh Kim, Daeho Um

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario molto intelligente e colto (il modello AI) che è in grado di identificare oggetti nelle foto solo guardandoli, anche senza essere stato istruito su esempi specifici in precedenza. Questo bibliotecario è eccellente nel suo lavoro, ma si confonde facilmente se qualcuno riesce a infilare una piccola, quasi invisibile macchia su una foto (un "attacco avversario") o se la foto appare molto diversa dai libri presenti in biblioteca (uno "spostamento della distribuzione").

Per aiutare il bibliotecario a prendere decisioni migliori, i metodi precedenti hanno cercato di mostrargli molte versioni leggermente diverse della stessa foto (come mostrare una foto, una versione sfocata, una versione più luminosa e una versione ruotata). L'idea era che se il bibliotecario concorda sulla risposta attraverso tutte queste versioni, allora deve avere ragione.

Il Problema:
Mostrare troppe versioni è lento. È come chiedere a un bibliotecario di leggere 63 copie diverse dello stesso libro solo per decidere se si tratta di un romanzo giallo. Ci vuole un'eternità e la biblioteca si accumula di lavoro. Inoltre, se una di queste copie è una copia "cattiva" (distorta dall'attaccante), il bibliotecario potrebbe confondersi, anche se sta guardando 62 copie buone.

La Soluzione: SS-TPT
Gli autori di questo articolo hanno creato un nuovo metodo chiamato SS-TPT (Stability and Suitability-Guided Test-Time Prompt Tuning). Invece di limitarsi a mostrare al bibliotecario più copie della stessa foto, insegnano al bibliotecario come giudicare la qualità di ogni copia che vede.

Utilizzano due semplici "pagelle" per ogni versione della foto:

Stabilità (Il "Test della Scossa"):
Immagina di consegnare una foto al bibliotecario e chiedergli: "Cos'è questo?". Poi, scuoti leggermente la foto o cambi leggermente l'illuminazione (augumentazioni deboli) e chiedi di nuovo.

Alta Stabilità: Il bibliotecario dice: "È un gatto", sia la prima che la seconda volta. È fiducioso e coerente.
Bassa Stabilità: Il bibliotecario dice: "È un gatto", poi "È un cane", poi "È un tostapane". È confuso.
La Lezione: Se una visuale cambia idea facilmente con una piccola spinta, è probabilmente una cattiva visuale.

Idoneità (Il "Test della Folla"):
Immagina che il bibliotecario guardi tutte le versioni della foto insieme in uno "spazio delle caratteristiche" mentale (una mappa di come le cose appaiono simili).

Alta Idoneità: La versione della foto si trova in un gruppo affollato con i suoi amici. Tutti sembrano simili.
Bassa Idoneità: La versione della foto è da sola in un campo vuoto, lontana dagli altri. È un elemento isolato.
La Lezione: Se una visuale è un elemento bizzarro che non si adatta agli altri, è probabile che sia corrotta o falsa.

Come Funziona in Pratica:
Il sistema SS-TPT utilizza questi due punteggi per agire come un filtro intelligente:

Durante l'Apprendimento (Adattamento): Quando il bibliotecario sta cercando di adattare il proprio pensiero alla nuova foto, il sistema gli dice: "Ignora le visuali che sono instabili o isolate. Ascolta solo le visuali che sono stabili e che si inseriscono nella folla". Questo evita che il bibliotecario impari dalle "copie cattive".
Durante il Guess Finale (Inferenza): Quando è il momento di dare la risposta finale, il sistema non si limita a fare una semplice media di tutti i tentativi. Invece, dà una voce più forte alle visuali affidabili (punteggi alti) e un sussurro a quelle inaffidabili (punteggi bassi).

I Risultati:
L'articolo sostiene che questo approccio è un vero punto di svolta perché:

È Veloce: Non è necessario mostrare al bibliotecario 63 versioni. Si possono ottenere ottimi risultati con solo 15, e il sistema è circa due volte più veloce dei metodi precedenti.
È Più Forte: Anche con meno visuali, il bibliotecario è molto più difficile da ingannare dagli attaccanti. Ottengono un'accuratezza superiore sulle foto manipolate rispetto a qualsiasi metodo precedente.
È Intelligente: Non si limita a contare i voti; giudica la qualità dei votanti.

In breve, SS-TPT impedisce all'IA di sprecare tempo su cattive copie di una foto e si concentra solo su quelle affidabili, rendendola più veloce, più intelligente e più difficile da ingannare.

Sintesi Tecnica: SS-TPT

Definizione del Problema
I modelli visione-linguaggio (VLM), in particolare CLIP, dimostrano forti capacità di riconoscimento zero-shot ma rimangono altamente vulnerabili alle perturbazioni avversarie e ai cambiamenti di distribuzione. Sebbene recenti difese di adattamento al tempo di test (TTA) tentino di migliorare la robustezza sfruttando molteplici viste aumentate, esse introducono un'inefficienza critica: un grave compromesso tra robustezza e throughput. I metodi esistenti, come R-TPT, richiedono spesso un gran numero di viste aumentate (ad esempio, 63 viste) per stabilizzare l'adattamento, risultando in velocità di inferenza quasi quattro volte inferiori rispetto al CLIP vanilla. Al contrario, ridurre il numero di viste per migliorare la velocità degrada significativamente la robustezza perché questi metodi trattano tutte le viste come ugualmente affidabili, permettendo a viste corrotte o outlier di dominare il processo di adattamento. La sfida centrale è ottenere un'alta robustezza avversaria senza sacrificare l'efficienza computazionale o richiedere un'eccessiva diversità visiva.

Metodologia: SS-TPT
Gli autori propongono lo Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT), un framework che valuta la qualità di ogni vista aumentata per guidare sia l'adattamento del modello che l'inferenza. Invece di fare affidamento sulla quantità di viste, SS-TPT calcola due punteggi complementari per ogni vista $x_i$ :

Punteggio di Stabilità ( $S_{stab}$ ): Misura l'invarianza della distribuzione predittiva di una vista sotto deboli aumenti stocastici (ad esempio, trasformazioni affini, jitter del colore, sfocatura, rumore). È definito come l'inverso della divergenza di Jensen-Shannon tra la predizione della vista originale e la sua variante debolmente aumentata. Un'alta stabilità indica che la predizione della vista è robusta rispetto a piccole perturbazioni.
Punteggio di Idoneità ( $S_{suit}$ ): Misura la densità di una vista nello spazio delle caratteristiche rispetto alle altre viste. È calcolato come l'inverso della distanza media indotta dal coseno tra il vettore delle caratteristiche normalizzato di una vista e quelli di tutte le altre viste. Un'alta idoneità indica che la vista si trova in un cluster denso di altre viste, suggerendo che non sia un outlier.

Questi punteggi vengono normalizzati e combinati in un singolo punteggio di Stabilità-Idoneità (SS) ( $Z_i$ ) tramite un iperparametro $\alpha$ . Questo punteggio viene convertito in pesi SS ( $w_i$ ) utilizzando una funzione softmax.

Il framework utilizza questi pesi in due fasi distinte:

Adattamento (Perdita di Consistenza Guidata da SS): Durante il prompt tuning al tempo di test, il modello minimizza una funzione di perdita che combina la minimizzazione dell'entropia punto per punto con un termine di consistenza. A differenza dei metodi precedenti che o impongono la consistenza su tutte le viste (ignorandone la qualità) o rimuovono completamente la consistenza per evitare viste corrotte, SS-TPT impone l'allineamento solo con riferimenti affidabili. Nello specifico, ogni vista è allineata a una media ponderata "leave-one-out" di altre viste, dove i pesi sono determinati dai loro punteggi SS. Ciò impedisce alle viste corrotte di trarre in errore l'adattamento.
Inferenza (Predizione Pesata da SS): Per la predizione finale, il modello aggrega le predizioni di tutte le viste utilizzando i pesi SS. Questo sopprime l'influenza delle viste di bassa qualità (corrotte o outlier) amplificando al contempo quelle affidabili.

Contributi Chiave

Framework SS-TPT: L'introduzione di una difesa al tempo di test che quantifica esplicitamente la qualità della vista attraverso punteggi di stabilità e idoneità, consentendo un adattamento robusto anche con un numero limitato di viste aumentate.
Design a Doppio Meccanismo: Il design di una perdita di consistenza guidata da SS che allinea le predizioni con riferimenti affidabili durante l'adattamento, e un meccanismo di predizione pesata da SS che sopprime gli outlier durante l'inferenza.
Compromesso Robustezza-Efficienza Superiore: Dimostrare che concentrarsi sulla qualità della vista piuttosto che sulla quantità permette al modello di superare i metodi allo stato dell'arte sia in termini di robustezza che di throughput, ottenendo un'alta robustezza con significativamente meno viste (ad esempio, 15 viste rispetto a 63).

Risultati Sperimentali
Sono stati condotti estesi esperimenti su 10 dataset fine-grained, ImageNet e quattro varianti di spostamento della distribuzione (ImageNet-A, V2, R, S) sotto vari scenari di attacco (PGD, CW, AutoAttack, White-box).

Robustezza: SS-TPT ha raggiunto una robustezza avversaria allo stato dell'arte. Su 10 dataset fine-grained, ha raggiunto una robustezza media del 46,8%, superando il precedente migliore (R-TPT) di 6,4 punti percentuali. Su ImageNet, ha raggiunto una robustezza del 48,6%, superando R-TPT di 5,4 punti.
Accuratezza su Dati Puliti: Il metodo ha preservato un'alta accuratezza sui dati puliti (55,1% sui dataset fine-grained), rimanendo il più vicino alle prestazioni originali di CLIP tra tutti i metodi di adattamento.
Efficienza: SS-TPT ha ridotto significativamente il tempo di inferenza. Utilizzando solo 15 viste aumentate, ha elaborato le immagini in circa 0,74 secondi, quasi il doppio della velocità di R-TPT (che utilizzava 63 viste e impiegava 1,67 secondi), ottenendo al contempo una maggiore robustezza (81,0% su Caltech101 rispetto al 79,8% di R-TPT-63v).
Regime a Basso Numero di Viste: Anche nel difficile scenario a singola vista (1 vista aumentata), SS-TPT ha mantenuto una robustezza media del 25,8%, superando R-TPT di 15,7 punti, dimostrando la sua capacità di estrarre informazioni significative da prove visive limitate.
Studi di Ablazione: L'analisi ha confermato che sia la stabilità che l'idoneità sono componenti necessarie, con la combinazione della consistenza guidata da SS e della predizione pesata da SS che produce la migliore sinergia. Il metodo si è inoltre dimostrato robusto alle variazioni nei template dei prompt.

Significatività e Rivendicazioni
Il paper sostiene che SS-TPT affronti il limite fondamentale delle attuali difese TTA: la dipendenza da un gran numero di viste per mediare il rumore, il che crea un collo di bottiglia computazionale impraticabile. Introducendo un meccanismo per valutare e pesare la qualità della vista, SS-TPT scinde la robustezza dal puro volume di viste aumentate. Gli autori affermano che questo approccio offre una soluzione "pratica e generale" per l'implementazione di VLM affidabili in scenari reali in cui gli input possono essere rumorosi o manipolati, e dove le risorse computazionali sono limitate. Il lavoro evidenzia che la valutazione della qualità della vista è un fattore critico, precedentemente sottoutilizzato, nell'adattamento al tempo di test, stabilendo la stabilità e l'idoneità come indicatori efficaci per distinguere le viste affidabili da quelle corrotte.

Sintesi Tecnica: SS-TPT

Articoli simili