Sintesi Tecnica: T-VSS (Test-Time Visual Subspace Steering)

1. Definizione del Problema

I Modelli Vision-Language (VLM), come CLIP, eccellono nel riconoscimento visivo zero-shot, ma rimangono altamente vulnerabili alle perturbazioni avversarie. Anche cambiamenti impercettibili nell'input possono causare fallimenti significativi nelle predizioni, ponendo rischi in domini critici per la sicurezza come l'IA medica e la guida autonoma.

Le strategie di difesa esistenti affrontano due limitazioni primarie:

1. Metodi in fase di Training: Approcci come l'addestramento avversario, il fine-tuning robusto e la purificazione basata su diffusione richiedono dati etichettati, costosi ri-addestramenti o modelli ausiliari, rendendoli impraticabili per i grandi VLM congelati.
2. Metodi di Test-Time Adaptation (TTA): Recenti approcci TTA tentano di migliorare la robustezza all'inferenza senza ri-addestramento, ma spesso si affidano a percorsi di ottimizzazione indiretti:
   • Basati su Prompt (es. R-TPT): Ottimizzano prompt testuali apprendibili.
   • Nello spazio di Input (es. TTP, TTC): Ottimizzano il padding a livello di pixel o perturbazioni di contro-attacco.
     Questi metodi sono computazionalmente costosi e non affrontano direttamente la corruzione della rappresentazione visiva stessa, che è il bersaglio primario degli attacchi avversari.

2. Metodologia: Test-Time Visual Subspace Steering (T-VSS)

T-VSS propone una difesa leggera e diretta che adatta lo spazio delle caratteristiche visive al momento del test. Invece di regolare i prompt o i pixel, apprende una correzione condivisa all'interno di un sottospazio a basso rango compatto e specifico per il campione, derivato dalle caratteristiche multi-view dell'immagine attaccata.

Il metodo opera in tre fasi principali:

A. Stima del Sottospazio Visivo Locale

Data un'immagine di test avversaria $x_0$ e le sue $N$ viste aumentate $\{x_1, \dots, x_N\}$, il modello estrae le caratteristiche visive congelate $\{f_i\}$ utilizzando l'encoder d'immagine CLIP.

• Costruzione dei Residui: Viene costruito un matrice di residui basata su un'ancora $R$, sottraendo la caratteristica della vista originale attaccata ($f_0$) dalle caratteristiche di tutte le viste aumentate:
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• Estrazione del Sottospazio: Viene applicata la Decomposizione ai Valori Singolari (SVD) a $R$. Il metodo seleziona un sottospazio a basso rango definito dai primi $m$ vettori singolari destri ($V_m$). Il rango $m$ è scelto adattivamente in modo che l'energia cumulativa dei valori singolari superi una soglia $\rho$ (es. 0.9).
• Intuzione: Poiché tutte le viste originano dallo stesso immagine attaccata, i loro spostamenti di caratteristiche indotti dall'attacco condividono una componente comune. La struttura residua collassa in una geometria a basso rango, permettendo al metodo di isolare la variazione locale causata dall'attacco pur sopprimendo gli offset condivisi tra le viste.

B. Steering delle Caratteristiche a Basso Rango Condiviso

T-VSS apprende un singolo vettore di correzione condiviso $\Delta$ all'interno del sottospazio estratto $V_m$:

• Un vettore di coefficienti apprendibili $\alpha \in \mathbb{R}^m$ è inizializzato a zero.
• La correzione è calcolata come $\Delta = V_m \alpha$.
• Questo spostamento viene applicato a tutte le viste simultaneamente: $\tilde{f}_i = \text{norm}(f_i + \Delta)$.
• Questo design impone una correzione di consenso tra le viste, vincolata dalla geometria a basso rango, piuttosto che consentire aggiornamenti indipendenti e instabili per ogni vista.

C. Ottimizzazione e Aggregazione Consapevoli della Affidabilità

Non tutte le viste aumentate sono ugualmente affidabili sotto attacco. T-VSS incorpora un meccanismo di ponderazione dell'affidabilità:

• Punteggio di Affidabilità: Per ogni vista $i$, un punteggio $r_i$ viene calcolato in base alla similarità media con i suoi $K$ vicini più prossimi nello spazio delle caratteristiche.
• Ponderazione: Questi punteggi vengono convertiti in pesi $w_i$ tramite una softmax scalata per temperatura. Le viste con un alto accordo nelle caratteristiche ricevono pesi maggiori; gli outlier instabili vengono soppressi.
• Funzione di Perdita: Il vettore di coefficienti $\alpha$ viene ottimizzato minimizzando l'entropia puntuale pesata sull'affidabilità delle probabilità di classe predette:
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• Predizione Finale: La predizione finale è una media pesata sull'affidabilità delle probabilità provenienti da tutte le viste adattate.

3. Contributi Chiave

1. Adattamento Diretto dello Spazio delle Caratteristiche: T-VSS è il primo difese test-time per i VLM che adatta direttamente la rappresentazione visiva corrotta all'interno di un sottospazio appreso a basso rango, evitando l'ottimizzazione indiretta e costosa dei prompt testuali o dei pixel.
2. Geometria a Basso Rango Specifica per il Campione: Costruendo un sottospazio dai residui basati su ancora delle caratteristiche multi-view, il metodo cattura la geometria locale cross-view dell'attacco, vincolando gli aggiornamenti verso direzioni geometricamente plausibili.
3. Meccanismo Consapevole dell'Affidabilità: L'integrazione dei pesi di affidabilità delle viste assicura che il processo di adattamento e l'aggregazione finale siano robusti rispetto alle viste aumentate instabili, un problema comune negli scenari avversari.
4. Efficienza: Il metodo richiede solo un singolo passaggio in avanti attraverso l'encoder congelato. L'ottimizzazione avviene su un piccolo set di coefficienti (il rango $m$) piuttosto che su vettori di prompt ad alta dimensione o griglie di pixel, riducendo significativamente la latenza di inferenza.

4. Risultati Sperimentali

Gli autori hanno valutato T-VSS su otto dataset fine-grained, ImageNet e quattro benchmark ImageNet Out-of-Distribution (OOD) utilizzando tre backbone CLIP (ResNet-50, ViT-B/16, ViT-L/14).

• Robustezza Avversaria: T-VSS ha costantemente ottenuto la migliore accuratezza avversaria media su tutti i backbone e i dataset.
  • Sui dataset fine-grained con CLIP-ResNet-50, ha migliorato l'accuratezza robusta media al 48.5%, superando il precedente migliore (R-TPT) di 3.3 punti.
  • Su ImageNet, ha raggiunto il 50.1% di accuratezza robusta, superando R-TPT (47.7%) e altri baseline.
  • Ha dimostrato una prestazione superiore sulle categorie fine-grained impegnative (es. Cars, Flower102, Aircraft) e ha mantenuto i guadagni attraverso i benchmark OOD (ImageNet-A, V2, R, S).
• Accuratezza Clean: T-VSS ha mantenuto un'accuratezza clean competitiva, evitando i cali significativi di accuratezza spesso associati a correzioni test-time aggressive.
• Efficienza: T-VSS era la difesa adattiva più veloce. Su UCF101, ha raggiunto il 52.5% di accuratezza robusta in 0.383 secondi/immagine, che è più veloce di R-TPT (0.533s) e TTP (0.408s). Ha mantenuto prestazioni elevate anche con budget di viste ridotti (es. 16 viste).
• Generalizzazione: Il metodo ha mostrato robustezza contro vari tipi di attacco (PGD, CW, DeepFool, FGSM), indicando che non è overfitting su un meccanismo di attacco specifico.

5. Significato e Rivendicazioni

Il paper sostiene che T-VSS offre un'alternativa semplice, pratica ed efficiente all'adattamento basato su prompt e nello spazio dei pixel per l'inferenza robusta di VLM zero-shot.

• Direttezza: Guidando direttamente lo spazio delle caratteristiche visive, T-VSS affronta la causa principale della vulnerabilità (rappresentazioni visive corrotte) in modo più efficace rispetto ai metodi indiretti.
• Trade-off Robustezza-Efficienza: L'adattamento vincolato a basso rango produce un trade-off superiore, fornendo una maggiore robustezza con un minor overhead computazionale rispetto alle difese test-time precedenti.
• Limitazioni: Gli autori riconoscono che, come altre difese basate su aumento, T-VSS si affida all'aumento multi-view stocastico. Ciò crea una potenziale superficie di attacco se un avversario ottimizza esplicitamente attraverso la stessa aspettativa sulle trasformazioni (attacchi consapevole della difesa), una limitazione condivisa dall'attuale paradigma TTA.

In conclusione, T-VSS dimostra che vincolare l'adattamento test-time a un sottospazio visivo compatto e specifico per il campione è una strategia vitale ed efficace per migliorare la robustezza avversaria dei Vision-Language Models congelati.