Towards Robustness against Typographic Attack with Training-free Concept Localization

Sintesi Tecnica: Verso la robustezza contro l'attacco tipografico tramite la localizzazione dei concetti senza addestramento

Definizione del Problema
I modelli di Contrastive Language-Image Pretraining (CLIP) fungono da encoder visivi fondamentali per i moderni Large Vision Language Models (LVLM). Nonostante la loro ampia adozione, questi modelli esibiscono una vulnerabilità critica nota come Attacco Tipografico (TA). In questo scenario, un testo irrilevante sovrapposto a un'immagine (ad esempio, la parola "Go Goose" su un'immagine di un gatto) causa la classificazione errata dell'immagine da parte del modello basata sul contenuto lessicale piuttosto che sulla reale semantica visiva. Questa modalità di fallimento deriva da un "entanglement delle caratteristiche" (feature entanglement), in cui gli encoder Vision Transformer (ViT) non riescono a decomporre efficacemente le caratteristiche visive dalla semantica codificata nelle forme lessicali. Le difese esistenti spesso si affidano all'addestramento supervisionato o a interventi black-box, mancando di interpretabilità e non affrontando la radice meccanicistica della vulnerabilità.

Metodologia
Gli autori propongono un metodo di interpretabilità meccanicistica, privo di addestramento (training-free), per localizzare e mitigare le vulnerabilità da TA all'interno dell'architettura ViT. L'approccio si basa sulla Linear Representation Hypothesis e sulla Lottery Ticket Hypothesis, operando attraverso tre fasi principali:

1. Estrazione Stocastica dei Concetti (Stochastic Concept Mining):
   Invece dell'apprendimento di un dizionario parametrico costoso, il metodo impiega il campionamento stocastico di vettori di pseudo-concetto all'interno del sottospazio a bassa dimensionalità delle teste di Multi-Head Self-Attention (MHSA). Campionando vettori casuali ($u$) da una distribuzione Gaussiana, il metodo tratta la scoperta dei concetti come una "lotteria stocastica". L'analisi teorica suggerisce che operare nel sottospazio $d_{head}$ (anziché nel $d_{model}$ globale) riduce significativamente l'interferenza polisemantica, aumentando la probabilità di trovare "winning tickets" (biglietti vincenti): campioni che si allineano fedelmente con specifici concetti lessicali.

2. Attribuzione Basata sul Gradiente e Estrazione dei Circuiti (Circuit Mining):
   Il metodo quantifica il "focus lessicale" delle singole teste di attenzione utilizzando uno Score di Attribuzione Testuale (TAS). Calcola la derivata parziale della forza del concetto proiettato rispetto ai logit di attenzione pre-softmax. Questa mappa di attribuzione considera congiuntamente l'attivazione dell'attenzione ($A_{i,j}$) e l'utilità marginale del patch ($V_j(u) - F_i(u)$). Aggregando i punteggi su un dataset non etichettato, il metodo identifica specifiche teste di attenzione e circuiti che codificano in modo sproporzionato informazioni testuali avversarie.

3. Intervento Meccanicistico:
   Una volta identificati i "circuiti di lettura tipografica" vulnerabili, il metodo applica interventi al tempo di test (test-time interventions) senza riaddestramento:

• Ripesatura dell'Attenzione (Attention Reweighting): Per i modelli dotati di un token <cls>, i pesi dell'attenzione dal token <cls> verso i patch contenenti testo vengono soppressi (ripesati a zero), costringendo il modello a fare affidamento sui patch visivi.
• Ablazione Zero (Zero Ablation): Per gli LVLM privi di un token <cls> dedicato, gli output dei moduli vulnerabili identificati vengono sostituiti con vettori zero, rimuovendo efficacemente la distrazione lessicale dal flusso di elaborazione.

Contributi Chiave

• Estrazione dei Concetti tramite Campionamento: Un nuovo metodo di campionamento stocastico privo di addestramento che sfrutta la naturale decomposizione dei moduli MHSA per aumentare la probabilità di incontri con i concetti senza l'uso di un dizionario parametrico.
• Spiegazione della Vulnerabilità: Un meccanismo di attribuzione basato sul gradiente che analizza congiuntamente il "focus" della testa di attenzione e la "direzione" del concetto per produrre punteggi normalizzati (nTAS) che identificano coerentemente i moduli focalizzati sul lessico.
• Intervento Meccanicistico: Una dimostrazione che semplici interventi senza ottimizzazione (ripesatura o ablazione) sui circuiti identificati migliorano sostanzialmente la robustezza contro i TA sia nella classificazione di oggetti che nel Visual Question Answering (VQA).

Risultati Sperimentali
Il metodo è stato valutato su cinque varianti di CLIP ViT (da ViT-B/16 a ViT-bigG/14) e diversi modelli LVLM allo stato dell'arte (Qwen3-VL, InternVL3.5, Gemma3).

• Classificazione di Oggetti: Su dataset come RTA-100, Disentangling e PAINT, l'intervento ha migliorato significativamente l'accuratezza della classificazione degli oggetti (OCA) riducendo drasticamente il tasso di confusione testuale (TCR). Ad esempio, su ViT-H/14, l'OCA è migliorata del +22,8% su RTA-100, mentre il TCR è sceso del 27,6%. Il metodo ha superato sia i baseline supervisionati (Defense-Prefix) che altri metodi privi di addestramento (Dyslexify).
• Robustezza degli LVLM: Applicato agli LVLM sul dataset RIO-Bench, l'intervento ha migliorato l'accuratezza del VQA attraverso molteplici dimensioni del modello (ad esempio, +1,58% su Qwen3-VL-8B) sotto interferenza da attacco tipografico, con un impatto trascurabile (<1%) sulle prestazioni su immagini pulite.
• Efficienza: Il processo di estrazione dei circuiti è estremamente veloce (meno di un minuto per tutti i backbone su una singola A100) e richiede solo una frazione minima (0,1%) di un dataset di addestramento per la calibrazione della soglia.

Significatività e Rivendicazioni
Il documento sostiene che il proprio approccio fornisca una soluzione fedele e spiegabile alla robustezza del TA, individuando la precisa fonte meccanicistica della vulnerabilità all'interno dell'architettura transformer. A differenza delle difese black-box, questo metodo offre un chiaro legame causale tra specifiche teste di attenzione e la classificazione errata del lessico. Gli autori affermano che il loro lavoro fa avanzare la frontiera delle soluzioni meccanicistiche per la robustezza dei VLM, dimostrando che interventi a livello di circuito e privi di addestramento possono decomporre efficacemente la semantica visiva dalle distrazioni lessicali, aumentando così la sicurezza per applicazioni critiche come la guida autonoma. I risultati confermano sia l'efficacia che la generalizzabilità di questo approccio meccanicistico attraverso diverse scale di modello e architetture.