Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

1. Il Problema: Vulnerabilità delle Modelli Vision-Language (VLM)

I modelli Vision-Language (VLM) sono fondamentali per compiti come la ricerca immagine-testo e il grounding visivo, ma sono estremamente vulnerabili agli attacchi avversariali cross-modali.

• Il Trade-off Robustezza-Prestazioni: Le attuali strategie di difesa, come l'addestramento avversariale (Adversarial Training - AT), migliorano la robustezza ma comportano spesso un significativo calo delle prestazioni sui dati puliti (clean performance) e costi computazionali elevati.
• L'Ipotesi Chiave: Gli autori ipotizzano che le parole funzionali (es. articoli, preposizioni, congiunzioni come "the", "is", "of") siano un punto debole. Poiché queste parole hanno un alto frequenza ma scarso contenuto semantico, gli attacchi avversariali tendono a sfruttare i "buchi" semantici tra l'immagine pulita e il testo target, guidando le perturbazioni verso questi token più accessibili. Questo crea un disallineamento cross-modale che gli attaccanti possono sfruttare.

2. Metodologia: Function-word De-Attention (FDA)

Per mitigare questa vulnerabilità senza compromettere le prestazioni, gli autori propongono FDA (Function-word De-Attention), un metodo ispirato ai Differential Transformers.

Funzionamento Tecnico:

1. Pipeline Parallela: All'interno degli encoder di fusione (fusion-encoders) dei VLM, viene aggiunta una pipeline parallela ai normali calcoli dell'attenzione incrociata.
2. Estrazione delle Parole Funzionali: Vengono estratte le caratteristiche delle sole parole funzionali ($T_f$) mascherando tutti gli altri token (escludendo il token [CLS]).
3. Calcolo dell'Attenzione "Distrazione": Si calcola l'attenzione incrociata tra le parole funzionali e le immagini di input. Questa attenzione rappresenta le "distrazioni" o i segnali fuorvianti che l'attacco cerca di sfruttare.
4. Sottrazione Differenziale:
   • Si applica una softmax lungo le dimensioni dei token visivi e testuali per evidenziare i token più fuorvianti.
   • L'attenzione delle parole funzionali viene sottratta dall'attenzione originale ($Att$) tramite una porta di controllo ($G$) che regola l'intensità della sottrazione.
   • La formula finale (Eq. 6) è: $\hat{Att} = \min(Att - G(\tilde{Att}_t), Att - G(\tilde{Att}_v))$.
5. Integrazione: I risultati vengono concatenati attraverso tutti i heads di attenzione. L'approccio è progettato per essere implementato nelle prime layer della rete per evitare l'"assorbimento" delle distrazioni nelle layer successive, ma preservando l'integrità contestuale.

3. Contributi Chiave

1. Identificazione della Vulnerabilità: Dimostrazione empirica che le parole funzionali sono la causa principale della vulnerabilità dei VLM agli attacchi avversariali cross-modali.
2. Metodo FDA: Proposta del primo metodo che rafforza l'allineamento visione-linguaggio riducendo l'attenzione alle parole funzionali, ottenendo robustezza "gratuita" (free robustness), ovvero senza penalizzare le prestazioni sui dati puliti.
3. Validazione Estensiva: Sperimentazione su 3 modelli (ALBEF, TCL, BLIP), 2 task (Ricerca e Grounding Visivo), 3 dataset (Flickr30k, COCO, RefCOCO+) e 6 diversi attacchi avversariali.
4. Analisi di Scalabilità e Zero-Shot: Dimostrazione che il metodo scala bene con modelli più grandi e migliora le prestazioni in scenari zero-shot.

4. Risultati Sperimentali

Gli esperimenti hanno mostrato risultati superiori rispetto agli stati dell'arte (SOTA) come TeCoA e FARE:

• Ricerca Immagine-Testo (Retrieval):
  • FDA ha ridotto il Tasso di Successo dell'Attacco (ASR) in media del 18%, 13% e 53% sui tre modelli testati.
  • Il calo delle prestazioni sui dati puliti (Clean R@1) è stato trascurabile, compreso tra lo 0.2% e lo 0.6%.
  • Su BLIP (modello più grande), la riduzione dell'ASR è stata del 56% con un calo di prestazioni minimo.
• Grounding Visivo (Visual Grounding):
  • FDA ha ottenuto una riduzione dell'ASR del 90%.
  • Sorprendentemente, ha mostrato un miglioramento delle prestazioni (0.3% di guadagno) sui dati puliti rispetto al modello vanilla.
• Attacchi Non Mirati e Adattivi: FDA ha mantenuto la sua efficacia anche contro attacchi adattivi (MAPGD) che cercano di aggirare la difesa, e ha funzionato bene come strumento "plug-and-play" combinato con altre tecniche di difesa.
• Analisi delle Embedding: Le visualizzazioni T-SNE mostrano che FDA mantiene un allineamento cross-modale molto più stretto e coerente rispetto ai modelli difesi con AT (che spesso disperdono le embedding), spiegando la superiorità nella robustezza.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma della difesa dei VLM:

• Efficienza: Offre una difesa robusta senza i costi computazionali dell'addestramento avversariale massiccio e senza il classico trade-off prestazioni-robustezza.
• Intuizione Linguistica: Sfrutta una proprietà linguistica fondamentale (la ridondanza semantica delle parole funzionali) per migliorare la sicurezza dell'IA, suggerendo che "prestare meno attenzione" a certi elementi può rendere il modello più sicuro.
• Generalizzabilità: Il metodo è indipendente dal modello di base (backbone) e può essere applicato a diversi architetture di VLM, rendendolo una soluzione pratica e scalabile per la sicurezza dei sistemi multimodali.

In sintesi, gli autori dimostrano che le parole funzionali agiscono come "punti ciechi" sfruttabili dagli attaccanti e che rimuoverne l'influenza attraverso un meccanismo di sottrazione differenziale dell'attenzione è la chiave per ottenere VLM robusti e performanti.