VALD: Multi-Stage Vision Attack Detection for Efficient LVLM Defense

1. Il Problema

I Modelli Linguistici-Visionari su larga scala (LVLM) sono diventati fondamentali per compiti come la generazione di didascalie (image captioning) e la risposta a domande visive. Tuttavia, sono vulnerabili ad attacchi avversari visivi. Questi attacchi introducono perturbazioni impercettibili nelle immagini di input che, pur non alterando l'aspetto visivo per l'occhio umano, inducono il modello a generare risposte plausibili ma falsamente errate (es. identificare un oggetto inesistente o descrivere erroneamente la scena).

Le difese esistenti presentano due limiti principali:

1. Inefficienza computazionale: Molti metodi (come SmoothVLM) richiedono di generare e analizzare risposte per molteplici versioni trasformate dell'immagine per ogni input, indipendentemente dal fatto che l'immagine sia pulita o attaccata. Questo è proibitivo per applicazioni reali dove la maggior parte delle immagini è pulita.
2. Dipendenza da modelli potenti: Alcune difese richiedono LLM (Large Language Models) molto potenti per consolidare le informazioni, limitando l'uso a sistemi con grandi risorse computazionali.

2. Metodologia: Il Framework VALD

VALD (Vision Attack Detection) è una difesa generale, efficiente e senza riaddestramento (training-free). Si basa sull'idea che le immagini pulite mantengano coerenza semantica sotto trasformazioni che preservano il contenuto, mentre le immagini attaccate producono risposte incoerenti.

L'architettura di VALD si articola in quattro fasi, progettate per filtrare rapidamente la maggior parte degli input puliti e applicare processi costosi solo quando necessario:

A. Rilevamento Attacco Precoce (Early Attack Detection)

• Obiettivo: Identificare rapidamente le immagini "pulite" per bypassare il resto della pipeline.
• Meccanismo: Si applica un insieme di $K$ trasformazioni che preservano il contenuto (es. ritagli grandi, mascheramento di pixel, sfocatura Gaussiana, compressione JPEG) all'immagine di input.
• Verifica: Si calcolano gli embedding visivi dell'immagine originale e delle sue trasformazioni attraverso il codificatore visivo dell'LVLM. Se la distanza media tra gli embedding è inferiore a una soglia $\tau$, l'immagine è considerata pulita.
• Efficienza: Questa fase ha un costo computazionale trascurabile. Circa il 95% delle immagini pulite viene identificato qui e la risposta originale dell'LVLM viene restituita direttamente, saltando le fasi successive.

B. Generazione di Risposte Basata sull'Immagine

Se un potenziale attacco viene rilevato nella fase precedente:

• L'LVLM viene interrogato $K+1$ volte: una volta con l'immagine originale e $K$ volte con le versioni trasformate.
• Si ottiene un insieme di risposte testuali (didascalie) $R = \{r_0, r_1, ..., r_K\}$.

C. Rilevamento Tardivo (Late Detection)

• Obiettivo: Filtrare un'ulteriore piccola frazione di immagini pulite che sono state erroneamente classificate come sospette nella fase 1, evitando di invocare l'LLM esterno costoso.
• Meccanismo: Si analizza la coerenza delle risposte testuali generate. Le risposte vengono mappate in vettori di embedding testuali. Si costruisce una matrice di similarità e si calcola la divergenza (KL Divergence) tra le distribuzioni di similarità delle diverse risposte.
• Decisione: Se le discrepanze semantiche tra le risposte sono elevate (superano una soglia $\tau_{late}$), l'input viene confermato come attaccato. Altrimenti, si mantiene la risposta originale. Questa fase cattura circa l'1% aggiuntivo di immagini pulite.

D. Generazione della Risposta Finale (Consolidamento)

• Obiettivo: Risolvere le divergenze causate dall'attacco per produrre una risposta corretta.
• Meccanismo: Solo per gli input sospettati di essere attaccati, un LLM esterno potente (ma usato solo a questo stadio) consolida le risposte multiple.
• Logica: L'LLM agisce come un agente razionale che:
  1. Identifica gli elementi coerenti (oggetti, attributi, relazioni) presenti in molte risposte.
  2. Scarta gli elementi che appaiono solo in una o poche risposte (probabilmente artefatti dell'attacco o allucinazioni).
  3. Genera una didascalia finale unificata basata sul consenso maggioritario.
• Vantaggio: Questo approccio decouple il compito di analisi visiva (fatto da LVLM leggeri) dal compito di ragionamento e consolidamento (fatto da un LLM potente solo quando necessario).

3. Contributi Chiave

1. Difesa Generale ed Efficiente: Un metodo training-free che combina trasformazioni di immagine e consolidamento dati agenziale, capace di difendersi contro una vasta gamma di attacchi (bianco, grigio e nero).
2. Meccanismo di Rilevamento Leggero: Un sistema a due stadi che filtra la stragrande maggioranza delle immagini pulite a costi minimi, rendendo la difesa praticabile in scenari reali.
3. Decoupling dei Compiti: Separazione tra l'analisi visiva (LVLM leggero) e il consolidamento delle informazioni (LLM potente), permettendo l'uso di modelli visivi più piccoli ed efficienti.
4. Prestazioni SOTA: Raggiunge lo stato dell'arte in termini di accuratezza e mantiene un'efficienza superiore, specialmente quando la percentuale di immagini attaccate è bassa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli LVLM compatti (LLaVA-1.5-7B, MiniGPT-v2, Qwen3-VL-4B) contro tre attacchi rappresentativi: MF-ii, MixAttack e M-Attack.

• Accuratezza: VALD supera costantemente le baseline (incluso SmoothVLM e metodi di addestramento avversario come FARE).
  • Ad esempio, su LLaVA con attacco MF-ii, VALD ottiene un punteggio SBERT di 0.716, contro 0.679 di SmoothVLM originale e 0.570 di FARE.
  • Mantiene le prestazioni su immagini pulite (0.723 vs 0.722 senza difesa).
• Rilevamento: Il sistema identifica correttamente il 93-96% delle immagini pulite nella fase iniziale, evitando il processo costoso. Il recall per gli attacchi è superiore al 91%.
• Efficienza (Runtime):
  • Caso migliore (immagini pulite): ~1.9 secondi per immagine (quasi identico all'LVLM senza difesa).
  • Caso peggiore (immagini attaccate): ~22.9 secondi.
  • Confronto: SmoothVLM richiede 52.7 secondi per ogni immagine (poiché elabora tutto). VALD è quindi 27 volte più veloce nel caso tipico (immagini pulite) e 2 volte più veloce anche nel caso peggiore.

5. Significato e Impatto

VALD rappresenta un passo avanti significativo per la sicurezza degli LVLM nel mondo reale. La sua principale innovazione risiede nel riconoscere che non è necessario applicare difese costose a ogni input.

• Scalabilità: Grazie al filtraggio precoce, il metodo è scalabile anche per sistemi con risorse limitate.
• Robustezza: Non dipende dalla conoscenza specifica dell'attacco, rendendolo efficace contro attacchi adattivi e ottimizzati.
• Praticità: Dimostra che è possibile ottenere difese robuste senza riaddestrare i modelli (che è costoso e richiede dati) e senza sacrificare le prestazioni su input legittimi.

Limitazioni: Il metodo assume che il contenuto semantico reale rimanga invariato sotto trasformazioni. Se un errore viene generato in modo coerente da tutte le viste trasformate (es. un'illusione ottica persistente o un rumore strutturato), il sistema potrebbe consolidare erroneamente l'errore come verità. Tuttavia, questo è un compromesso accettabile per l'enorme guadagno in efficienza.