VALD: Multi-Stage Vision Attack Detection for Efficient LVLM Defense

1. Problématique

Les Modèles de Langage-Vision de Grande Taille (LVLM) sont de plus en plus utilisés pour des tâches comme la génération de légendes d'images ou la réponse à des questions visuelles. Cependant, ils sont vulnérables aux attaques adverses visuelles. Ces attaques consistent à ajouter des perturbations imperceptibles à une image d'entrée pour manipuler la sortie du modèle.

Contrairement aux attaques de "jailbreak" (qui visent à contourner les filtres de sécurité pour produire du contenu toxique), cet article se concentre sur les attaques trompeuses (misleading attacks). Dans ce scénario, le modèle produit une réponse qui semble inoffensive mais qui est factuellement incorrecte (par exemple, identifier un chien comme un feu d'incendie). Les méthodes de défense existantes souffrent de deux limitations majeures :

1. Coût computationnel élevé : Les approches actuelles (comme SmoothVLM) génèrent et analysent des réponses pour toutes les images, y compris les images propres, ce qui est inefficace car la majorité des images en production ne sont pas attaquées.
2. Dépendance aux modèles lourds : La consolidation des réponses nécessite souvent des LVLM très puissants, limitant l'applicabilité et augmentant la latence.

2. Méthodologie : Le Framework VALD

Les auteurs proposent VALD, une défense sans entraînement (training-free), générale et efficace. L'approche repose sur deux idées clés :

1. La sensibilité des attaques adverses aux transformations d'images (une image propre reste cohérente sous transformation, une image attaquée non).
2. La décomposition du processus en deux phases : une détection légère pour filtrer les images propres, et une consolidation lourde uniquement pour les cas suspects.

Le pipeline de VALD comprend quatre étapes :

Étape 1 : Détection précoce (Early Attack Detection)

• Objectif : Identifier rapidement si une image est susceptible d'être attaquée avec un coût computationnel négligeable.
• Mécanisme : On applique un ensemble de $K$ transformations préservant le contenu (recadrage, masquage de pixels, flou gaussien, compression JPEG) à l'image d'entrée.
• Vérification : On compare les embeddings visuels de l'image originale et de ses transformations via l'encodeur visuel du LVLM.
• Critère : Si la distance moyenne entre les embeddings est inférieure à un seuil $\tau$, l'image est considérée comme propre.
• Résultat : Environ 95 % des images propres sont identifiées ici et traitées directement, évitant les étapes coûteuses suivantes.

Étape 2 : Génération de réponses basées sur l'image

Si une attaque est suspectée (ou si l'image passe le filtre précoce mais est marquée comme douteuse), le LVLM léger est interrogé $K+1$ fois : une fois avec l'image originale et $K$ fois avec les versions transformées. Cela génère un ensemble de réponses textuelles $R = \{r_0, ..., r_K\}$.

Étape 3 : Détection tardive (Late Detection)

• Objectif : Affiner la détection avant d'engager un LLM puissant.
• Mécanisme : On analyse la cohérence sémantique des réponses textuelles générées à l'étape 2. On utilise des embeddings de phrases (SentenceBERT) pour calculer une matrice de similarité et de divergence (KL-divergence) entre les réponses.
• Critère : Si les réponses divergent fortement (indiquant une structure sémantique instable due à l'attaque), l'entrée est confirmée comme attaquée. Sinon, la réponse originale est conservée. Cette étape capture environ 1 % supplémentaire d'images propres.

Étape 4 : Génération de réponse (Consolidation)

• Déclencheur : Uniquement pour les images confirmées comme attaquées.
• Mécanisme : Un LLM puissant externe (ex: Gemma-27B) est utilisé uniquement pour consolider les réponses textuelles, sans réanalyser l'image.
• Stratégie : Le LLM est instruit d'identifier les éléments cohérents (apparaissant dans la majorité des réponses) et de rejeter les éléments incohérents ou sporadiques (souvent des artefacts de l'attaque).
• Avantage : En décorrélant la tâche visuelle (faite par un LVLM léger) de la tâche de raisonnement/consolidation (faite par un LLM puissant), on réduit drastiquement la charge computationnelle.

3. Contributions Clés

1. Défense générale et sans entraînement : VALD ne nécessite pas de fine-tuning du modèle et fonctionne sur une large gamme d'attaques (MF-ii, MixAttack, M-Attack).
2. Mécanisme de détection léger à deux étages : Une architecture qui filtre la grande majorité des images propres (95-96 %) avant d'appliquer des défenses coûteuses, optimisant ainsi l'efficacité.
3. Découplage des tâches : Séparation de l'analyse visuelle (LVLM léger) et de la consolidation logique (LLM puissant), permettant d'utiliser des modèles plus petits pour la vision tout en maintenant une haute précision.
4. Performance State-of-the-Art (SOTA) : Atteint une précision supérieure aux méthodes existantes tout en maintenant une latence minimale pour les images propres.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois LVLM compacts (LLaVA-1.5-7B, MiniGPT-v2, Qwen3-VL-4B) avec des attaques blanches et noires.

• Précision (Captioning) : VALD surpasse systématiquement les baselines (y compris SmoothVLM et les méthodes d'entraînement comme FARE).
  • Exemple : Sur LLaVA avec l'attaque MF-ii, VALD atteint un score SentenceBERT de 0.716, contre 0.679 pour SmoothVLM et 0.268 sans défense.
• Détection :
  • Précision de détection : >99 % pour les images attaquées.
  • Filtrage des images propres : ~95 % des images propres sont correctement identifiées et traitées instantanément.
• Efficacité (Temps d'exécution) :
  • Cas idéal (image propre) : ~1,9 secondes par image (presque identique à la génération sans défense).
  • Cas pire (image attaquée) : ~22,9 secondes.
  • Comparaison : VALD est 27 fois plus rapide que SmoothVLM pour les images propres (car il évite le traitement complet) et 2 fois plus rapide même dans le pire des cas.

5. Signification et Limites

Signification :
VALD démontre qu'il est possible de sécuriser les LVLM contre les attaques trompeuses sans sacrifier l'efficacité opérationnelle. En exploitant la robustesse des images propres aux transformations et en utilisant une détection hiérarchique, l'approche rend la défense scalable pour des déploiements réels où la majorité du trafic est propre.

Limites :

• Hypothèse d'invariance : La méthode suppose que le contenu sémantique réel reste invariant sous transformation. Si une attaque réussit à induire la même hallucination dans toutes les vues transformées (ex: hallucination d'un troisième objet présent dans toutes les versions), la consolidation peut échouer et valider l'erreur.
• Compromis Efficacité/Robustesse : Un seuil de détection trop strict peut augmenter le taux de faux positifs (images propres traitées comme attaquées), augmentant ainsi le temps de calcul global, bien que cela ne dégrade pas la qualité de la réponse finale.

En conclusion, VALD propose une architecture pragmatique qui équilibre sécurité et performance, rendant la défense contre les attaques visuelles viable pour des applications LVLM à grande échelle.