💻 computer science

PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

Cet article présente PDA, un cadre de défense sans entraînement qui améliore la robustesse des modèles vision-langage face aux attaques adverses par des perturbations d'images en utilisant l'augmentation textuelle via le paraphrase, la décomposition et l'agrégation au moment de l'inférence.

Auteurs originaux : Jingning Xu, Haochen Luo, Chen Liu

Publié 2026-04-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jingning Xu, Haochen Luo, Chen Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les Modèles Vision-Langage (VLM) sont comme des détectives très intelligents qui regardent une photo et répondent à des questions sur ce qu'ils voient. Parfois, un "méchant" (un attaquant) peut ajouter de minuscules pixels invisibles à l'œil nu sur la photo pour tromper le détective. C'est comme si quelqu'un mettait un petit autocollant presque invisible sur un panneau de signalisation "Stop" pour que le détective le lise comme "Go".

Le papier que vous avez soumis propose une solution géniale appelée PDA (Paraphrase-Décomposition-Agrégation). Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : Le Détective est Trop Confiant

Normalement, si vous demandez à un détective : "Est-ce que c'est un chat ?", il regarde la photo et répond. Mais si la photo est piégée, il peut se tromper et dire "Non, c'est un chien". Les anciennes méthodes pour le protéger étaient lourdes : il fallait le rééduquer avec des milliers de fausses images (comme le faire répéter des heures de cours), ce qui coûtait cher et ne fonctionnait pas toujours sur de nouveaux types de pièges.

2. La Solution PDA : La Méthode du "Conseil de Sagesse"

Au lieu de rééduquer le détective, PDA agit comme un chef d'orchestre qui pose la même question de différentes manières pour s'assurer que la réponse est vraie. C'est une méthode "sans entraînement" (on ne touche pas au cerveau du détective, on change juste la façon de lui parler).

Voici les trois étapes de PDA, imaginées comme une réunion d'experts :

Étape 1 : La Paraphrase (Le "Jeu des 7 Familles")

Au lieu de poser la question une seule fois, le système demande à une intelligence artificielle (un "agent de reformulation") de réécrire la question de 5 ou 10 façons différentes, tout en gardant le même sens.

Analogie : Imaginez que vous demandez à 5 amis différents : "Est-ce que ce chat est noir ?". L'un dira : "Le chat a-t-il une fourrure noire ?", un autre : "La couleur du félin est-elle sombre ?", un troisième : "Y a-t-il un animal noir dans l'image ?".
Pourquoi ? Si l'attaque visuelle trompe le détective sur une formulation précise, elle risque de ne pas le tromper sur les autres. C'est comme vérifier une information auprès de plusieurs sources.

Étape 2 : La Décomposition (Le "Détective en Équipe")

Ensuite, au lieu de demander la réponse finale tout de suite, le système casse la question complexe en plusieurs petites questions simples et factuelles.

Analogie : Au lieu de demander "Quel est le crime ?", on demande d'abord : "Y a-t-il un couteau ?", "Le sol est-il mouillé ?", "Combien de personnes sont là ?".
Pourquoi ? Les attaques visuelles sont souvent bonnes pour tromper sur l'ensemble, mais elles échouent souvent sur des détails précis. En vérifiant chaque petit détail (la couleur, le nombre d'objets, la position), on expose la vérité cachée.

Étape 3 : L'Agrégation (Le "Vote Majoritaire")

Enfin, le système rassemble toutes les réponses des différentes versions de la question et de tous les petits détails. Il utilise un vote pour décider de la réponse finale.

Analogie : Si sur 10 questions reformulées, 9 disent "C'est un chat" et seulement 1 dit "C'est un chien", le système ignore le "chien" (qui est probablement le résultat du piège) et choisit "Chat".
Le résultat : Même si la photo est piégée, la majorité des "détectives" internes voient la vérité, et le vote final corrige l'erreur.

Pourquoi c'est génial ?

Pas de réentraînement : On n'a pas besoin de réapprendre au modèle. C'est comme donner un nouveau manuel d'instructions à un employé sans le renvoyer à l'école.
Fonctionne partout : Que ce soit pour reconnaître des chats, lire des panneaux ou décrire une scène, ça marche.
Efficace et rapide : Les auteurs ont créé des versions plus légères (comme PDA-PV) qui vont plus vite tout en restant très solides, un peu comme choisir entre un camion blindé (PDA complet) et une moto rapide (PDA léger) selon vos besoins.

En résumé

PDA est une assurance-vie textuelle. Au lieu de rendre le détective invulnérable (ce qui est impossible), on lui fait poser la question à lui-même de 10 façons différentes, on vérifie les détails, et on suit la majorité des avis. Ainsi, même si l'image est truquée, la vérité finit toujours par émerger grâce à la sagesse de la foule.

1. Problématique

Les modèles Vision-Language (VLM) ont connu un succès remarquable dans des domaines variés (médical, robotique, conduite autonome), mais ils restent vulnérables aux perturbations adverses au niveau de l'image. Ces perturbations, souvent imperceptibles pour l'œil humain, peuvent induire des changements drastiques dans les prédictions du modèle.

Les méthodes de défense existantes souffrent de plusieurs limitations majeures :

Coût computationnel et dépendance aux gradients : Les approches basées sur l'entraînement adversarial nécessitent un accès aux gradients du modèle (souvent impossible pour les modèles fermés/boîte noire) et sont coûteuses à entraîner.
Généralisation limitée : Elles sont souvent entraînées sur des types d'attaques spécifiques (ex: bornes $\ell_\infty$ ) et échouent à généraliser face à des attaques non vues.
Compromis Robustesse-Précision : L'amélioration de la robustesse se fait souvent au détriment des performances sur des données propres (clean inputs).
Restrictions d'architecture : Certaines méthodes nécessitent des modifications spécifiques de l'architecture du modèle ou des objectifs d'entraînement.

2. Méthodologie : Le Framework PDA

Les auteurs proposent PDA (Paraphrase-Decomposition-Aggregation), un cadre de défense sans entraînement (training-free) et fonctionnant en boîte noire. PDA exploite la redondance linguistique et la structure du raisonnement pour stabiliser les décisions du VLM face aux perturbations visuelles, sans modifier les paramètres du modèle sous-jacent.

Le processus se déroule entièrement au moment de l'inférence (test-time) en trois étapes :

Étape I : Paraphrase (Paraphrasing)

L'objectif est d'explorer le "voisinage" sémantique de la requête utilisateur.

Un agent de paraphrase (généralement un LLM) génère un ensemble de $N$ variantes textuelles ( $S = \{t_1, ..., t_N\}$ ) qui sont sémantiquement équivalentes à la question originale mais littéralement différentes.
Cela permet de créer une Estimation par Espérance sur les Transformations Textuelles (EoTT), analogue au lissage aléatoire (randomized smoothing) appliqué à l'espace textuel plutôt qu'à l'espace d'image.

Étape II : Décomposition (Decomposition)

Plutôt que de demander une réponse holistique immédiate, chaque question paraphrasée est décomposée en une séquence de questions atomiques plus simples.

Un agent de décomposition transforme une requête complexe en $K$ questions factuelles vérifiables (ex: "Y a-t-il un chat ?", "Quelle est la couleur du bol ?", "Combien d'objets ?").
Cette approche force le modèle à s'appuyer sur des preuves visuelles stables et interprétables plutôt que sur des corrélations superficielles souvent exploitées par les attaques adverses.

Étape III : Agrégation (Aggregation)

Les réponses aux questions atomiques sont collectées et agrégées pour produire une réponse finale robuste.

Pour les tâches structurées (VQA, Classification) : Un vote majoritaire ou une pondération basée sur la confiance est appliqué aux réponses des sous-questions et des différentes paraphrases.
Pour les tâches en texte libre (Légendage) : Un LLM agrège les preuves (paires question-réponse) pour générer une réponse finale cohérente.
L'idée centrale est que les perturbations adverses affectent rarement toutes les vues textuelles de la même manière ; l'agrégation permet de supprimer les biais induits par l'attaque.

Variantes pour l'Efficacité

Pour équilibrer robustesse et coût d'inférence, les auteurs proposent plusieurs variantes de PDA :

PDA-Full : Le pipeline complet (Paraphrase + Décomposition + Agrégation par LLM).
PDA-RJV (Reason-Judge-Vote) : Omet la décomposition, utilise le VLM pour répondre aux paraphrases avec un raisonnement, puis un LLM juge et vote.
PDA-RDA (Reason-Direct-Aggregate) : Omet la décomposition, agrège toutes les réponses en un seul appel LLM.
PDA-PV (Paraphrase-Vote) : La plus légère, utilise des paraphrases logiquement équivalentes et un vote direct sans LLM d'agrégation.

3. Contributions Clés

Cadre Générique et Sans Entraînement : PDA est le premier cadre de défense générique pour VLMs qui ne nécessite aucun accès aux gradients, aucun réentraînement et fonctionne uniquement via l'interface textuelle (boîte noire).
Validation Large-Scale : L'approche est validée sur plusieurs architectures (LLaVA, DeepSeek-VL, InternVL, Ovis), plusieurs tâches (VQA, classification zero-shot, légendage) et différentes échelles de paramètres.
Optimisation Efficacité-Robustesse : Introduction de variantes (PDA-RJV, PDA-PV, etc.) qui réduisent considérablement le coût d'inférence tout en conservant la majeure partie des gains de robustesse.
Résultats Supérieurs : Démonstration que PDA surpasse les méthodes basées sur le lissage aléatoire (textuel ou visuel) et les méthodes d'entraînement adversarial, tout en préservant la précision sur les données propres.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks VQA-v2, ImageNet-D et MS COCO sous des menaces blanches (PGD, EOT) et noires (transfert, requêtes).

Robustesse aux Attaques Blanches : PDA améliore considérablement la précision sous attaque (ADV). Par exemple, sur LLaVA-1.5-7B avec VQA-v2, la précision passe de 0.445 (sans défense) à 0.754 avec PDA, tout en maintenant une précision sur données propres (Clean) quasi identique (0.862 vs 0.871).
Robustesse aux Attaques Noires : PDA démontre une efficacité constante face aux attaques par transfert (AttackVLM, AnyAttack) et aux attaques basées sur des requêtes, confirmant son indépendance vis-à-vis des gradients internes.
Résistance aux Attaques Adaptatives : Même face à des attaques adaptatives optimisées spécifiquement contre le pipeline stochastique de PDA (EOT sur les paraphrases et décompositions), le cadre maintient un avantage significatif par rapport à l'absence de défense.
Comparaison avec les Baselines : PDA surpasse les défenses basées sur l'image (compression JPEG, augmentation aléatoire) et les méthodes de raisonnement (Chain-of-Thought simple), prouvant que la diversification des vues textuelles est plus efficace pour corriger les erreurs de perception visuelle.
Performance sur Modèles Fermés : PDA améliore la robustesse de modèles propriétaires via API (GPT-5, Claude, Gemini) via des attaques par transfert, prouvant son applicabilité en déploiement réel.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour la sécurité des VLMs :

Défense Inference-Time : Il démontre qu'il est possible de renforcer la robustesse sans toucher aux poids du modèle, ce qui est crucial pour les modèles déployés via API où le réentraînement est impossible.
Approche Modale : En ciblant l'entrée textuelle pour contrer les perturbations visuelles, PDA exploite la complémentarité des modalités pour atténuer les vulnérabilités d'une seule modalité.
Praticité : La nature "plug-and-play" de PDA en fait une solution immédiate pour les développeurs soucieux de la sécurité de leurs applications VLM, offrant un compromis favorable entre coût de calcul et sécurité.

En résumé, PDA propose une défense élégante et efficace qui utilise la richesse du langage pour "laver" les artefacts adverses des images, assurant ainsi une prise de décision plus fiable dans des environnements hostiles.