🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

Cet article propose un cadre de réglage fin par double adversité qui optimise conjointement les signaux de supervision visuelle et sémantique afin d'améliorer considérablement la robustesse et la généralisabilité inter-tâches des grands modèles vision-langage face aux attaques adverses, sans nécessiter de modifications architecturales ni de réentraînement spécifique à une tâche.

Auteurs originaux : Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de voir des images, mais les « comprennent » réellement, discutant de ce qu'elles contiennent comme un ami regardant un album photo. C'est le domaine des Grands Modèles Vision-Langage (LVLM), les cerveaux IA super-intelligents derrière des outils capables de décrire un coucher de soleil, de répondre à des questions sur un diagramme ou de raconter une histoire à partir d'une seule image. Pour faire fonctionner ces géants, les scientifiques leur apprennent à connecter les images aux mots, un peu comme on associe une pièce de puzzle à sa place parfaite. Cependant, il existe un problème sournois : ces cerveaux IA sont étonnamment fragiles. Tout comme un magicien peut être trompé par une légère distraction, ces modèles peuvent être dupés par des « attaques adverses » — de minuscules modifications invisibles ajoutées à une image qui ressemblent à du bruit statique pour l'œil humain, mais qui font perdre totalement la tête à l'IA, lui faisant voir un chien comme un grille-pain ou un bus comme une girafe. C'est un enjeu majeur car, à mesure que nous commençons à faire confiance à ces modèles pour des tâches importantes, nous devons nous assurer qu'ils ne se laissent pas duper par le bruit numérique.

Entrez en scène une nouvelle équipe de chercheurs qui a décidé d'empêcher l'IA d'être si facilement trompée. Ils ont réalisé que les tentatives précédentes pour « endurcir » ces modèles étaient comme entraîner un boxeur à ne combattre qu'un adversaire spécifique ; les modèles devenaient bons pour ce combat précis, mais ne pouvaient rien gérer d'autre. Les chercheurs ont proposé un nouveau camp d'entraînement ingénieux appelé Dual Adversarial Fine-Tuning (DAFT). Au lieu de simplement apprendre à l'IA à ignorer le bruit, ils lui ont enseigné deux leçons à la fois. Premièrement, ils lui ont montré la version « propre » de l'image (la vérité) pour garder sa mémoire vive. Deuxièmement, ils ont utilisé des récits riches et descriptifs (des légendes) sur l'image au lieu de simples étiquettes comme « chat » ou « chien ». Imaginez que l'on n'enseigne pas seulement à un étudiant à mémoriser le mot « pomme », mais à comprendre tout le concept d'une pomme — sa rougeur, son croquant et comment elle s'insère dans une corbeille de fruits — afin que, même si quelqu'un gribouille sur l'image, l'étudiant sache toujours ce que c'est.

L'article conclut que cette approche à deux volets fonctionne à merveille. Lorsqu'ils ont testé leur nouvelle méthode contre les anciennes, les modèles entraînés par DAFT sont restés calmes et collectés, même lorsque les images étaient attaquées par du bruit invisible. Que la tâche soit d'identifier une image (classification), d'écrire une phrase à son sujet (légende) ou de répondre à une question complexe (réponse visuelle à une question), la nouvelle méthode a gardé son sang-froid. Les chercheurs ont démontré qu'en remplaçant les « yeux » de l'IA par leur version nouvellement entraînée, l'ensemble du système devenait beaucoup plus difficile à duper, et ce, sans avoir besoin de reconstruire tout le cerveau de zéro. C'est un peu comme donner à un super-héros de nouvelles lunettes qui filtrent les mauvaises choses tout en gardant les bonnes parfaitement claires.

L'histoire de l'article

Le Problème : L'IA « un seul tour dans son sac »
Les Grands Modèles Vision-Langage (LVLM) sont incroyables. Ils peuvent regarder une photo d'une grande roue et vous dire que c'est une « grande roue », ou répondre à une question telle que « Quel manège est au milieu ? ». Mais ces modèles ont un secret : ils sont facilement dupés. Si vous ajoutez un peu de statique invisible à une image (une « attaque adverse »), l'IA pourrait soudainement penser que la grande roue est un « bus » ou une « girafe ».

Les scientifiques ont déjà essayé de réparer cela. Certains ont tenté d'entraîner l'IA en utilisant des étiquettes simples (comme « chat » ou « bus ») tout en lui montrant ces images truffées de bruit. Mais l'article soutient que cela revient à entraîner un chien à s'asseoir uniquement quand vous dites « assis » dans une pièce calme ; si vous le dites dans un parc bruyant, le chien est confus. Ces méthodes fonctionnaient assez bien pour des tâches simples, mais échouaient lorsque l'IA devait accomplir des tâches plus complexes comme écrire une histoire ou répondre à des questions élaborées. D'autres méthodes tentaient d'enseigner à l'IA sans aucune étiquette, mais elles n'étaient pas assez robustes pour gérer les attaques les plus coriaces.

La Solution : Un camp d'entraînement en deux parties
Les auteurs de cet article, Sibo Wang et son équipe, ont conçu une nouvelle façon d'entraîner l'IA appelée DAFT (Dual Adversarial Fine-Tuning). Ils ont réalisé que pour rendre l'IA véritablement robuste, elle avait besoin de deux types de guidage simultanément, comme un étudiant étudiant avec deux professeurs différents.

Le Professeur « Visuel » (L'Ancre) : Cette partie de l'entraînement utilise une version figée et originale des « yeux » de l'IA (l'encodeur de vision). Elle agit comme un guide de référence. Lorsque l'IA regarde une image bruitée et piégeuse, ce professeur dit : « Hé, souviens-toi de ce à quoi ressemble la vraie image ! N'oublie pas les caractéristiques originales. » Cela empêche l'IA de s'embrouiller et de faire du surapprentissage (mémoriser le bruit au lieu de la vérité).
Le Professeur « Sémantique » (Le Conteur) : C'est la grande innovation. Au lieu d'utiliser des étiquettes simples comme « bus » ou « chat », ce professeur utilise des phrases complètes ou des légendes qui décrivent l'image en détail. Par exemple, au lieu de dire simplement « bus », il dit : « Un bus bleu circulant dans une rue pluvieuse ». L'IA est ensuite entraînée à faire correspondre l'image bruitée avec cette description riche. Cela aide l'IA à comprendre le sens et le contexte de l'image, et pas seulement la catégorie.

La magie opère car ces deux professeurs travaillent ensemble. Le professeur « Visuel » maintient l'IA ancrée dans la réalité, tandis que le professeur « Sémantique » lui apprend à comprendre la signification profonde de l'image, même si l'image est déformée.

Les Résultats : Plus Forts et Plus Intelligents
L'équipe a testé sa nouvelle méthode sur un grand nombre de tâches différentes. Ils ont pris un modèle d'IA populaire appelé LLaVA et ont remplacé ses « yeux » originaux par leur version renforcée. Ensuite, ils l'ont attaquée avec du bruit invisible pour voir ce qui se passerait.

Classification Zero-Shot : Lorsqu'on lui demandait d'identifier des objets dans des images qu'elle n'avait jamais vues, le modèle DAFT était bien meilleur pour ignorer le bruit. En moyenne, il a amélioré la précision d'environ 12 % par rapport aux anciennes méthodes utilisant des étiquettes simples.
Légende et Q&A (Questions-Réponses) : C'est là que la nouvelle méthode a vraiment brillé. Lorsqu'on demandait de décrire une image bruitée ou de répondre à une question, les anciens modèles donnaient souvent des réponses absurdes (comme appeler une grue une « girafe »). Le modèle DAFT, cependant, réussissait toujours. Par exemple, lors d'un test, alors que d'autres modèles échouaient à identifier correctement une « grande roue » sous l'effet d'une attaque, le modèle DAFT a réussi sans faute.
Le Compromis : L'article note que parfois, rendre un modèle si robuste face aux attaques peut le rendre légèrement moins performant sur des images propres. Cependant, DAFT a réussi à maintenir ses performances sur les images propres presque aussi bonnes que les meilleures méthodes existantes, tout en étant bien plus fort contre les attaques.

Ce que l'article écarte
Les auteurs sont très clairs sur ce qui ne fonctionne pas. Ils soutiennent que le simple fait d'utiliser des étiquettes de catégories (comme « chat » ou « bus ») comme seul guide n'est pas suffisant car cela mène au surapprentissage. Ils montrent également que l'utilisation de méthodes non supervisées (apprendre sans aide textuelle) n'est pas assez puissant contre les attaques les plus avancées. Leurs expériences suggent qu'il faut réellement cette combinaison d'ancrage visuel et de compréhension sémantique riche pour obtenir les meilleurs résultats.

À quel point sont-ils sûrs ?
Les auteurs ont mené des expériences approfondies sur de nombreux jeux de données différents (comme Caltech101, COCO et VQAv2) et sous différents niveaux de bruit (spécifiquement des budgets de perturbation de $\epsilon = 2/255$ et $\epsilon = 4/255$ ). Ils ont comparé leur méthode aux meilleures méthodes actuelles (comme TeCoA et FARE) et ont constaté que DAFT surpassait systématiquement ces dernières. Ils ne se sont pas contentés de simuler cela ; ils ont réellement entraîné les modèles et les ont testés sur des tâches réelles. Les résultats sont présentés comme des faits mesurés issus de leurs expériences, montrant une amélioration claire de la robustesse.

L'essentiel
Cet article suggère que pour rendre les modèles de vision par IA véritablement sûrs et fiables, nous ne pouvons pas simplement leur apprendre à ignorer le bruit ; nous devons leur apprendre à comprendre l' histoire derrière l'image tout en gardant une emprise ferme sur les faits visuels. En utilisant une approche « duale » qui combine une ancre visuelle et des légendes descriptives riches, les chercheurs ont construit un modèle beaucoup plus difficile à duper, ce qui constitue une étape significative vers la sécurité de ces puissants outils d'IA.

Résumé technique : Entraînement fin dual par adversaire pour l'amélioration de la robustesse des grands modèles de vision-langage

Problématique

Les grands modèles de vision-langage (LVLM), tels que LLaVA et GPT-4V, ont démontré des capacités remarquables de raisonnement et de compréhension des données multimodales. Cependant, ils restent intrinsèquement vulnérables aux attaques visuelles adverses, où un bruit imperceptible dans les entrées visuelles peut forcer les modèles à générer des sorties erronées, telles que des légendes ou des réponses incorrectes à des questions visuelles.

Les stratégies de défense existantes font face à deux limitations critiques lorsqu'elles sont appliquées aux LVLM :

Surapprentissage et faible généralisation dans la supervision alignée sur les catégories : Les méthodes comme TeCoA reposent sur des plongements de texte fixes (par exemple, les étiquettes de classes ImageNet) pour la supervision. Bien qu'efficace pour la classification zero-shot au sein de catégories prédéfinies, cette approche manque de la richesse sémantique requise pour des tâches complexes comme la légende d'images et le VQA (Visual Question Answering). Par conséquent, les gains de robustesse ne parviennent souvent pas à se transférer aux jeux de données inédits ou aux tâches multimodales.
Gains limités de l'entraînement fin non supervisé : Les méthodes non supervisées comme FARE améliorent la généralisation en alignant les caractéristiques adverses et propres sans données étiquetées. Cependant, elles se concentrent principalement sur la minimisation des écarts de caractéristiques et échouent souvent à défendre contre des attaques sophistiquées qui ciblent spécifiquement les mécanismes d'alignement image-texte des LVLM.

De plus, mener un entraînement adverse à partir de zéro pour de grands modèles estခဲ့raitement prohibitif en termes de calcul. Par conséquent, le défi consiste à développer une stratégie d'entraînement fin adverse capable d'améliorer la robustesse à travers diverses tâches en aval sans nécessiter de réentraînement complet du modèle ou d'adaptations spécifiques à chaque tâche.

Méthodologie : Entraînement fin dual par adversaire (DAFT)

Les auteurs proposent DAFT, un cadre d'entraînement fin dual par adversaire conçu pour optimiser conjointement les signaux de supervision visuelle et sémantique. La méthode se concentre sur l'entraînement fin de l'encodeur de vision (spécifiquement l'encodeur de vision de CLIP) d'un LVLM. Une fois entraîné, cet encodeur robuste peut remplacer l'encodeur original dans des modèles comme LLaVA, héritant d'une résilience adversaire sans modifier le modèle de langage ou réentraîner l'ensemble du système.

Le cadre se compose de deux branches synergiques :

1. Branche de supervision visuelle

Cette branche vise à préserver les capacités de généralisation du modèle pré-entraîné et à atténuer le surapprentissage sur des exemples adverses spécifiques.

Mécanisme : Elle utilise un encodeur de vision original gelé ( $F_{ori}$ ) pour extraire les caractéristiques d'images propres.
Objectif : Le modèle cible ( $F_\theta$ ) est entraîné pour minimiser la distance $L_2$ entre les caractéristiques des exemples adverses ( $x_a$ ) et les caractéristiques des images propres ( $x$ ) extraites par l'encodeur gelé.
Fonction de perte : $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
Effet : Cela garantit que le modèle cible conserve les caractéristiques robustes et généralisables du modèle fondamental original.

2. Branche de supervision sémantique

Cette branche répond au besoin d'un alignement sémantique riche pour défendre contre les attaques ciblant la cohérence multimodale.

Mécanisme : Au lieu d'utiliser de simples étiquettes de catégorie, cette branche emploie des légendes descriptives comme signal de supervision sémantique.
Objectction : Elle aligne les exemples adverses avec leurs légendes descriptives de vérité terrain tout en les éloignant des légendes non liées au sein du même lot (batch).
Fonction de perte : Une perte de triplet est utilisée où la caractéristique adversaire est l'ancre, la légende de vérité terrain est l'échantillon positif ( $P_o$ ), et l'échantillon négatif le plus difficile ( $N_e$ ) — défini comme la légende dans le lot la plus similaire à la caractéristique adversaire — est utilisé pour maximiser la marge.
Fonction de perte : $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
Effet : Cela exploite la riche information contextuelle des légendes pour maintenir la cohérence sémantique sous attaque, ce qui est crucial pour des tâches comme le VQA et la génération de légendes.

Optimisation

La fonction d'objectif finale combine les deux branches : $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . Le processus d'entraînement implique une optimisation min-max alternée :

Génération d'attaque : Générer des exemples adverses $x_a$ en maximisant $L_{DAFT}$ en utilisant la descente de gradient projetée (PGD).
Mise à jour des paramètres : Mettre à jour les paramètres de l'encodeur de vision $\theta$ en minimisant $L_{DAFT}$ sur les exemples adverses générés.

Principales contributions

Cadre de double supervision : La proposition de DAFT, qui optimise conjointement les signaux de supervision visuelle et sémantique pour améliorer la robustesse inter-tâches des LVLM tout en atténuant le surapprentissage.
Supervision sémantique guidée par les légendes : À la connaissance des auteurs, c'est le premier cadre intégrant des légendes descriptives (plutôt que des étiquettes de classe) comme supervision sémantique pour l'entraînement adverse. Cette approche améliore considérablement la robustesse dans les tâches multimodales en exploitant des informations sémantiques plus riches.
Robustesse "Plug-and-Play" : La méthode atteint une robustesse inter-tâches en remplaçant simplement l'encodeur de vision CLIP dans le LVLM original, ne nécessant aucun réentraînement spécifique à la tâche ou modification d'architecture.

Résultats expérimentaux

Les auteurs ont évalué DAFT sur des tâches de classification zero-shot, de légende d'images et de VQA à travers plusieurs jeux de données (ex: Caltech101, COCO, VQAv2) en utilisant des budgets de perturbation de $\epsilon = 2/255$ et $\epsilon = 4/255$ .

Classification Zero-Shot : DAFT a surpassé les méthodes de pointe (TeCoA, PMG-AFT, FARE). Sous $\epsilon = 2/255$ , il a amélioré la précision robuste moyenne d'environ 12 % par rapport aux méthodes supervisées par étiquettes de catégorie et de 1,2 % par rapport à la méthode non supervisée FARE, tout en maintenant une précision sur données propres comparable.
Légende d'images et VQA : DAFT a démontré une robustesse supérieure dans les tâches génératives. Comparé à FARE (le précédent SOTA pour la généralisation), DAFT a amélioré le score CIDEr moyen de 2,3 et la précision moyenne du VQA de 1,1 % sous $\epsilon = 2/255$ . Sous des attaques plus fortes ( $\epsilon = 4/255$ ), les améliorations étaient encore plus prononcées.
Études d'ablation :
- Composantes de la perte : L'utilisation des deux supervisions, visuelle et sémantique, a donné les meilleurs résultats. L'utilisation de la seule supervision sémantique a conduit à un surapprentissage significatif, tandis que la supervision visuelle seule n'a pas réussi à maximiser la robustesse.
- Type de supervision : Remplacer les légendes descriptives par des étiquettes de catégorie a entraîné une chute de 12,4 % de la précision de classification zero-shot et une chute de 15,2 points du score CIDEr, validant la supériorité de la supervision par légende.
- Échantillonnage négatif : Sélectionner l'échantillon négatif le plus difficile (le plus similaire à la caractéristique adversaire) était critique ; utiliser des négatifs "faciles" a entraîné une robustesse quasi nulle.
- Hyperparamètres : La performance optimale a été atteinte avec une marge $\alpha=0,2$ et un coefficient d'équilibrage $\gamma=0,5$ .

Signification et affirmations

L'article affirme que DAFT comble l'écart critique dans la recherche actuelle sur la défense des LVLM, où les méthodes existantes soit surapprennent sur des catégories de classification spécifiques, soit échouent à protéger les mécanismes d'alignement multimodal complexes. En unifiant l'alignement visuel et sémantique sous condition d'attaque, DAFT fournit une solution évolutive qui améliore la robustesse adversaire à travers diverses tâches en aval (classification, légende, VQA) sans le coût de calcul d'un réentraînement complet du modèle. Les auteurs positionnent ce travail comme une étape vers la sécurisation du déploiement des LVLM dans des applications sensibles à la sécurité en garantissant des performances constantes même lorsque les entrées visuelles sont perturbées.

Les auteurs notent des limites, notamment l'accent mis sur les modèles basés sur CLIP, la nature "white-box" de la défense, et la dépendance au jeu de données COCO pour l'entraînement, suggérant que les travaux futurs pourraient explorer des architectures non-CLIP, des défenses "black-box" et des jeux de données de légendes plus vastes.