💻 computer science

Unifying Adversarially Robust Model Experts in Vision-Language Models

Cet article propose CARE, un cadre de fine-tuning adversarial collaboratif qui unifie plusieurs experts de modèles robustes spécialisés par l'harmonisation de l'espace d'enchâssement afin de créer un modèle vision-langage unique doté d'une robustesse adversariale complémentaire et supérieure à travers divers contextes d'évaluation.

Auteurs originaux : Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

Publié 2026-07-31

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui peut regarder une image et instantanément vous dire ce que c'est, ou même écrire un poème à son sujet. Ce robot, connu sous le nom de Modèle Vision-Langage (VLM), est incroyable parce qu'il comprend à la fois les images et les mots. Mais comme tout enfant intelligent, ce robot a une faiblesse : il peut être facilement trompé. Si quelqu'un ajoute un minuscule grain de "bruit" invisible à une image — comme quelques pixels décalés d'un cheveu — le robot pourrait soudainement penser qu'un panda est un grille-pain ou qu'un chat est une voiture. C'est ce qu'on appelle une "attaque adversaire", et c'est un gros problème car nous voulons que ces robots soient sûrs et fiables dans le monde réel.

Pour corrire cela, les scientifiques apprennent au robot à s'exercer avec ces images trompeuses, un processus appelé "entraînement adversaire". Considérez cela comme un étudiant en arts martiaux qui s'entraîne avec un partenaire pour apprendre à bloquer des coups de poing. Le papier que vous allez lire explore une découverte fascinante : il n'y a pas qu'une seule façon d'apprendre au robot à bloquer. Certains professeurs se concentrent sur la mémorisation des mouvements exacts (apprendre à reconnaître des mots spécifiques), tandis que d'autres se concentrent sur le maintien de l'équilibre, peu importe ce qui arrive (maintenir la stabilité des caractéristiques de l'image). Le problème est qu'un étudiant qui est excellent pour mémoriser les mouvements pourrait tomber s'il change de combat, et un étudiant qui est excellent pour l'équilibre pourrait oublier les noms spécifiques des mouvements. Ce papier pose une question simple mais puissante : Et si nous pouvions obtenir le meilleur des deux mondes ?

Le Conte de Deux Experts et la Colle Magique

Dans le monde de la sécurité de l'IA, les chercheurs entraînent des "experts" pour rendre les Modèles Vision-Langage plus résistants aux attaques. Mais voici le hic : ces experts sont un peu comme des athlètes spécialisés. Un type d'expert, appelons-le le "Génie des Mots", devient très doué pour faire correspondre les images à des descriptions textuelles spécifiques. Si vous lui montrez une image de panda et lui demandez : "Est-ce un panda ?", il est inébranlable. Mais si vous lui montrez une image d'un nouvel animal qu'il n'a jamais vu, il pourrait trébucher car il compte trop lourdement sur le texte qu'il a mémorisé.

L'autre type, les "Mains Stables", se concentre sur le fait de garder l'image elle-même identique, même quand quelqu'un essaie de la manipuler. Ils sont excellents pour gérer de nouveaux animaux inconnus car ils ne se soucient pas autant des mots spécifiques ; ils savent simplement à quoi ressemble une "forme de chat". Cependant, ils ne sont pas aussi affûtés pour utiliser les indices textuels pour obtenir la bonne réponse sur des animaux familiers.

Pendant longtemps, les scientifiques ont essayé de résoudre cela en entraînant un expert, puis l'autre, puis en essayant de les fusionner à la fin. Mais c'était comme essayer de coller deux types d'argile différents alors qu'ils sont encore mouillés ; ils continuaient à se séparer, ou le résultat final était une masse informe qui n'était bonne en rien.

Entrée CARE : Le Coach Collaboratif

Les auteurs de ce papier, Nguyen Duc Thai et son équipe, ont décidé d'essayer quelque chose de différent. Au lieu d'entraîner un expert, puis l'autre, ils ont construit un cadre appelé CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment). Considérez CARE comme un coach brillant qui met le "Génie des Mots" et la "Main Stable" dans la même salle de sport et les fait s'entraîner ensemble, côte à côte.

Voici comment la magie opère :

L'échauffement partagé : Avant que les experts ne commencent leurs exercices spécifiques, ils partagent une "perturbation universelle". Imaginez qu'ils regardent tous deux la même image légèrement déformée pour prendre le pouls du problème. Cela les aide à partir sur la même base.
Les exercices spécialisés : Le "Génie des Mots" s'entraîne à faire correspondre l'image déformée au texte correct. La "Main Stable" s'entraîne à s'assurer que l'image ne change pas trop de forme.
La poignée de main secrète (Harmonisation) : C'est la partie la plus importante. Pendant qu'ils s'entraînent, le coach les force à se parler. Le "Génie des Mots" dit à la "Main Stable" : "Hé, regarde comment je fais correspondre le texte !" et la "Main Stable" dit : "Hé, regarde comment je garde l'image stable !" Ils échangent ce savoir en temps réel. Cela les empêche de trop s'éloigner l'un de l'autre et garantit qu'ils apprennent tous deux de leurs forces respectives.
La fusion finale : À la fin de la journée, le coach mélange leurs cerveaux pour créer un super-expert. Ce nouveau modèle n'est pas seulement un mélange ; c'est un cerveau unifié qui sait comment faire correspondre les mots et maintenir la stabilité des images.

Ce Qu'Ils Ont Trouvé

L'équipe a testé cette nouvelle méthode sur un jeu de données célèbre appelé ImageNet et de nombreux autres ensembles d'images complexes. Les résultats sont plutôt cool.

Battre les spécialistes : Le nouveau modèle CARE était meilleur que le "Génie des Mots" seul et meilleur que la "Main Stable" seule. En fait, lorsque les attaques étaient fortes (avec une taille de perturbation de $\epsilon = 4/255$ ), CARE a surpassé le "Génie des Mots" (TeCoA) d'environ 2 % et la "Main Stable" (FARE) de près de 8 %.
Gérer l'inconnu : Le modèle CARE n'a pas seulement été meilleur pour les animaux connus ; il a aussi été meilleur pour deviner les nouveaux. La "Main Stable" gagne généralement sur les nouveautés, et le "Génie des Mots" gagne généralement sur les choses connues. CARE a réussi à être le meilleur dans les deux cas.
Tâches du monde réel : Ils ont également testé le modèle sur des tâches comme l'écriture de légendes pour des images et la réponse à des questions à leur sujet. Même lorsque les images étaient attaquées, CARE continuait de donner les bonnes réponses plus souvent que les autres méthodes. Par exemple, dans un test où ils devaient identifier un "Hot Dog" dans une image, CARE a correctement dit "Hot Dog" même sous attaque, alors que les autres se sont parfois trompés.

Le Coût de l'Excellence

Bien sûr, il y a un prix à payer pour ce travail d'équipe. Entraîner deux experts à la fois demande plus de puissance informatique. Le papier note que l'entraînement de CARE prend environ 1,5 fois plus de temps que l'entraînement d'un seul expert (83 heures contre 48-50 heures) et utilise plus de mémoire (52,6 Go contre 25-29 Go). Cependant, les auteurs suggèrent qu'avec une ingénierie intelligente, comme supprimer les données temporaires dès qu'elles sont utilisées, ils peuvent maintenir l'utilisation de la mémoire à un niveau gérable.

L'Essentiel à Retenir

Le papier suggère que l'ancienne façon de penser — choisir une stratégie et s'y tenir — pourrait être trop limitante. En laissant différents types d'experts en IA collaborer et apprendre de leurs forces respectives, nous pouvons construire des modèles beaucoup plus difficiles à tromper. Les auteurs ne prétendent pas que ceci est la solution finale à tous les problèmes de sécurité de l'IA, mais ils montrent que cette approche "collaborative" est une direction très prometteuse. C'est un rappel que parfois, pour être vraiment robuste, on ne peut pas seulement être fort ; il faut être capable de travailler avec les autres.

Résumé Technique : Unifier les experts de modèles robustes aux attaques adverses dans les modèles vision-langage

Énoncé du problème
Les modèles vision-langage (VLM), tels que CLIP, sont hautement sensibles aux attaques adverses, où des perturbations imperceptibles peuvent radicalement altérer les prédictions. Bien que le réglage fin (fine-tuning) adversarial soit une stratégie de défense primaire, les méthodes existantes produisent généralement des « experts de modèles robustes » spécialisés dotés de caractéristiques distinctes et souvent conflictuelles. Plus précisément, l'article identifie deux philosophies de réglage fin dominantes :

Experts d'alignement image-texte (ex. : TeCoA) : Ils s'appuient sur l'espace d'incorporation (embedding) partagé pour guider l'entraînement, maximisant l'alignement entre les images et les invites textuelles. Ils sont performants sur les noms de classes appris, mais peinent à maintenir la robustesse sur les classes non vues ou les nouvelles invites textuelles.
Experts d'invariance d'image (ex. : FARE) : Ils se concentrent sur la préservation des représentations visuelles en minimisant la distance entre les incorporations d'images saines et adverses. Ils généralisent mieux aux jeux de données non vus, mais sont souvent moins performants sur les classes connues car ils n'exploitent pas explicitement la représentation partagée image-texte.

Le défi central est que ces experts divergent pendant l'entraînement en raison de leurs objectifs d'optimisation différents, ce qui rend instable leur simple fusion ultérieure. Les tentatives précédentes de combinaison de modèles nécessitent souvent un écrasement périodique des paramètres pour maintenir la stabilité, ce qui limite l'exploration et la spécialisation des experts individuels.

Méthodologie : Cadre CARE
Les auteurs proposent CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment), un cadre qui entraîne plusieurs modèles experts simultanément tout en facilitant l'échange de connaissances pour empêcher la divergence. Le cadre intègre deux experts spécifiques : un expert d'alignement (basé sur TeCoA) et un expert d'invariance (basé sur FARE).

Le processus CARE se compose de quatre étapes clés :

Initialisation de la perturbation universelle (GAIP) : Au lieu de générer un bruit aléatoire indépendant pour chaque expert, CARE utilise un processus d'initialisation de perturbation adverse globale (GAIP). Cela crée une perturbation universelle partagée en alignant les logits perturbés avec l'expert d'alignement et les incorporations d'images avec l'expert d'invariance en utilisant la similitude cosinus négative. Cela garantit un point de départ cohérent pour la génération adverse.
Génération adverse indépendante : Chaque expert génère ses propres échantillons adverses en utilisant la perturbation initialisée. L'expert d'alignement utilise une perte d'entropie croisée (CE), tandis que l'expert d'invariance utilise une perte de distance $L_2$ .
Harmonisation des experts : Il s'agit de l'innovation centrale. Pour empêcher les experts de s'éloigner l'un de l'autre, un mécanisme d'harmonisation de l'espace d'incorporation est appliqué.
- L'expert d'invariance aligne ses logits sains (qu'il n'optimise normalement pas) avec ceux de l'expert d'alignement.
- L'expert d'alignement aligne ses incorporations d'images saines avec celles de l'expert d'invariance.
- L'analyse théorique (Théorème 1) suggère que l'utilisation de la similitude cosinus pour ces pertes auxiliaires agit comme un terme de momentum, attirant les experts l'un vers l'autre et stabilisant l'entraînement sans sacrifier leurs spécialisations individuelles.
Généralisation des connaissances : Enfin, les paramètres du modèle unifié ( $\theta_{CARE}$ ) sont mis à jour en utilisant une moyenne mobile exponentielle (EMA) des deux experts, pondérée par un facteur $\gamma$ .

Contributions clés

Cadre unifié : La proposition de CARE, qui maintient plusieurs experts robustes aux attaques adverses et unifie leurs connaissances apprises dans un seul modèle, répondant ainsi à l'instabilité de la fusion de modèles spécialisés.
Mécanisme d'harmonisation : L'introduction d'une perte d'harmonisation de l'espace d'incorporation qui permet l'échange de connaissances entre experts pendant l'entraînement. Cela permet au modèle d'apprendre des propriétés de robustesse complémentaires (alignement image-texte et invariance d'image) sans nécessiter d'écrasement de paramètres perturbateur.
Validation empirique : Des expériences approfondies démontrant que CARE surpasse les experts entraînés individuellement (TeCoA et FARE) tant pour la classification d'images en distribution que pour les tâches de vision-langage zero-shot.

Résultats
Les auteurs ont évalué CARE sur ImageNet-1K et 13 autres jeux de données zero-shot, ainsi que sur des tâches en aval comme le légendage d'images (COCO, Flickr30k) et les questions-réponses visuelles (TextVQA, VQAv2).

Classification d'images : CARE a systématiquement surpassé TeCoA et FARE. Sous des attaques adverses fortes ( $\epsilon = 4/255$ ), CARE a surpassé TeCoA d'environ 2 % et FARE de près de 8 % en moyenne. Notamment, CARE a hérité de la stabilité de TeCoA sur les données en distribution tout en maintenant les capacités de généralisation de FARE sur les jeux de données non vus.
Tâches en aval : Dans les tâches de légendage d'images et de VQA, CARE a obtenu la meilleure précision robuste dans la plupart des configurations. Bien que FARE ait montré de solides performances sur les données saines (en raison de sa nature d'invariance), CARE a fourni une robustesse supérieure contre les perturbations adverses, transférant avec succès la connaissance d'alignement vers différents encodeurs de texte utilisés dans les modèles en aval (LLaVA).
Analyse qualitative : Les visualisations t-SNE ont montré que CARE produisait des clusters compacts avec des frontières bien définies, combinant la dispersion élevée de TeCoA et la fragmentation de FARE. Les résultats qualitatifs de légendage et de VQA ont démontré que CARE maintenait des sorties cohérentes et correctes sous attaque, alors que les autres modèles généraient souvent des hallucinations ou des réponses incorrectes.

Signification et affirmations
L'article affirme que l'apprentissage collaboratif entre les experts de modèles est une direction prometteuse pour améliorer la robustesse adverse dans les VLM. La signification de CARE réside dans sa capacité à surmonter le compromis entre la précision en distribution et la généralisation zero-shot. En harmonisant les experts par l'alignement des incorporations, CARE crée un modèle unifié qui hérite des forces complémentaires de différentes stratégies d'entraînement adversarial. Les auteurs notent que bien que la méthode nécessite des ressources computationnelles supplémentaires (entraînement de plusieurs modèles), les optimisations d'ingénierie, comme l'initialisation de la perturbation partagée et la gestion de la mémoire, en atténuent les coûts. Ce travail suggère que les recherches futures devraient explorer des méthodes collaboratives tenant compte de l'asymétrie entre les incorporations d'images et les logits de classe, car le processus d'alignement actuel a montré que l'optimisation des deux ne produit pas toujours un modèle strictement meilleur si elle n'est pas soigneusement équilibrée.

Le Conte de Deux Experts et la Colle Magique

Entrée CARE : Le Coach Collaboratif

Ce Qu'Ils Ont Trouvé

Le Coût de l'Excellence

L'Essentiel à Retenir

Articles similaires