Résumé Technique : DarkLLM

Énoncé du Problème

Bien que les grands modèles de fondation visuels et multimodaux (par exemple, CLIP, SAM, les MLLM de pointe) soient devenus centraux pour les tâches de perception et de raisonnement, ils restent hautement vulnérables aux perturbations adverses. Les méthodes d'attaque adverses traditionnelles se heurtent à deux limitations fondamentales : la transférabilité et l'évolutivité.

1. Transférabilité : Les attaques existantes sont souvent conçues pour des architectures ou des tâches spécifiques (par exemple, classification contre segmentation), ce qui rend difficile la génération d'une perturbation unique capable de compromettre simultanément des modèles hétérogènes.
2. Évolutivité : Les approches actuelles suivent généralement un paradigme rigide « une cible, une optimisation ». Chaque nouvel objectif adverse (par exemple, changer une classe cible, passer d'une attaque non ciblée à une attaque ciblée, ou passer des modèles VLM aux modèles de segmentation) nécessite un pipeline d'optimisation dédié et une refonte, empêchant la spécification flexible d'intentions adverses.

L'article pose la question suivante : Peut-on concevoir un nouveau cadre qui soit à la fois transférable entre les modèles et évolutif entre les objectifs, en tirant parti des capacités de raisonnement sémantique des grands modèles de langage (LLM) ?

Méthodologie : DarkLLM

Les auteurs proposent DarkLLM, un nouveau cadre d'attaque adverse piloté par le langage. Au lieu d'utiliser des objectifs d'optimisation fixes, DarkLLM reformule la génération adverse comme un problème de synthèse conditionnée par le langage. Le cadre se compose de deux étapes principales :

1. Architecture du Cadre

• LLM en tant que Contrôleur Adverse : Un grand modèle de langage (spécifiquement initialisé à partir d'InternVL2.5-1B) agit en tant que contrôleur. Il reçoit des instructions en langage naturel (par exemple, « Faites échouer le modèle de segmentation sur cette image ») et les mappe vers des embeddings latents d'attaque de haut niveau.
• Jetons de Contrôle Spéciaux : Le vocabulaire du LLM est étendu avec des jetons de contrôle spéciaux (par exemple, [VLM_TGT], [SEG_ADV], [MULTI_ADV]). Lorsque le LLM génère une réponse contenant un jeton spécifique, cela déclenche le générateur adverse correspondant.
• Extraction d'Embedding Latent : L'état caché correspondant au jeton de contrôle est extrait et projeté via un MLP à deux couches pour former un signal d'attaque raffiné ($E_{adv}$).
• Générateur de Perturbation Conditionnel : Un générateur léger et entraînable ($F_{gen}$) prend en entrée l'embedding d'attaque latent $E_{adv}$ et un embedding de bruit aléatoire $Z$. Il emploie un mécanisme d'attention croisée où $E_{adv}$ sert de clé et de valeur, guidant le raffinement des embeddings de bruit pour synthétiser la perturbation adverse au niveau des pixels ($\delta_{adv}$). La perturbation est bornée par une contrainte de norme $L_\infty$ ($\|\delta_{adv}\|_\infty \leq \epsilon$).

2. Stratégie d'Entraînement

Pour gérer l'hétérogénéité des types d'attaques (ciblées, non ciblées, segmentation, multi-modèles), les auteurs emploient une stratégie d'Entraînement Progressif Découplé :

• Étape 1 (Ajustement des Instructions Ciblées) : Le contrôleur LLM est ajusté par instruction (via LoRA) sur des données de type Q&R ciblées pour maîtriser l'analyse sémantique de commandes d'attaque complexes.
• Étape 2 (Entraînement d'Attaque Unifié) : Le contrôleur est initialisé avec les poids de l'Étape 1. Tous les types d'attaques sont entraînés conjointement, mais le générateur ciblé est figé pour préserver sa capacité, tandis que les générateurs non ciblés et multi-modèles sont entraînés parallèlement au contrôleur. Cela empêche l'interférence des gradients entre des objectifs incompatibles.

3. Optimisation et Modèles de Surrogat

Le cadre utilise un paramétrage d'attaque en boîte noire basé sur le transfert, optimisant contre des modèles de surrogat pour assurer la transférabilité vers des cibles invisibles :

• Pour la Segmentation (SAM) : Pour adresser la transférabilité des invites (prompts) et des backbones, les auteurs utilisent un ensemble multi-invites (échantillonnage aléatoire d'invites de points et de boîtes) et optimisent une perte de BCE (Binary Cross-Entropy) pour repousser les prédictions de masques vers la frontière tout-en-arrière-plan, évitant ainsi le surapprentissage aux activations spécifiques du backbone.
• Pour les Modèles Visuel-Langage (CLIP/MLLMs) : Une stratégie de mise à l'échelle de surrogat est utilisée, employant un ensemble d'architectures CLIP diverses et de jeux de données de pré-entraînement pendant l'entraînement distribué pour améliorer la diversité des gradients et la transférabilité.

Contributions Clés

1. Cadre Unifié : DarkLLM est le premier cadre à unifier les attaques ciblées, non ciblées, de segmentation et multi-modèles au sein d'un seul paradigme de suivi d'instructions.
2. Génération Pilotée par le Langage : Il exploite les LLM pour traduire les instructions en langage naturel en vecteurs d'attaque latents, permettant une spécification flexible des intentions adverses sans refonte du pipeline.
3. Conception Modulaire : L'utilisation de jetons de contrôle et de générateurs dédiés permet une évolutivité modulaire, facilitant l'ajout de nouveaux types d'attaques sans réentraîner l'ensemble du système à partir de zéro.
4. Évaluation Complète : La méthode est évaluée sur 4 tâches, 13 jeux de données et 15 modèles, incluant CLIP, SAM (diverses versions) et des MLLM commerciaux de pointe (GPT-4o, Gemini, Qwen-VL).

Résultats Expérimentaux

• Attaques Non Ciblées : DarkLLM atteint des performances solides sur la classification zero-shot, la recherche image-texte et la légende d'image. Il surpasse ou est compétitif avec des bases de référence de l'état de l'art comme X-Transfer et AnyAttack, démontrant une transférabilité supérieure entre différents encodeurs CLIP.
• Attaques Ciblées : Sur les MLLM commerciaux de pointe, DarkLLM atteint des Taux de Succès d'Attaque (ASR) élevés. Par exemple, il atteint 67,7 % d'ASR sur GPT-4o et 60,6 % sur Gemini-3-Flash (en utilisant InternVL-2B), surpassant significativement des bases universelles comme AnyAttack.
• Attaques de Segmentation : DarkLLM induit une dégradation substantielle du mIoU à travers les variantes de SAM (Base, Huge, HQ, SAM2) et les jeux de données (ADE, COCO, Cityscapes). Il surpasse constamment des bases spécialisées comme UAD et DarkSAM, en particulier dans les scénarios de transfert inter-backbone.
• Évolutivité Multi-Modèle : Une perturbation unique générée par DarkLLM dégrade avec succès à la fois SAM (segmentation) et les CLIP/MLLMs (reconnaissance/légende) simultanément, révélant des vulnérabilités partagées à travers des architectures de modèles de fondation diverses.
• Robustesse : Les attaques restent efficaces contre les défenses de prétraitement courantes telles que les ajustements de contraste et de luminosité.

Importance et Revendications

L'article revendique que DarkLLM révèle une vulnérabilité systémique dans les modèles de fondation modernes, démontrant que des modèles fonctionnellement distincts partagent des faiblesses sémantiques fondamentales qui peuvent être exploitées via une approche unifiée et pilotée par le langage.

Les auteurs positionnent DarkLLM non pas simplement comme un outil offensif, mais comme un mécanisme critique d'évaluation de la sécurité. Ils soutiennent que la capacité à spécifier des objectifs adverses complexes et multi-objectifs via le langage naturel met en lumière le besoin de défenses plus robustes. Ce travail vise à fournir à la communauté une référence unifiée pour évaluer la robustesse des modèles de fondation face à des attaques flexibles, évolutives et transférables, guidant ultimement le développement de systèmes d'IA plus résilients. Les auteurs déclarent explicitement leur intention que ce travail soit utilisé pour le « Red-Teaming » et la « Préservation de la Vie Privée », interdisant strictement toute utilisation malveillante.