💻 computer science

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

L'article propose EntropyScan, une méthode légère et agnostique aux déclencheurs qui détecte les modèles de vision-langage de grande taille comportant des portes dérobées en quantifiant les anomalies structurelles dans les distributions d'attention visuelle sur des échantillons bénins à l'aide de l'entropie de Tsallis et d'une normalisation par score Z, atteignant une haute précision sans nécessiter la connaissance des données d'entraînement ni des déclencheurs.

Auteurs originaux : Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous venez d'acheter un appareil photo intelligent haut de gamme auprès d'un vendeur tiers. Vous souhaitez l'utiliser pour décrire des photos, mais vous êtes inquiet : Le vendeur a-t-il secrètement programmé cet appareil photo pour qu'il dise quelque chose de dangereux si vous lui montrez un motif spécifique et caché ?

C'est le problème posé par les Modèles de Langage-Vision de Grande Taille (LVLM). Ce sont des systèmes d'IA puissants capables de « voir » des images et de « parler » à leur sujet. Comme ils sont souvent téléchargés depuis Internet, il existe un risque qu'ils aient été « empoisonnés » par une porte dérobée.

Une porte dérobée est comme un interrupteur secret. Si vous montrez à l'IA une photo normale d'un chat, elle dit : « C'est un chat ». Mais si vous lui montrez une photo d'un chat avec un tout petit autocollant invisible (le déclencheur), l'IA ignore soudainement les règles de sécurité et dit quelque chose de nuisible, comme « Comment fabriquer une bombe ».

Le Problème : L'Inspection de la « Boîte Noire »

La plupart des outils de sécurité actuels tentent de trouver le poison avant que l'IA ne soit construite, ou ils essaient de prendre l'IA pendant qu'elle parle en cherchant le déclencheur. Mais que faire si vous possédez déjà le modèle d'IA fini, que vous ne savez pas à quoi ressemble le déclencheur secret, et que vous n'avez pas les données d'entraînement originales ?

Vous avez besoin d'un moyen d'inspecter le modèle lui-même pour voir s'il est « malade », sans avoir besoin de connaître les symptômes spécifiques de la maladie (le déclencheur).

La Solution : EntropyScan (La « Radiographie de l'Attention »)

L'article présente un outil appelé EntropyScan. Imaginez-le comme une machine à rayons X pour le cerveau de l'IA.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. L'Analogie de la « Concentration »

Imaginez que l'IA est un étudiant regardant une photo et écrivant une description.

Un Étudiant Sain (Modèle Bénéfique) : En regardant une photo de plage, ses yeux balayent naturellement le sable, les vagues et le ciel d'une manière équilibrée et logique. Son « attention » est répartie de manière fluide.
L'Étudiant « Empoisonné » (Modèle à Porte Dérobée) : Même en regardant une photo normale, l'injection de la porte dérobée a perturbé son câblage cérébral. Ses yeux peuvent trembler ou fixer de manière non naturelle des parties spécifiques de l'image, même en l'absence de déclencheur. Ils « sur-focalisent » ou « sous-focalisent » selon des schémas étranges.

2. Mesurer la « Confusion » (Entropie)

Les chercheurs ont réalisé que ce schéma de regard étrange pouvait être mesuré mathématiquement à l'aide de quelque chose appelé Entropie de Tsallis.

Imaginez l'Entropie comme une mesure de « désordre » ou de « surprise ».
Une IA saine présente un schéma d'attention prévisible et fluide (peu de surprise).
Une IA empoisonnée présente un schéma d'attention irrégulier, chaotique ou étrangement concentré (forte surprise/anomalie).

3. La « Vérification de Référence »

Pour savoir si l'IA est étrange, vous avez besoin d'une ligne de base.

La Référence : Les chercheurs prennent une version « saine » connue du même modèle d'IA (celle officielle du développeur).
Le Test : Ils soumettent à la fois le modèle « suspect » et le modèle de référence « sain » les mêmes 200 images aléatoires et normales.
La Comparaison : Ils mesurent dans quelle mesure le schéma d'attention du modèle « suspect » s'écarte de celui du modèle « sain ».

Si le schéma d'attention du modèle suspect est significativement « plus bruyant » ou « plus étrange » que celui du modèle sain, EntropyScan le signale comme étant à porte dérobée.

Pourquoi C'est Spécial

Pas Besoin de Déclencheur : Vous n'avez pas besoin de savoir à quoi ressemble l'autocollant secret. Vous observez simplement comment l'IA se comporte normalement.
Léger : Cela ne nécessite pas de réentraîner le modèle ni de calculs complexes. Il suffit de quelques secondes pour scanner un modèle.
Haute Précision : Dans leurs tests, cette méthode a détecté les modèles empoisonnés 98,5 % du temps, même face à des attaques très sournoises que d'autres méthodes ont manquées.

La Conclusion

EntropyScan est comme un agent de sécurité qui n'a pas besoin de connaître le visage du voleur ni l'objet volé. Au lieu de cela, il observe simplement comment les gens traversent la porte. Si quelqu'un marche avec une démarche étrange et non naturelle (anomalie structurelle de l'attention) par rapport aux autres, l'agent sait que quelque chose ne va pas, même s'il ne peut pas voir l'arme.

L'article affirme que cette méthode fonctionne sur différents types de modèles d'IA et différents types d'attaques, offrant un moyen rapide et fiable de vérifier si un IA téléchargée est sûre à utiliser.

Résumé Technique : EntropyScan

Énoncé du Problème

Les modèles vision-langage de grande taille (LVLM) sont de plus en plus distribués sous forme de points de contrôle tiers via des paradigmes de Modèle-en-tant-que-Service (MaaS), créant des risques de sécurité significatifs. Bien que les mécanismes de défense existants se concentrent principalement sur la détection au niveau de l'échantillon (filtrage des données d'entraînement empoisonnées ou perturbation des entrées lors de l'inférence), ils nécessitent généralement l'accès au jeu de données d'entraînement original ou la connaissance de déclencheurs d'attaque spécifiques. Un vide critique subsiste dans la détection au niveau du modèle : déterminer si un point de contrôle tiers finalisé contient une porte dérobée cachée sans connaissance préalable des motifs de déclenchement, des réponses cibles ou des données d'entraînement empoisonnées. L'opacité du processus d'entraînement et l'incorporation subtile des déclencheurs au sein de l'espace de poids vaste rendent cette tâche particulièrement difficile.

Méthodologie : EntropyScan

Les auteurs proposent EntropyScan, un cadre léger et agnostique aux déclencheurs conçu pour détecter les LVLMs compromis en analysant les anomalies structurelles dans l'attention visuelle. L'hypothèse centrale est que l'injection de portes dérobées perturbe les mécanismes d'alignement intermodaux au sein du modèle, entraînant des déviations mesurables dans l'allocation de l'attention visuelle, même sur des entrées bénignes.

La méthodologie se déroule en trois étapes :

Extraction de l'Entropie de l'Attention Visuelle :
- La méthode se concentre sur la couche initiale (Couche-0) du composant Grand Modèle de Langage (LLM), où les tokens visuels intègrent pour la première fois les représentations textuelles.
- Elle extrait les poids d'attention visuelle des modules d'auto-attention. Plus précisément, elle isole le vecteur de probabilité d'attention assigné aux tokens visuels ( $\mathcal{V}$ ) pour le dernier token de la séquence d'entrée.
- Pour découpler le motif de distribution interne de l'amplitude globale de l'attention, les auteurs effectuent une renormalisation par modalité afin de créer une distribution de probabilité conditionnelle $P_{\mathcal{V}}$ .
- L'entropie de Tsallis ( $H_q$ ) est calculée sur cette distribution. L'entropie de Tsallis est choisie plutôt que l'entropie de Shannon ou de Rényi car son paramètre non-extensif ( $q$ ) offre une sensibilité accrue à la « queue » de la distribution, la rendant plus efficace pour détecter les anomalies structurelles subtiles induites par des portes dérobées furtives.
Normalisation Z-Score Ancrée sur une Référence :
- Pour établir une ligne de base, le système utilise un modèle de référence propre et bénin ( $M_{ref}$ ) ayant la même architecture que le modèle suspect ( $M_{target}$ ) et un petit jeu de données de validation propre ( $D_{val}$ ).
- Des statistiques (moyenne $\mu_{ref}$ et écart-type $\sigma_{ref}$ ) sont calculées à partir des valeurs d'entropie du modèle de référence.
- Les valeurs d'entropie du modèle suspect sont ensuite normalisées à l'aide de ces statistiques de référence pour calculer un Z-score. Cela aligne l'échelle d'entropie du modèle suspect avec la distribution bénigne, permettant l'identification de déviations systématiques.
Décision de Détection :
- La méthode calcule un score d'anomalie $s(x)$ pour chaque échantillon basé sur l'écart absolu de son Z-score par rapport à la médiane de référence.
- La décision finale est prise en calculant la Surface Sous la Courbe Caractéristique d'Opération du Récepteur (AUC) entre les scores d'anomalie du modèle suspect et ceux du modèle de référence.
- Si l'AUC dépasse un seuil prédéfini ( $\tau = 0,8$ ), le modèle est classé comme compromis.

Contributions Clés

Découverte d'Anomalies Structurelles : Les auteurs identifient que les injections de portes dérobées dans les LVLMs provoquent des perturbations structurelles distinctes dans l'alignement intermodal, se manifestant par des décalages mesurables de l'entropie de l'attention visuelle sur des entrées bénignes.
Premier Cadre de Détection au Niveau du Modèle : EntropyScan est présenté comme la première méthode spécifiquement conçue pour la détection de portes dérobées au niveau du modèle dans les LVLMs. Elle fonctionne sans nécessiter l'accès aux déclencheurs, aux données d'entraînement empoisonnées ou à une intervention active lors de l'inférence.
Léger et Efficace : Le cadre est hautement efficace, ne nécessitant qu'une inférence vers l'avant. Il atteint une haute précision en utilisant un petit jeu de validation (200 images) et fonctionne en quelques secondes par point de contrôle de modèle.

Résultats Expérimentaux

Les auteurs ont évalué EntropyScan sur deux architectures LVLM (LLaVA-1.5-7B et Otter-3B) dans le cadre de trois scénarios d'attaque avancés : ShadowCast, ImgTrojan et VL-Trojan.

Performance de Détection : EntropyScan a obtenu un score F1 moyen de 98,5 % et une AUC de 96,6 % sur tous les scénarios.
- Il a atteint une détection parfaite (AUC = 1,000) pour les attaques VL-Trojan sur tous les socles visuels testés.
- Il a nettement surpassé la méthode de base Activation Clustering (AC), en particulier contre les attaques ShadowCast où AC a échoué (Rappel = 0) tandis qu'EntropyScan a obtenu un Rappel de 0,9535.
Robustesse : La méthode a démontré une robustesse face aux attaques adaptatives où les adversaires tentaient de régulariser l'entropie visuelle pour correspondre aux distributions bénignes ; de telles tentatives ont considérablement dégradé le taux de réussite de l'attaque (ASR).
Efficacité : Le temps d'inspection moyen était de 4,37 secondes par point de contrôle de modèle sur quatre GPU NVIDIA Tesla V100.
Études d'Ablation :
- Sensibilité aux Couches : La couche initiale (Couche-0) a été confirmée comme la sonde de détection optimale, les signaux de détection s'estompant rapidement dans les couches plus profondes.
- Mesure d'Entropie : L'entropie de Tsallis ( $q=2$ ) a surpassé les entropies de Shannon et de Rényi, en particulier pour les attaques de perturbation globale subtiles.
- Efficacité des Données : La performance de détection est restée stable à travers différentes tailles de jeux de validation et différentes sources d'images propres (par exemple, COCO2017 vs Object365).

Importance et Revendications

L'article revendique qu'EntropyScan fournit un paradigme pratique pour l'inspection de sécurité des points de contrôle LVLM tiers. En identifiant une signature universelle d'infection (déviation d'entropie dans l'attention intermodale) plutôt que de s'appuyer sur des artefacts spécifiques aux déclencheurs, la méthode répond au défi critique de la détection de portes dérobées dans les modèles finalisés où la connaissance des déclencheurs est indisponible. Les auteurs soulignent que leur approche permet l'audit au niveau du modèle sans compromettre l'utilité du modèle ni nécessiter de réentraînement, favorisant ainsi des pratiques de sécurité accessibles pour l'écosystème en expansion rapide des LVLMs open-source et tiers.