🤖 machine learning

Visual Token Compression Enhances Robustness of MLLMs

Cet article propose une méthode d'élagage des jetons visuels qui améliore la robustesse des grands modèles de langage multimodaux contre les attaques de type jailbreak et les hallucinations en identifiant et en supprimant les jetons visuels mal alignés ou hors distribution, tout en réduisant simultanément les coûts d'inférence.

Auteurs originaux : Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de lire des mots, mais « voient » aussi des images, les combinant pour répondre à des questions, raconter des histoires ou résoudre des problèmes. On appelle ces modèles des Modèles de Langage de Grande Taille Multimodaux (MLLM). Considérez-les comme des étudiants super intelligents qui ont lu tous les livres de la bibliothèque et peuvent aussi regarder une photo pour comprendre le contexte. Cependant, tout comme n'importe quel étudiant, ils peuvent être confus. Parfois, si vous leur montrez une image piégeuse ou posez une question sournoise, ils pourraient être trompés pour dire quelque chose de dangereux (un « jailbreak » ou débridage) ou inventer des faits qui semblent réels mais qui sont complètement faux (une « hallucination »).

Pour comprendre pourquoi cela arrive, nous devons examiner comment ces modèles traitent l'information. Ils prennent une image, la découpent en minuscules morceaux numériques appelés « jetons visuels » (visual tokens), et les mélangent avec des jetons textuels. Le problème est que les « yeux » et les « oreilles » de l'ordinateur ne parlent pas toujours parfaitement la même langue. Parfois, un jeton visuel est tellement déplacé ou déroutant qu'il agit comme du bruit statique dans un signal radio. Ce bruit peut déséquilibrer le modèle, le rendant vulnérable aux attaques ou le poussant à inventer de fausses informations. Les scientifiques savent depuis longtemps que nettoyer ce bruit aide, mais ils pensaient généralement qu'il s'agissait simplement de rendre l'ordinateur plus rapide, et non plus sûr.

Ce document présente une astuce ingénieuse appelée Compression de Jetons Visuels, plus précisément une méthode nommée OOD-VTP (Out-of-Distribution Visual Token Pruning ou Élagage de Jetons Visuels Hors-Distribution). Les chercheurs ont découvert qu'en identifiant et en supprimant les jetons visuels « bizarres » — ceux qui ne s'accordent pas bien avec le texte — le modèle devient en fait beaucoup plus robuste face aux attaques et moins susceptible de mentir. C'est comme un videur de boîte de nuit qui expulse les clients indisciplinés qui n'ont rien à faire là, laissant la fête sûre et ordonnée. L'étude montre que ce n'est pas seulement une théorie ; lorsqu'ils ont testé cela sur sept benchmarks populaires différents, le modèle est devenu nettement plus difficile à tromper et plus précis, tout en étant plus rapide.

L'histoire de la pièce bruyante

Imaginez que vous êtes dans une pièce géante et bruyante où un groupe d'amis (le texte) essaie d'avoir une conversation sérieuse. Soudain, un groupe d'inconnus (les jetons visuels) fait irruption. La plupart des inconnus sont utiles ; ils apportent des collations et signalent des choses dans la pièce qui correspondent à la conversation. Mais quelques-uns sont des farceurs. Ils portent des masques, crient des absurdités ou tiennent des pancartes qui n'ont aucun sens par rapport à ce que vos amis disent.

Dans le monde de l'IA, ces farceurs sont les jetons visuels mal alignés. Parce que les systèmes de vision et de langage de l'ordinateur ne sont pas parfaitement synchronisés, ces jetons agissent comme des entrées Hors-Distribution (OOD). En langage clair, ils sont « hors de propos ». Lorsqu'ils sont traités, ils créent de la confusion. Cette confusion est ce qui permet aux hackers de « jailbreaker » l'IA (la tromper pour qu'elle ignore ses règles de sécurité) ou provoque des « hallucinations » (l'IA invente des faits).

La stratégie du videur

Les auteurs de ce document ont réalisé que les méthodes précédentes tentaient d'accélérer l'IA en expulsant des jetons au hasard ou simplement ceux qui semblaient « redondants » (comme expulser les personnes les plus silencieuses). Mais ils ont découvert que cela ne rendait pas l'IA plus sûre. En fait, parfois, cela aggravait les choses !

Leur nouvelle méthode, OOD-VTP, agit comme un videur super intelligent. Voici comment elle fonctionne :

Mesurer la distance : Le videur vérifie chaque jeton visuel (chaque morceau de l'image) et demande : « À quelle distance cette personne se trouve-t-elle de la conversation ? » Ils mesurent la distance entre le jeton visuel et l'« espace de caractéristiques linguistiques » (le groupe de jetons textuels).
Identifier les farceurs : Les jetons les plus éloignés du texte — ceux qui sont totalement en décalage — sont signalés comme les jetons OOD. Ce sont eux qui causent les problèmes.
Le moment parfait : Les chercheurs ont découvert qu'on ne peut pas expulser les gens à n'importe quel moment. Il existe des « couches d'élagage robustes » spécifiques (imaginez cela comme des moments précis dans la conversation) où supprimer les mauvais jetons fonctionne le mieux. Si on les retire trop tôt ou trop tard, cela n'aide pas. Mais si on le fait au bon moment (comme la couche 13 ou 17 dans leurs tests), l'IA devient soudainement beaucoup plus robuste.

Les résultats : Plus sûre, plus intelligente et plus rapide

L'équipe a testé cette stratégie de videur sur deux modèles d'IA populaires : LLaVA-OneVision et Qwen-2.5-VL. Ils ont utilisé sept benchmarks différents pour voir l'efficacité de la méthode.

Arrêter les jailbreaks : Lorsqu'ils ont essayé de tromper l'IA pour qu'elle fasse des choses malveillantes (comme expliquer comment fabriquer une bombe ou intégrer un logiciel malveillant), la méthode OOD-VTP a été un immense succès. En moyenne, elle a amélioré la capacité du modèle à dire « Non, je ne ferai pas cela » de 13,29 %. Pour le modèle Qwen-2.5-VL spécifiquement, le « Taux de refus de réponse » (la fréquence à laquelle il bloque avec succès une requête malveillante) est passé de 20,38 % à 33,67 %.
Arrêter les hallucinations : La méthode a également aidé l'IA à arrêter d'inventer des choses. Sur le HallusionBench, la précision s'est améliorée de 8,00 % pour le modèle Qwen.
Vitesse : En bonus, comme ils ont supprimé certains jetons, l'IA tourne plus vite. Elle traite moins de jetons (passant de 16 128 à 10 512) et utilise moins de puissance de calcul (les TFlops sont passés de 4,29 à 2,78), ce qui la rend plus efficace sans perdre son intelligence.

Ce qu'ils n'ont pas fait (et ce qu'ils ont écarté)

Il est important de noter ce que ce document n'a pas fait. Ils n'ont pas réentraîné l'IA à partir de zéro. Ils n'ont pas ajouté de nouvelles règles de sécurité ni modifié les poids du cerveau du modèle. Ils ont simplement élagué (coupé) les mauvais jetons visuels pendant le processus.

Ils ont également explicitement écarté l'idée que n'importe quel élagage de jetons rend une IA plus sûre. En fait, ils ont montré que si l'on élague les mauvais jetons — spécifiquement ceux qui sont bien alignés et utiles — l'IA devient moins sûre. Ils ont testé cela en élagant les jetons ayant la « plus petite distance » (les bons), et la performance de sécurité du modèle s'est effondrée. Cela prouve qu'il ne s'agit pas seulement de réduire la quantité, mais de couper précisément le bruit qui cause les problèmes.

L'essentiel

Ce document suggère que la clé pour rendre l'IA multimodale plus sûre pourrait être aussi simple que de nettoyer le bruit visuel. En identifiant et en supprimant les jetons visuels qui ne s'accordent pas avec le texte, le modèle devient plus stable, moins sujet à être trompé et moins enclin à inventer des faits. C'est une solution « plug-and-play », ce qui signifie qu'elle peut être ajoutée à des modèles existants sans nécessiter une refonte massive. Bien que le document montre que ces résultats sont mesurés et cohérents à travers plusieurs tests, il reste une méthode qui améliore la robustesse plutôt qu'une solution miracle qui résoudrait tous les problèmes de sécurité du monde. Mais pour un adolescent curieux (ou un développeur d'IA soucieux de la sécurité), c'est un regard fascinant sur la façon dont un peu d'élagage peut faire une grande différence pour garder nos amis numériques en sécurité.

Résumé technique : La compression des jetons visuels renforce la robustesse des MLLM

Énoncé du problème

Les modèles de langage multimodaux (MLLM) font face à des défis importants en matière de sécurité et de fiabilité, plus précisément une vulnérabilité aux attaques par jailbreak et à la génération d'hallucinations. Alors que les grands modèles de langage (LLM) entraînés sur des données textuelles font souvent preuve de mécanismes de sécurité robustes, l'introduction de modalités visuelles dans les MLLM peut contourner ces protections. Les auteurs émettent l'hypothèse que cette vulnérabilité provient d'un désalignement de représentation entre les modalités visuelles et linguistiques. Plus précisément, les jetons visuels qui ne sont pas parfaitement alignés avec l'espace de caractéristiques du langage agissent comme des entrées hors distribution (OOD - Out-of-Distribution). Ces jetons OOD perturbent les représentations internes du modèle, entraînant des sorties imprévisibles, des jailbreaks réussis et des réponses factuellement incorrectes (hallucinations).

Les stratégies de défense existantes, telles que l'ajustement par instructions (instruction tuning), l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) ou l'ingénierie de prompts, entraînent souvent des coûts de calcul élevés ou souffrent d'une généralisation limitée face à des adversaires inconnus. De plus, les méthodes standard de réduction de jetons visuels (visual token pruning), conçues principalement pour réduire les coûts d'inférence en supprimant les jetons « redondants », renforcent rarement la robustesse du modèle. Cela suggère que la redondance et le statut OOD ne sont pas synonymes ; élaguer les mauvais jetons peut en réalité dégrader la sécurité.

Méthodologie : OOD-VTP

Le papier propose l'OOD-VTP (Out-of-Distribution Visual Token Pruning), une méthode sans entraînement, prête à l'emploi (plug-and-play), conçue pour améliorer la robustesse en supprimant sélectivement les jetons visuels mal alignés. Les composantes clés de la méthode sont :

Mesure de la distance des jetons visuels :
La méthode quantifie le caractère « OOD » d'un jeton visuel en mesurant sa distance par rapport à l'espace de caractéristiques textuelles.
- Représentation de l'espace de caractéristiques : L'espace de caractéristiques textuelles ( $T$ ) est représenté par les derniers $p\%$ des jetons textuels (par exemple, les derniers 50 %). Ces jetons sont choisis car, grâce aux mécanismes d'attention causale, ils ont intégré l'information la plus sémantiquement riche et visuellement ancrée provenant des jetons précédents.
- Métrique de distance : Pour chaque jeton visuel $v^k_j$ à la couche $k$ , la distance par rapport à l'espace textuel est définie comme la distance minimale par rapport à n'importe quel jeton du sous-ensemble textuel sélectionné $S_k$ . La métrique de distance $D(\cdot, \cdot)$ est instanciée comme la moyenne négative du score d'attention à travers toutes les têtes d'attention de l'LLM. Une distance plus grande indique un désalignement plus important (une probabilité OOD plus élevée).
Couches de robustesse à l'élagage (Robust-Pruning Layers) :
Les auteurs identifient que toutes les couches ne sont pas également efficaces pour l'élagage. Ils définissent les couches de robustesse à l'élagage comme des couches intermédiaires spécifiques où l'élagage des jetons OOD produit le gain de sécurité maximal.
- L'analyse empirique révèle que l'élagage à des couches spécifiques (par exemple, les couches 13 à 17 de Qwen-2.5-VL) améliore considérablement la robustesse, tandis que l'élagage à d'autres couches offre des bénéfices limités ou dégrade les performances.
- La couche optimale et le ratio d'élagage sont déterminés via une recherche par grille (grid search) sur un ensemble de validation, bien que le papier note qu'une couche fixe unifiée (par exemple, la couche 14) peut obtenir des résultats solides sur plusieurs benchmarks sans ajustement par benchmark.
Stratégie d'élagage :
À la couche d'élagage robuste identifiée, les $r\%$ supérieurs des jetons visuels ayant les plus grandes distances (c'est-à-dire les plus mal alignés/OOD) sont élagués. Ce processus peut être appliqué de manière itérative à travers plusieurs couches.

Contributions clés

Nouvelle perspective : Le papier est le premier à démontrer que la compression des jetons visuels peut considérablement améliorer la robustesse des MLLM contre les attaques de jailbreak et les hallucinations, remettant en question l'idée que la compression sert uniquement à l'efficacité.
Méthode OOD-VTP : Les auteurs introduisent une technique d'élagage spécifique qui cible les jetons visuels mal alignés avec l'espace de caractéristiques du langage, en utilisant une métrique de distance basée sur les scores d'attention et en identifiant des « couches de robustesse à l'élagage » spécifiques.
Validation complète : La méthode est validée sur sept benchmarks divers, montrant des gains de robustesse significatifs tout en maintenant des performances solides sur les tâches générales.
Complémentarité : L'approche se montre complémentaire aux méthodes de sécurité existantes (par exemple, AdaShield), boostant davantage la sécurité lorsqu'elle est combinée.

Résultats expérimentaux

Les auteurs ont évalué l'OOD-VTP sur les modèles LLaVA-OneVision et Qwen-2.5-VL sur sept benchmarks :

Défense contre le Jailbreak :
- Sur SafeBench, HADES et MM-SafetyBench, l'OOD-VTP a obtenu une amélioration moyenne de 13,29 % du taux de refus de réponse (RAR - Refuse-to-Answer Rate) par rapport à la ligne de base vanilla de Qwen-2.5-VL.
- Spécifiquement sur Qwen-2.5-VL, le RAR moyen est passé de 20,38 % (Vanilla) à 33,67 %, et le taux de sortie inoffensive (HOR - Harmless Output Rate) est passé à 50,09 %, surpassant les autres méthodes de compression (FastV, PDrop, etc.) qui ont montré des impacts négligeables ou négatifs sur la sécurité.
- Combiné avec AdaShield, le RAR sur SafeBench a atteint 93,80 %.
- La méthode a également démontré une robustesse contre les attaques d'images par perturbation (PGD).
Atténuation des hallucinations :
- Sur HallusionBench, l'OOD-VTP a amélioré la précision de 8,00 % (passant de 59,73 % à 67,99 % sur la meilleure couche) pour Qwen-2.5-VL.
- Sur COCO2014, il a réduit la métrique CHAIR (indiquant moins d'hallucinations) à 0,59 % pour Qwen-2.5-VL, surpassant la ligne de base vanilla.
Performance générale et efficacité :
- Benchmarks généraux : L'OOD-VTP maintient ou améliore légèrement les performances sur les ensembles de données généraux comme MME (scores de perception et de cognition) par rapport au modèle vanilla.
- Efficacité : La méthode a réduit le coût de calcul (TFlops) et augmenté les jetons par seconde (TPS) par rapport au modèle vanilla et aux autres bases de comparaison de compression comme FastV.
- Compromis : Une légère baisse de performance a été observée sur OCRBench, attribuée à la perte d'informations visuelles fines due à l'élagage des jetons, ce que les auteurs considèrent comme un compromis raisonnable pour les gains de sécurité substantiels.

Signification et affirmations

Le papier affirme que l'OOD-VTP offre une direction nouvelle, efficace et performante pour sécuriser les MLLM. En traitant la cause profonde des vulnérabilités — les jetons visuels mal alignés agissant comme des entrées OOD — la méthode renforce la robustesse du modèle sans nécessifier de réentraînement coûteux ou d'ajustement d'alignement.

Les auteurs soulignent que :

La robustesse est très sensible au quel jeton est élagué ; supprimer les jetons bien alignés détruit la sécurité, tandis que supprimer les jetons OOD l'améliore.
La robustesse est également sensible au où (à quelle couche) l'élagage se produit, nécessitant l'identification des couches de robustesse à l'élagage.
La méthode sert de module « plug-and-play » qui peut être intégré aux défenses de sécurité existantes pour créer un système plus robuste, équilibrant sécurité, efficacité et utilité générale.