🤖 AI

Securing Multimodal AI through Internal Information Decomposition

Le document propose FlowGuard, un cadre d'inférence léger qui sécurise l'IA multimodale en détectant les attaques adverses grâce à une surveillance de la cohérence intermodale interne utilisant des FlowVectors inspirés de la décomposition de l'information partielle, atteignant ainsi des réductions significatives des taux de succès des attaques avec une latence et une perte d'utilité minimales.

Auteurs originaux : Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Publié 2026-07-27

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot capable de voir le monde grâce à une caméra et de vous parler via un microphone. Ce robot est un « Modèle de Langage de Grande Taille Multimodal », une IA super intelligente qui combine images et mots pour comprendre ce qui se passe. Mais voici la partie délicate : ce n'est pas parce qu'un robot voit une image inoffensive et entend une phrase inoffensive que la combinaison des deux est sûre. C'est comme si vous tendiez à un chef une photo d'un gâteau et une recette de gâteau, mais que vous lui murmuriez ensuite un code secret à l'oreille pour lui dire d'ajouter du poison. L'image semble correcte, la recette semble correcte, mais le plat final est dangereux. C'est ce nouveau type de danger qui inquiète les chercheurs : des hackers qui divisent leurs mauvaises intentions entre une image et un texte afin qu'aucune des deux ne paraisse suspecte en soi, mais que leur combinaison trompe l'IA pour la pousser à faire quelque chose de nuisible.

Pour débusquer ces ruses sournoises, les scientifiques essaient généralement de vérifier l'image ou le texte séparément, comme un garde de sécurité vérifiant un sac et une pièce d'identité l'un après l'autre. Mais cet article suggère une méthode plus intelligente : au lieu de simplement regarder les entrées, nous devrions observer comment le cerveau du robot réfléchit à propos d'elles. L'idée centrale est que lorsqu'un robot fonctionne normalement, l'image et le texte doivent être en accord l'un avec l'autre et l'aider à prendre une décision claire et confiante. Si un hacker tente de tromper le robot, cet accord interne se brise. Le cerveau du robot devient confus, ou l'image et le texte commencent à tirer dans des directions opposées, même si la réponse finale semble fluide. L'article propose un nouveau système de sécurité appelé FlowGuard qui agit comme un « détective de la pensée », surveillant le processus de raisonnement interne du robot pour repérer quand l'image et le texte se battent ou agissent bizarrement, plutôt que de simplement vérifier les mots ou les pixels en surface.

L'histoire de FlowGuard : Attraper la « fracture de la pensée »

Les chercheurs derrière cet article, dirigés par Jehyeok Yeon et ses collègues, ont remarqué quelque chose de fascinant sur le fonctionnement de ces modèles d'IA. Lorsque vous donnez à un modèle une image normale et une question normale, la partie du cerveau qui regarde l'image et celle qui lit le texte s'entendent généralement très bien. Elles partagent des informations, s'accordent sur ce qui est important, et la réponse finale semble stable et certaine. C'est comme deux amis construisant ensemble un château de sable ; ils savent tous deux à quoi le château devrait ressembler, et leur effort combiné rend le château plus solide et plus détaillé.

Cependant, lorsqu'un attaquant tente de « jailbreaker » (forcer le contournement des règles) le modèle — en forçant celui-ci à ignorer ses règles de sécurité en cachant une instruction malveillante dans une image ou un texte — l'harmonie se brise. L'article suggère que même si l'attaquant est assez habile pour rendre l'image et le texte innocents en apparence, au moment où le modèle tente de les combiner, quelque chose ne va pas. La logique interne se trouve « fracturée ». L'image peut hurler une chose tandis que le texte en murmure une autre, ou la combinaison crée un désordre confus que le cerveau du modèle ne peut pas résoudre de manière fluide.

Pour attraper cela, l'équipe a construit FlowGuard. Voyez FlowGuard non pas comme un garde à la porte, mais comme un traducteur assis directement à l'intérieur du cerveau du robot. Il ne se contente pas de regarder la réponse finale ; il jette un coup d'œil à la toute première fraction de seconde du processus de décision du robot. Il pose trois questions rapides :

Que dirait le robot s'il ne regardait que l'image ?
Que dirait-il s'il ne lisait que le texte ?
Que dit-il lorsqu'il regarde les deux ensemble ?

Ensuite, il compare ces trois réponses. Dans une situation sûre, la réponse « les deux » devrait être un mélange heureux des deux autres, comme un mélange fluide de peinture rouge et jaune faisant de l'orange. Mais lors d'une attaque, la réponse « les deux » peut soudainement prendre une couleur étrange, ou les peintures rouge et jaune peuvent refuser de se mélanger. FlowGuard mesure ce « mélange » en utilisant des mathématiques sophistiquées (inspirées d'un concept appelé Décomposition de l'Information Partielle) pour créer un FlowVector. Il s'agit d'un petit code à quatre chiffres qui décrit exactement comment l'image et le texte interagissent.

Redondance : L'image et le texte sont-ils d'accord ? (Une redondance élevée signifie qu'ils sont sur la même longueur d'onde).
Unicité : L'un d'eux domine-t-il la conversation ? (Si l'image hurle et que le texte est silencieux, c'est une unicité visuelle élevée).
Synergie : Est-ce que la combinaison rend la réponse plus claire, ou est-ce qu'elle la rend plus confuse ? (Une bonne synergie signifie que le tout est supérieur à la somme de ses parties ; une mauvaise synergie signifie que la combinaison crée le chaos).

L'équipe a entraîné FlowGuard en utilisant uniquement des exemples « bons » — des milliers d'images et de questions normales où le robot se comportait parfaitement. Ils ont appris à un détecteur d'IA (un Isolation Forest) à reconnaître ce qu'est un flux « normal ». Comme ils ne l'ont entraîné qu'à reconnaître les bons comportements, le détecteur sait que tout ce qui semble même légèrement « décalé » par rapport au schéma normal est suspect. C'est comme apprendre à un système de sécurité à reconnaître le son d'une maison normale ; si une fenêtre se brise ou si un plancher craque d'une manière inhabituelle, l'alarme se déclenche, même si l'intrus porte un déguisement.

Ce qu'ils ont trouvé

Les résultats ont été étonnamment efficaces. Les chercheurs ont testé FlowGuard contre une grande variété d'attaques, incluant celles où des hackers cachent de mauvais mots dans de l'art ASCII, des images brouillées par des changements de pixels invisibles, ou des instructions malveillantes réparties entre une image et une phrase.

Sans aucune défense, ces modèles étaient incroyablement vulnérables. Sur certaines des attaques les plus sournoises, les modèles échouaient plus de 90 % du temps, générant joyeusement du contenu nuisible. Mais quand FlowGuard était activé, il réduisait le taux de réussite de ces attaques à moins de 15 %. Dans de nombreux cas, il détectait presque toutes les tentatives, ramenant le taux d'échec à des chiffres uniques (environ 6 % à 9 % pour les attaques cross-modales).

Ce qui est vraiment cool, c'est que FlowGuard n'a pas seulement arrêté les méchants ; il n'a pas non plus arrêté accidentellement les gentils. Les chercheurs ont vérifié si FlowGuard devenait grincheux et refusait de répondre à des questions normales. Ils ont constaté qu'il ne faisait des erreurs sur environ 2,4 % des entrées sûres, ce qui est bien meilleur que les autres méthodes de sécurité qui bloquent souvent des questions inoffensives juste pour être prudentes. De plus, il était super rapide. Alors que d'autres contrôles de sécurité prenaient plusieurs secondes pour exécuter des reconstructions d'images complexes, FlowGuard a fait son travail en environ 1,3 seconde, ce qui le rend pratique pour une utilisation en temps réel.

L'article a également montré que cette astuce fonctionne sur différents types de robots, des plus petits avec 4 milliards de « cellules cérébrales » aux plus massifs avec 70 milliards. Cela fonctionne même sur un modèle accédé via une API (où l'on ne peut pas voir tout le cerveau, seulement les prédictions supérieures), prouvant que le signal de la « pensée fracturée » est une partie fondamentale de la façon dont ces modèles fonctionnent, et non un simple bug dans un design spécifique.

L'essentiel

Cet article suggère que la meilleure façon de protéger l'IA multimodale n'est pas de construire des murs plus hauts autour des entrées, mais d'écouter comment l'IA réfléchit. En surveillant le moment où l'image et le texte cessent de bien s'entendre, FlowGuard peut repérer la ruse d'un hacker avant même que le robot ne finisse sa phrase. C'est une méthode légère, rapide et étonnamment robuste pour garder ces outils puissants en sécurité, suggérant que la clé de la sécurité réside peut-être simplement dans l'attention portée à l'harmonie interne de l'esprit de la machine.

Résumé Technique : Sécuriser l'IA Multimodale par la Décomposition de l'Information Interne

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) introduisent de nouvelles surfaces d'attaque absentes des systèmes unimodaux. Les adversaires peuvent distribuer une intention malveillante à travers les modalités (texte et image) de telle sorte que les entrées individuelles paraissent bénignes et cohérentes en interne, mais que leur combinaison induit un comportement dangereux. Ce mode de défaillance « compositionnel » rend les défenses de sécurité traditionnelles inefficaces. Les approches existantes se concentrent sur la purification des entrées brutes, la vérification des sorties générées ou la surveillance de métriques de confiance scalaires (ex. : vraisemblance, entropie, perplexité). Cependant, ces méthodes échouent souvent lorsque le raisonnement textuel seul et le raisonnement visuel seul apparaissent chacun cohérents, mais que leur fusion produit un comportement compositionnellement désaligné bien que confiant. Le défi central est de détecter ces défaillances sans modifier le modèle sous-jacent ni dépendre d'une supervision adversaire, particulièrement lorsque les attaques sont inédites ou en mode "zero-shot".

Méthodologie : FlowGuard

Les auteurs proposent FlowGuard, un cadre léger d'inférence pour détecter les entrées nocives en surveillant la cohérence interne du raisonnement multimodal. Plutôt que d'inspecter les entrées ou les sorties de surface, FlowGuard analyse l'interaction entre les distributions prédictives unimodales et multimodales.

Mécanisme Central

FlowGuard opère en sondant le MLLM cible sous trois configurations de conditionnement distinctes :

Texte uniquement : $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
Vision uniquement : $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (en utilisant un prompt neutre fixe)
Multimodal conjoint : $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

Le système se concentre sur la distribution prédictive du premier jet (token) ( $P^{(1)}$ ), qui capture l'état de décision initial du modèle avant l'amplification autorégressive.

FlowVectors et Décomposition de l'Information Partielle (PID)

Inspiré par la Décomposition de l'Information Partielle (PID), FlowGuard dérive un FlowVector à 4 dimensions $\phi(x) = (U_v, U_t, R, S)$ qui quantifie comment l'information provenant du texte et de la vision se chevauche, diverge et se stabilise lors de la fusion :

Unicité ( $U_v, U_t$ ) : Mesurée via la divergence de Kullback–Leibler (KL) directionnelle.
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : Capture la divergence de la distribution postérieure fusionnée par rapport au prior textuel (dominance visuelle).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : Capture la divergence par rapport au prior visuel seul (dominance textuelle).
- Signification : La manipulation adversaire brise souvent l'équilibre de l'influence des modalités, entraînant des signaux de divergence asymétriques.
Redondance ( $R$ ) : Mesurée comme $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ , où JSD est la divergence de Jensen–Shannon.
- Signification : Capture l'alignement sémantique des priors unimodaux. Les entrées bénignes induisent des structures alignées ; les prompts adverses introduisent des intentions conflictuelles, réduisant la redondance.
Synergie ( $S$ ) : Mesurée par la réduction de l'entropie : $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- Signification : Indique si la fusion réduit l'incertitude (intégration constructive, $S > 0$ ) ou l'amplifie (interaction instable, $S < 0$ ).

Objectif de Défense

FlowGuard cadre la détection de sécurité comme un problème de classification à une classe. Une Forêt d'Isolement (Isolation Forest) est entraînée uniquement sur des FlowVectors dérivés de données bénignes (ex. : ensemble de validation VQAv2). Le modèle apprend la région compacte du flux d'information multimodale « aligné ». Les entrées adverses, qui présentent des interactions cross-modales anormales (ex. : flux fracturé, synergie négative ou dominance extrême d'une modalité), apparaissent comme des valeurs aberrantes dans cet espace.

Exigences d'accès : FlowGuard nécessite uniquement l'accès à la distribution de probabilité du prochain jet (ou à une queue de top- $k$ logprob suffisamment large pour les modèles API). Il ne nécessite ni les poids du modèle, ni les gradients, ni les activations cachées.

Contributions Clés

Sécurité de processus au niveau multimodal : L'article redéfinit la sécurité des MLLM en se concentrant sur la cohérence entre les distributions prédictives textuelles, visuelles et conjointes, ciblant directement les échecs de fusion multimodale plutôt que le contenu de surface.
FlowVectors : L'introduction de caractéristiques informationnelles compactes (Redondance, Unicité, Synergie) qui capturent le flux d'information interne du raisonnement multimodal lors de l'inférence.
Détection d'attaques Zero-Shot : Démonstration que la modélisation du comportement multimodal bénin via la classification à une classe permet une détection robuste de divers jailbreaks inédits sans entraînement adversaire ou vérification générative.

Résultats Expérimentaux

Les auteurs ont évalué FlowGuard sur plusieurs architectures de MLLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) et des benchmarks (MM-SafetyBench, VLSafe, VLSU) couvrant des attaques textuelles, visuelles et cross-modales.

Réduction du Taux de Succès d'Attaque (ASR) : FlowGuard a systématiquement réduit l'ASR de $>90\%$ (sans protection) à $<15\%$ sur des attaques inédites. Par exemple, sur LLaVA-1.5-7B, il a réduit l'ASR de l'Universal Master Key (UMK) de 96,0 % à 8,7 % et du Color-Based Substitution Cipher (CBSC) de 94,8 % à 9,1 %.
Préservation de l'Utilité : Le cadre a maintenu l'utilité bénigne à moins de 2,4 % de la performance de base. Il a obtenu un taux de faux positifs (FPR) de 2,4 % sur des requêtes bénignes mais sémantiquement complexes (MOSSBench), surpassant nettement les détecteurs basés sur la perplexité (11,2 % de FPR) et la confiance (14,5 % de FPR).
Efficacité : FlowGuard opère avec une latence d'environ 1,3 seconde par échantillon (incluant trois passages forward), offrant une accélération allant jusqu'à 6 $\times$ par rapport aux méthodes de vérification par diffusion comme MirrorCheck et CIDER.
Robustesse : La méthode a démontré sa robustesse à travers différentes échelles de modèles (de 4B à 70B paramètres) et l'accès partiel aux distributions (GPT-4.1-mini avec top- $k$ logprobs), où elle a maintenu un ASR moyen de 10,4 %.
Études d'Ablation :
- Synergie ( $S$ ) : Le retrait de la caractéristique de synergie a entraîné la plus forte chute de performance, indiquant que les écarts dans la réduction de l'incertitude multimodale sont un signal de détection primaire.
- Étapes de décodage : La surveillance du seul premier jet de décodage ( $k=1$ ) était suffisante pour la saturation ; augmenter $k$ n'apportait que des gains négligeables par rapport aux coûts de latence linéaires.
- Choix du classifieur : La Forêt d'Isolement à une classe a surpassé les MLP supervisés sur les attaques inédites, évitant le surapprentissage de motifs de perturbation spécifiques.

Signification et Revendications

L'article affirme que la surveillance de la cohérence cross-modale offre une défense efficace et performante pour le raisonnement multimodal, répondant à une limitation fondamentale des critères de sécurité précédents qui privilégient la fluidité et la confiance plutôt que la structure de l'intégration multimodale.

Généralisabilité : En s'appuyant sur la cohérence structurelle du flux d'information plutôt que sur des motifs d'attaque spécifiques, FlowGuard fournit une défense agnostique à l'attaque qui se généralise à travers les architectures et les stratégies de jailbreak inédites.
Complémentarité : Les auteurs positionnent FlowGuard comme une couche complémentaire aux méthodes existantes de purification d'entrée et de vérification de sortie, fournissant un signal interne au modèle qui détecte les échecs d'intégration multimodale que les contrôles de surface manquent.
Scalabilité : Le cadre est léger, ne nécessant aucun réentraînement du modèle ni accès aux gradients, ce qui le rend adapté à un déploiement dans des systèmes réels où les poids du modèle peuvent être propriétaires ou inaccessibles.

Les auteurs notent que bien que FlowGuard soit très efficace contre les attaques cross-modales et visuelles, il présente un ASR résiduel légèrement plus élevé pour les attaques textuelles (environ 13–14 %), suggérant qu'une composition avec des défenses spécifiques au texte peut être nécessaire pour une protection complète. Ils reconnaissent également que la publication des mécanismes de détection peut informer les attaquants adaptatifs, et que les approches par détection d'anomalies risquent de signaler des entrées légitimes mais rares, nécessant une curation minutieuse des ensembles de données de référence et un audit des faux positifs dans les applications sensibles.