💻 computer science

SALLIE: Safeguarding Against Latent Language & Image Exploits

Le papier présente SALLIE, un cadre de détection léger et unifié fondé sur l'interprétabilité mécanistique qui protège les modèles de langage et de vision contre les attaques textuelles et visuelles en analysant les activations internes du modèle sans dégrader ses performances.

Auteurs originaux : Guy Azov, Ofer Rivlin, Guy Shtar

Publié 2026-04-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guy Azov, Ofer Rivlin, Guy Shtar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ SALLIE : Le Détective Intérieur de l'IA

Imaginez que vous avez un assistant personnel très intelligent (une IA) capable de lire des textes et de regarder des images. C'est formidable, mais ce genre d'assistant a un gros défaut : il est un peu naïf. Des pirates informatiques peuvent lui glisser des messages cachés, soit dans un texte, soit cachés à l'intérieur d'une image, pour le tromper et le forcer à faire des choses dangereuses ou interdites. C'est ce qu'on appelle des "jailbreaks" (évasions de sécurité) ou des "injections de prompts".

Jusqu'à aujourd'hui, les méthodes pour protéger ces IA étaient soit trop lentes, soit inefficaces, soit incapables de voir le danger si celui-ci venait d'une image.

Les chercheurs d'Intuit ont créé SALLIE (Safeguarding Against Latent Language & Image Exploits). Voici comment ça marche, avec des analogies simples.

1. Le Problème : Le Caméléon et le Masque

Les pirates sont comme des caméléons.

En texte : Ils écrivent des phrases bizarres ou utilisent des jeux de rôle pour contourner les règles.
En image : Ils cachent un message toxique dans une photo (par exemple, un code écrit en petits caractères sur un paysage).
Le problème des anciennes défenses : Les anciens gardes du corps regardaient seulement la "peau" de l'IA (ce qu'elle dit ou écrit). Si le pirate changeait juste un peu le mot ou l'image, le garde ne voyait rien. Ou alors, le garde devait relire le message 8 fois pour être sûr, ce qui rendait l'IA très lente.

2. La Solution SALLIE : Le Scanner de Pensée

SALLIE ne regarde pas ce que l'IA dit. Il regarde ce que l'IA pense pendant qu'elle réfléchit.

Imaginez que l'IA est un grand bâtiment avec des milliers de pièces (des couches de neurones). Quand l'IA reçoit une question, l'information voyage à travers ces pièces.

L'idée géniale : Les chercheurs ont découvert que quand l'IA reçoit une question "saine", son cerveau (ses activations internes) suit un chemin normal, comme une voiture sur une route bien tracée.
Le signal d'alarme : Quand l'IA reçoit une question piégée (même cachée dans une image), son cerveau fait un petit "soubresaut" géométrique. C'est comme si la voiture prenait soudainement une route de terre battue, ou si son cœur battait différemment. Ce changement est invisible pour nous, mais très visible pour SALLIE.

3. Comment SALLIE fonctionne (Le Processus en 3 Étapes)

SALLIE est comme un détective super rapide qui travaille en temps réel :

L'Écoute (Extraction) : Pendant que l'IA lit la question (texte ou image), SALLIE écoute les "battements de cœur" internes de l'IA à chaque étape de son raisonnement. Il ne modifie rien, il ne ralentit pas l'IA. Il écoute juste.
La Comparaison (Le Voisinage) : SALLIE a une bibliothèque de souvenirs. Il se souvient à quoi ressemblait le "battement de cœur" d'une question normale et d'une question dangereuse.
- L'analogie : Imaginez que vous entrez dans une foule. Si vous êtes un ami, vous vous approchez du groupe des amis. Si vous êtes un intrus, vous vous sentez "à côté" du groupe. SALLIE utilise une règle simple (un algorithme appelé k-NN) pour demander : "Est-ce que cette pensée ressemble plus à celle d'un ami ou à celle d'un pirate ?"
Le Vote (Ensemble) : SALLIE ne se fie pas à une seule pièce du cerveau. Il demande l'avis de plusieurs pièces (plusieurs couches de l'IA) et fait une moyenne. Si la majorité dit "C'est dangereux", SALLIE bloque la réponse.

4. Pourquoi c'est une révolution ?

C'est rapide : Contrairement aux autres méthodes qui doivent relire le message plusieurs fois (comme relire un contrat 8 fois pour trouver une erreur), SALLIE le fait en une seule lecture. C'est comme si un gardien de sécurité voyait un visage et savait immédiatement s'il était dangereux, sans avoir besoin de vérifier ses papiers.
C'est universel : SALLIE fonctionne aussi bien pour les textes que pour les images. Avant, les défenses étaient souvent aveugles aux images. SALLIE voit le danger caché dans une photo aussi bien que dans un texte.
C'est léger : Il n'a pas besoin de changer l'architecture de l'IA. C'est comme ajouter un filtre solaire à une voiture existante : la voiture reste la même, mais elle est protégée.

5. Les Résultats : Un Super-Héros de la Sécurité

Les chercheurs ont testé SALLIE sur plusieurs modèles d'IA (comme des versions de Gemma ou Phi).

Résultat : SALLIE a détecté les attaques avec une précision incroyable (plus de 90% de réussite), surpassant même des IA propriétaires très coûteuses et fermées (comme Gemini ou GPT-4) qui sont censées être les meilleures gardes du corps.
Le plus beau : SALLIE a particulièrement excellé sur les attaques par images, là où les autres échouaient lamentablement.

En résumé

SALLIE, c'est comme donner à l'IA un sixième sens. Au lieu de se fier à ce qu'elle dit (ce qui peut être trompeur), SALLIE surveille son état intérieur. Si l'IA commence à "penser" d'une manière qui ressemble à celle d'un pirate, SALLIE l'arrête avant même qu'elle ne réponde. C'est rapide, efficace, et ça fonctionne pour tout ce qui entre dans l'IA, que ce soit du texte ou des images.

Titre : SALLIE : Protection contre les exploits de langage et d'image latents

1. Problématique

Les modèles de langage à grande échelle (LLM) et les modèles vision-langage (VLM) sont actuellement très vulnérables aux attaques adverses, notamment :

Les "Jailbreaks" (JB) : Tentatives de contourner les alignements de sécurité pour générer du contenu nuisible.
Les injections de prompts (PI) : Manipulation du modèle via des données externes non fiables pour exécuter des tâches non désirées.

Ces menaces sont exacerbées dans le contexte multimodal, où les intentions malveillantes peuvent être dissimulées directement dans des images (attaques visuelles). Les défenses existantes présentent des limites majeures :

Dégradation des performances : Les méthodes de filtrage en temps d'inférence (ex: Perplexity Filtering, SmoothLLM) introduisent une latence inacceptable et réduisent l'utilité du modèle.
Aveuglement modal : Les détecteurs textuels (ex: EEG-Defender, PIShield) ignorent totalement les contenus visuels.
Inefficacité sur les attaques visuelles : Les approches multimodales existantes (ex: HiddenDetect) échouent souvent à intercepter les injections de prompts visuelles (F1 de 0,11 sur des données visuelles dans les tests).
Coût computationnel : Des méthodes comme JailGuard nécessitent de générer de multiples variantes d'entrée et d'interroger le modèle à plusieurs reprises, entraînant une surcharge de 8x.

Il existe donc un besoin critique d'une défense unifiée, efficace et légère capable de détecter simultanément les menaces textuelles et visuelles sans modifier l'architecture du modèle ni dégrader ses performances.

2. Méthodologie : SALLIE

Les auteurs proposent SALLIE (Safeguarding Against Latent Language & Image Exploits), un cadre de détection léger fonctionnant en temps réel (runtime), basé sur l'interprétabilité mécaniste.

Principe de base :
Au lieu d'analyser les entrées ou les sorties du modèle, SALLIE exploite les états internes (activations du flux résiduel) du modèle pendant une seule passe avant (forward pass). L'hypothèse centrale est que les modèles alignés encodent des signaux de sécurité géométriquement distincts dans leurs couches intermédiaires, permettant de différencier les entrées bénignes des entrées adverses.

Architecture du système (3 étapes) :

Extraction des états cachés : Le système effectue une passe avant unique sur le modèle VLM (ex: Phi-3.5, Gemma-3) et extrait les activations du flux résiduel du dernier token à chaque couche $l$ .
Classification par couche (k-NN) : Pour chaque couche, un classifieur k-Plus Proches Voisins (k-NN) est entraîné sur les activations d'entraînement.
- Une réduction de dimensionnalité optionnelle (PCA) peut être appliquée.
- La métrique de distance utilisée est la similarité cosinus.
- Le classifieur calcule un score de "malveillance" $p^{(l)}$ basé sur la proportion de voisins malveillants dans le voisinage de l'entrée.
Ensemble de couches (Layer Ensemble) : Les scores de plusieurs couches critiques (généralement les couches intermédiaires) sont agrégés par une moyenne pour obtenir un score global $\bar{p}$ .
Décision : Si $\bar{p}$ dépasse un seuil $\tau$ , l'entrée est bloquée.

Adaptabilité :
Le système est unifié mais modality-spécifique dans sa configuration. Les hyperparamètres (nombre de voisins $k$ , couches sélectionnées $L$ , seuil $\tau$ ) sont optimisés indépendamment pour les entrées textuelles et visuelles, permettant à SALLIE de s'adapter aux schémas d'activation distincts de chaque modalité.

3. Contributions Clés

Détection unifiée Text/Vision : Un seul pipeline d'états cachés capable de gérer les jailbreaks et les injections de prompts, tant textuels que visuels, en une seule passe avant.
Exploitation de l'état interne : Identification efficace des intentions adverses sans mutation d'entrée ni rééchantillonnage, évitant ainsi les coûts computationnels élevés des méthodes comme JailGuard.
Combler le fossé des injections visuelles : SALLIE surpasse toutes les méthodes de référence (baselines) sur les entrées visuelles, un domaine où les défenses existantes échouent massivement.
Légèreté et déploiement : Conçu pour fonctionner sur des architectures open-source compactes (2B à 4B paramètres), idéal pour un déploiement pratique avec une faible latence.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois architectures open-source : Phi-3.5-vision-instruct, SmolVLM2-2.2B-Instruct et Gemma-3-4b-it, sur plus de 10 jeux de données couvrant 4 types de menaces.

Performance globale :

SALLIE (Gemma-3-4b-it) atteint un score F1 de 0,90 sur l'ensemble des modalités, surpassant tous les baselines open-weight et dépassant même le juge propriétaire Gemini-2.5-Flash-Lite (F1 = 0,82).
SALLIE (Phi-3.5-vision-instruct) obtient un score F1 de 0,96 spécifiquement sur les entrées visuelles, surpassant GPT-4.1 Mini (F1 = 0,85) et tous les autres modèles évalués.
Précision : SALLIE maintient une précision supérieure à 94 % sur des données de test non vues.

Comparaison avec les baselines :

Les méthodes purement textuelles (Perplexity Filter, EEG-Defender) ont un F1 de 0 sur les données visuelles.
HiddenDetect (multimodal) échoue sur les injections visuelles (F1 = 0,11).
JailGuard souffre d'un coût computationnel élevé et d'un F1 inférieur (0,61).

Analyse géométrique :
L'analyse des espaces d'états cachés révèle que les attaques visuelles forment des clusters plus séparables des données bénignes que les attaques textuelles. Cela explique pourquoi le sondage des états internes est particulièrement efficace pour les menaces multimodales.

5. Signification et Impact

Ce travail démontre que les états internes des modèles vision-langage pré-entraînés contiennent des signaux de sécurité robustes et géométriquement distincts, même pour des attaques complexes et multimodales.

Avancée théorique : Il valide l'hypothèse que la sécurité est encodée dans des directions spécifiques du flux résiduel, applicables à la fois au texte et à l'image.
Impact pratique : SALLIE offre une solution de défense efficace en calcul (une seule passe avant, pas d'API externe, pas de génération itérative) qui peut être intégrée dans des pipelines de production existants sans modification architecturale majeure.
Sécurité multimodale : Il résout un problème critique laissé en suspens par les travaux précédents : la détection fiable des injections de prompts visuelles, ouvrant la voie à des systèmes d'IA plus résilients face aux attaques coordonnées texte-image.

En conclusion, SALLIE établit un nouvel état de l'art pour la détection d'attaques sur les LLM et VLM, prouvant qu'une approche basée sur l'interprétabilité mécaniste peut surpasser les juges propriétaires coûteux tout en restant légère et généralisable.