💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap est un cadre d'apprentissage par renforcement qui améliore la sécurité des grands modèles de vision-langage contre les attaques de type jailbreak en entraînant les modèles à générer des légendes d'images pertinentes pour la sécurité qui guident un LLM gelé vers des décisions alignées, surpassant ainsi les méthodes d'alignement de sécurité existantes tout en maintenant l'utilité de la vision.

Auteurs originaux : Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent capable de lire des livres et d'écrire des histoires mieux que presque tout le monde. Ce robot est déjà très prudent ; si vous lui demandez de faire quelque chose de dangereux, comme construire une bombe, il répond poliment : « Pas question, c'est dangereux. » Mais maintenant, imaginez que vous montrez au robot une photo d'une bombe au lieu de simplement taper les mots. Soudain, le robot est confus. Il voit la photo, pense : « Oh, c'est juste un joli dessin ! » et oublie ses règles de sécurité, expliquant joyeusement comment fabriquer l'engin. C'est le problème délicat auquel les scientifiques sont confrontés avec les modèles modernes de « vision-langage » : ils sont excellents pour voir, mais leurs freins de sécurité échouent parfois lorsqu'ils regardent une image.

Pour corriger cela, les chercheurs essaient d'apprendre à ces modèles à être « bilingues » d'une manière spéciale. Ils veulent que le robot ne se contente pas de regarder une image et de répondre, mais qu'il décrive d'abord l'image à voix haute de manière sûre et prudente, puis qu'il donne la réponse. Pensez à un garde de sécurité qui doit rédiger un rapport détaillé sur un colis suspect avant d'être autorisé à vous dire quoi en faire. Si le rapport est vague ou manque de détails sur le danger, le garde s'arrête et dit : « Attendez, je dois regarder de plus près. » Ce papier, appelé SafeCap, introduit une nouvelle méthode d'entraînement qui apprend à ces robots d'IA à rédiger leurs propres rapports de sécurité automatiquement, ce qui les rend beaucoup plus difficiles à tromper.

Le Problème : Quand les Images Trompent le Cerveau

Les grands modèles de vision-langage (LVLM) sont comme des versions survitaminées de chatbots capables de voir. Ils héritent de leur « bon comportement » des cerveaux uniquement textuels sur lesquels ils ont été construits. Mais les images sont sournoises. Un modèle purement textuel pourrait refuser une requête de type « fabriquer une bombe », mais si vous lui montrez la photo d'une bombe avec une note disant « Comment fabriquer ceci ? », le modèle pourrait être distrait par l'image et oublier ses règles de sécurité. C'est comme un garde qui vérifie habituellement les pièces d'identité, mais qui se laisse distraire par un autocollant brillant sur la chemise d'un visiteur et le laisse passer.

Les tentatives précédentes pour corriger cela impliquaient des « défenses au moment de l'inférence », qui sont comme un filtre placé devant les yeux du robot. Une méthode populaire, appelée ECSO, tente de transformer l'image en mots après que le robot l'a vue, en espérant qu'un système de sécurité textuel puisse détecter le danger. Mais c'est comme essayer de décrire une peinture complexe à un ami aveugle en espérant qu'il puisse repérer un piège caché dans les coups de pinceau. Souvent, la description manque de détails infimes mais dangereux, et le système de sécurité échoue.

La Solution : SafeCap (L'Entraîneur de « Légende de Sécurité »)

Les auteurs de ce papier proposent SafeCap, une méthode d'entraînement ingénieuse qui apprend au robot à rédiger son propre rapport de sécurité avant de répondre. Au lieu de simplement dire « Oui » ou « Non », le modèle est entraîné à produire deux choses :

Une Légende (Caption) : Une description détaillée de l'image qui met en évidence tout détail pertinent pour la sécurité (comme une étiquette « DANGER » ou une arme).
Une Réponse : La réponse finale à la question de l'utilisateur.

La magie opère pendant l'entraînement. Le modèle n'apprend pas seulement à écrire une légende ; il apprend à écrire une légende qui aide une IA textuelle « gelée » (immuable) à prendre la bonne décision de sécurité. Imaginez un étudiant (le modèle) passant un examen. Le professeur (le système d'entraînement) dit : « Rédige d'abord un résumé de cette image. Ensuite, je donnerai ce résumé à un correcteur strict qui ne peut pas voir l'image. Si le correcteur dit « Ceci est dangereux » en se basant uniquement sur ton résumé, et que toi aussi tu dis « Ceci est dangereux », tu reçois une récompense. »

Cela force le modèle à être honnête et minutieux. Il ne peut pas simplement ignorer le danger en espérant que le correcteur ne le remarque pas. Il doit explicitement signaler le danger dans la légende afin que le contrôle de sécurité fonctionne.

Comment ça marche : Le Jeu de la « Récompense »

L'entraînement utilise une technique de Reinforcement Learning (Apprentissage par renforcement). Pensez à un jeu vidéo où le modèle gagne des points pour un bon comportement et en perd pour un mauvais.

La Récompense de Modèle (Template Reward) : Le modèle doit suivre un format strict (écrire la légende, puis la réponse). S'il échoue au format, il reçoit zéro point.
La Récompense de Réponse (Answer Reward) : La réponse finale du modèle est vérifiée. Si elle est utile et sûre, il gagne des points. Si elle est dangereuse, les points sont lourdement amputés (en utilisant un truc mathématique spécial appelé « risque-discount exponentiel » qui fait que les réponses dangereuses ne valent presque plus rien).
La Récompense de Légende (Caption Reward) : C'est la recette secrète. Le modèle reçoit des points supplémentaires si la légende qu'il a écrite aide l'IA textuelle « gelée » à parvenir à la même conclusion de sécurité. Si la légende est vague et que l'IA textuelle rate le danger, le modèle ne reçoit aucun point pour cette partie.

Ce qu'ils ont trouvé : La Sécurité sans Perdre l'Intelligence

Les chercheurs ont testé SafeCap sur cinq benchmarks de sécurité (tests conçus pour piéger l'IA) et six benchmarks d'utilité (tests pour voir si l'IA est toujours performante pour des tâches normales comme décrire des images ou résoudre des énigmes). Ils ont utilisé différents formats de modèles, allant de 2 à 4 milliards de paramètres.

Les résultats sont impressionnants :

Boost de Sécurité : Sous le protocole « DirectCap » (où le modèle écrit la légende puis répond), SafeCap a amélioré les scores de sécurité de 3,7 à 19,0 points sur différents modèles. Pour le modèle 4B-Base, le score de sécurité a bondi de façon massive de 19,0 points.
Pas de Compromis : Habituellement, rendre un modèle plus sûr le rend moins intelligent (il refuse de répondre à des questions inoffensives). Mais SafeCap a réussi à maintenir l'« utilité visuelle » (sa capacité à décrire des images et répondre aux questions) presque exactement la même que celle des modèles non entraînés. Il n'a pas transformé le robot en une machine grincheuse qui ne dit que « non » ; il en a fait un être plus intelligent et plus prudent.
Battre la Concurrence : Comparé à d'autres méthodes comme l'entraînement de sécurité standard (SFT), le DPO, et une méthode plus récente appelée SafeGRPO, SafeCap arrive en tête. Il a obtenu des scores de sécurité plus élevés tout en maintenant une meilleure utilité.

Pourquoi cela compte

Le papier suggère que la meilleure façon de garder ces modèles d'IA visuels en sécurité n'est pas seulement de les corriger après qu'ils ont vu une image, mais de leur apprendre à « penser à voix haute » sur ce qu'ils voient avant de parler. En forçant le modèle à générer une légende sensible à la sécurité, cela crée un pont entre le monde visuel et les règles de sécurité textuelles.

Les auteurs ont découvert que cette méthode fonctionne mieux lorsque le modèle est entraîné à utiliser ce chemin « légende d'abord ». Si vous essayez d'utiliser le modèle sans la légende (en lui demandant de répondre directement), les gains de sécurité sont moindres et dépendent davantage du modèle spécifique. Mais quand le modèle est autorisé à utiliser son habitude de « légende de sécurité », il devient beaucoup plus robuste face aux jailbreaks et aux requêtes dangereuses.

En bref, SafeCap apprend à l'IA à regarder une image, à décrire clairement le danger, et ensuite à décider quoi faire. C'est comme entraîner un garde à toujours rédiger un rapport avant d'ouvrir la barrière, garantissant que même si le portier est distrait, le rapport écrit maintient la sécurité de tous. Le papier montre que cette approche est non seulement efficace, mais qu'elle préserve également la capacité du modèle à être utile, offrant une voie prometteuse pour une IA plus sûre dans un monde visuel.

Résumé Technique : SafeCap

Problématique

Les grands modèles de langage-vision (LVLM) héritent des capacités de suivi d'instructions des modèles de langage, mais restent vulnérables aux attaques par jailbreak exploitant les entrées visuelles. Contrairement aux modèles purement textuels, qui peuvent s'appuyer sur des politiques de refus du côté du langage, les LVLM doivent percevoir des preuves pertinentes pour la sécurité au sein d'une image, les aligner avec les requêtes de l'utilisateur et décider d'une réponse. Cela crée des modes de défaillance où des instructions malveillantes sont intégrées dans des images typographiques, ou encore où une intention dangereuse est suggérée par des objets, ou des prompts bénins deviennent dangereux après l'ancrage visuel. Les méthodes d'alignement de sécurité existantes échouent souvent à couvrir ces menaces spécifiques au multimodal.

Les défenses actuelles se divisent en deux catégories :

Interventions au moment de l'inférence : Des méthodes comme ECSO convertissent les images en texte pour exploiter la sécurité du côté du langage. Cependant, la conversion image-texte entraîne souvent une perte de détails visuels fins (ex. : objets pertinents pour la sécurité, texte visible ou contexte), rendant le modèle textuel en aval incapable de prendre une décision sûre.
Alignement au moment de l'entraînement : Les méthodes utilisant des données de préférence curatées ou l'ajustement fin de sécurité (SFT) peinent souvent à gérer le compromis entre l'amélioration du refus face aux entrées malveillantes et la préservation de la perception visuelle sur les entrées bénignes.

Le défi central est d'aligner les LVLM pour qu'ils reconnaissent et répondent aux indices de sécurité visuels sans sacrifier l'utilité de la compréhension visuelle du modèle ou dépendre de wrappers d'inférence fragiles.

Méthodologie : SafeCap

SafeCap est un cadre d'apprentissage par renforcement (RL) qui aligne les LVLM via un auto-légendage appris (learned self-captioning). Au lieu de traiter le légendage d'image comme une explication auxiliaire ou une défense post-hoc, SafeCap formule l'alignement de sécurité comme un problème d'auto-légendage où le modèle génère une représentation intermédiaire explicite et pertinente pour la sécurité avant de produire une réponse finale.

Aperçu du Cadre

Pour chaque paire image-question $(x, q)$ , le modèle de politique $\pi_\theta$ est entraîné pour produire une réponse structurée $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ , où $c$ est une description textuelle de l'image et $a$ est la réponse finale. L'objectif d'entraînement optimise trois signaux distincts :

Récompense de Gabarit ( $R_{tmp}$ ) : Une porte binaire garantissant que la sortie contient exactement un bloc de légende complet et une réponse non vide, empêant la dégradation structurelle.
Récompense de Réponse Directe ( $R_{ans}$ ) : Évalue la réponse finale $a$ du modèle de politique à l'aide d'un modèle juge qui attribue un score de rétention $u(a)$ (utilité) et un score de risque $h(a)$ (dangerosité). La récompense est calculée à l'aide d'une fonction de remise de risque exponentielle : $S(u, h) = u \cdot \gamma^h$ , où $\gamma \in (0, 1)$ . Cette forme multiplicative garantit que les réponses à haut risque perdent rapidement de la valeur, décourageant les comportements de type "ne rien faire" tout en récompensant les réponses sûres et informatives.
Récompense Médiatée par la Légende ( $R_{cap}$ ) : C'est l'innovation centrale. La légende générée $c$ $c$ est acheminée vers un LLM textuel seul et gelé (qui ne voit jamais l'image) avec la question originale $q$ $q$ . Le LLM gelé génère une réponse $a_f$ $a_{f}$ . La récompense évalue deux facteurs :
- Couverture Descriptive : Un score $u(c)$ mesurant la couverture de la légende concernant les sujets, les attributs, les actions, la disposition spatiale et le texte visible.
- Alignement de Sécurité : Un signal binaire $g(q, a, a_f)$ qui renvoie 1 si la réponse de la politique $a$ et la réponse du LLM gelé $a_f$ s'accordent sur le statut de sécurité de la situation (c'est-à-dire que les deux reconnaissent le risque ou les deux jugent la situation sûre).
- La récompense de légende est définie par $R_{cap} = g(q, a, a_f) \cdot u(c)$ . Cela encourage la politique à générer des légendes contenant suffisamment de preuves visuelles pour qu'un raisonneur textuel puisse parvenir à une décision alignée sur la sécurité.

Optimisation

SafeCap utilise l'optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO). Pour chaque prompt, la politique échantillonne un groupe de $K=8$ déroulements (rollouts). La fonction d'avantage est construite à l'aide d'une normalisation de groupe composante par composante des trois signaux de récompense ( $R_{tmp}, R_{cap}, R_{ans}$ ) pour gérer les différentes échelles et variances. Le LLM gelé et les modèles juges sont utilisés uniquement pour le calcul de la récompense et ne sont jamais mis à jour.

Contributions Clés

Formulation d'Auto-Légendage Sensible à la Sécurité : Le papier reformule l'alignement de sécurité des LVLM comme une tâche d'auto-légendage, exigeant que le modèle génère une représentation intermédiaire explicite qui expose les preuves visuelles pertinentes pour la sécurité avant de répondre.
Objectif de Renforcement Médiaté par la Légende : Un mécanisme de récompense à double signal est introduit, combinant l'évaluation directe de la réponse finale avec un signal provenant d'un LLM gelé. Ce signal vérifie si la légende générée soutient une réponse alignée sur la sécurité de la part d'un raisonneur textuel, comblant ainsi l'écart entre perception et alignement.
Évaluation Multi-Protocole : Les auteurs fournissent une évaluation complète à travers cinq benchmarks de sécurité multimodale et six benchmarks d'utilité visuelle, comparant les protocoles d'inférence Direct, DirectCap (le point de fonctionnement prévu) et Prism (légende seule).

Résultats

Les expériences ont été menées sur des modèles Qwen3.5 (2B, 2B-Base, 4B, 4B-Base) entraînés sur le jeu de données public SPA-VL.

Gains de Sécurité : Sous le protocole DirectCap, SafeCap améliore considérablement la performance globale de sécurité. À travers quatre configurations de modèles, les moyennes de sécurité ont augmenté de 3,7 à 19,0 points. Notamment, le modèle 4B-Base a vu une augmentation de 19,0 points de la moyenne de sécurité tout en maintenant une utilité visuelle moyenne pratiquement inchangée.
Préservation de l'Utilité : Contrairement à certaines méthodes d'ajustement fin de sécurité, SafeCap maintient ou améliore les scores d'utilité visuelle sur des benchmarks comme MM-Vet, BLINK et MMVP.
Performance Comparative :
- SafeCap surpasse le SFT de sécurité standard et le DPO lorsqu'ils sont entraînés sur les mêmes données et étapes.
- Dans une comparaison contrôlée utilisant les données de SafeGRPO (SafeTag-VL-3K), SafeCap a atteint une moyenne de sécurité DirectCap de 55,06 contre 41,27 pour SafeGRPO, tout en conservant une utilité similaire.
Études d'Ablation : La suppression de la récompense de légende ou de la récompense de réponse directe dégrade significativement la sécurité et l'utilité, confirmant que les deux signaux sont nécessaires. La normalisation déconnectée des récompenses s'est avérée particulièrement critique pour les performances Direct et DirectCap.

Signification et Revendications

Le papier affirme que SafeCap démontre la valeur de l'incorporation de preuves du côté de la perception dans l'alignement de sécurité multimodale. En entraînant le LVLM à exposer explicitement les indices visuels sensibles à la sécurité dans une légende, la méthode aligne la perception visuelle du modèle avec sa politique de sécurité sans dépendre uniquement du prompting de refus ou de wrappers d'inférence fragiles.

Les auteurs soulignent que le chemin DirectCap (où le modèle entraîné génère une légende puis répond) est le point de fonctionnement prévu, offrant les gains de sécurité les plus cohérents. Bien que le protocole "Prism" (utilisant un LLM gelé pour répondre à partir de la légende) montre une certaine transférabilité, la contribution principale est la capacité apprise du LVLM lui-même à effectuer un légendage sensible à la sécurité. Le travail suggère que l'apprentissage par renforcement médiaté par la légende est une direction pratique et efficace pour les futurs efforts de la communauté concernant la sécurité multimodale, complétant l'alignement conventionnel du côté de la sortie.