🤖 AI

Internalizing Safety Understanding in Large Reasoning Models via Verification

Ce papier présente Safety Internal (SInternal), un cadre qui améliore la robustesse des modèles de raisonnement de grande envergure face aux jailbreaks en les entraînant à intérioriser la compréhension de la sécurité grâce à des tâches d'auto-vérification, déplaçant ainsi l'alignement d'une simple conformité comportementale vers une évaluation intrinsèque de la sécurité.

Auteurs originaux : Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yi Zhang, Yuxin Chen, Leheng Sheng, Dongcheng Zhang, Chaochao Lu, Xiang Wang, An Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème Central : Le « Bon Acteur » contre l'« Inspecteur de Sécurité »

Imaginez que vous engagez un acteur brillant (un Modèle de Raisonnement à Grande Échelle) pour jouer une pièce de théâtre. Votre objectif est de vous assurer qu'il ne dit jamais rien de dangereux ou de nuisible sur scène.

L'Ancienne Méthode (Alignement Centrée sur la Réponse) :
Actuellement, nous entraînons ces acteurs en leur montrant des scénarios où ils disent les « bonnes » choses. Nous leur disons : « Si quelqu'un demande une recette de bombe, répondez 'Je ne peux pas faire cela'. »

Le Défaut : L'acteur apprend à imiter le refus. Il mémorise le script. Mais il ne comprend pas réellement pourquoi fabriquer une bombe est mauvais. Si un méchant astucieux (un « jailbreak adversaire ») trompe l'acteur en lui faisant croire que la pièce est une « expérience scientifique » ou une « scène de film », l'acteur pourrait baisser sa garde et dire la chose dangereuse quand même. Il suit les règles, mais il n'a pas d'alarme de sécurité interne.

La Nouvelle Idée (SInternal) :
Les auteurs de ce papier proposent une approche différente. Au lieu d'entraîner simplement l'acteur à dire « non », ils l'entraînent à devenir son propre Inspecteur de Sécurité.

La Solution : Enseigner au Modèle à « Vérifier Son Propre Travail »

Le papier présente un cadre appelé SInternal (Sécurité Interne). Voici comment cela fonctionne, étape par étape :

Laissez le Modèle Parler en Premier : Au lieu de ne montrer au modèle que des réponses sûres, nous lui permettons de générer ses propres réponses à diverses questions, y compris celles où il pourrait accidentellement dire quelque chose d'insécurisé.
L'Avis de l'Expert : Nous faisons intervenir un « Super-Expert » (une autre IA ou un humain) pour examiner la réponse du modèle. L'Expert ne dit pas simplement « Sûr » ou « Insécurisé ». Il rédige un rapport détaillé expliquant pourquoi une réponse est dangereuse.
- Analogie : Imaginez qu'un étudiant rédige une dissertation. Au lieu de recevoir simplement une note, un professeur écrit une note en marge : « Ce paragraphe est dangereux car il encourage l'automutilation, même s'il ressemble à une histoire. »
Apprendre à Vérifier : Le modèle est ensuite entraîné à lire ces rapports d'experts et à apprendre à les rédiger lui-même. Le but n'est pas de mémoriser la réponse « sûre » ; le but est d'apprendre à critiquer une réponse et de se demander : « Attendez, est-ce que c'est vraiment sûr ? Pourquoi ou pourquoi pas ? »

Le Résultat Magique : « Intérioriser » la Sécurité

En apprenant à vérifier son propre travail, le modèle développe une compréhension intrinsèque de la sécurité.

Avant : Le modèle était comme un robot suivant une liste de « À faire et À ne pas faire ». Si la liste était trompée, le robot échouait.
Après : Le modèle est comme une personne qui comprend vraiment le concept de danger. Même si un farceur tente de reformuler une demande dangereuse, l'« Inspecteur de Sécurité » interne du modèle se déclenche, dit : « Attendez, c'est en fait nuisible », et arrête le processus.

Ce que les Expériences Ont Montré

Les chercheurs ont testé cela sur plusieurs modèles d'IA puissants et ont constaté :

Meilleure Défense contre les Astuces : La nouvelle méthode était beaucoup plus efficace pour résister aux « jailbreaks » (astuces conçues pour contourner les règles de sécurité) par rapport aux anciennes méthodes. Elle ne se contentait pas de mémoriser les refus ; elle comprenait les principes de la sécurité.
La Compétence de « Vérification » se Transfère : Même si le modèle n'était entraîné qu'à vérifier les réponses (pas nécessairement à les générer), il est devenu beaucoup meilleur pour générer des réponses sûres aussi. C'est comme un entraîneur de football qui est excellent pour repérer les mauvais jeux ; une fois qu'il commence à jouer, il évite instinctivement de commettre lui-même ces mauvais jeux.
Une Base Plus Solide pour l'Apprentissage par Renforcement : Lorsqu'ils ont combiné cette nouvelle méthode avec des techniques d'entraînement avancées (Apprentissage par Renforcement), les résultats étaient encore meilleurs. Il semble qu'avoir un modèle qui comprend la sécurité rende beaucoup plus facile de l'entraîner à être sûr à long terme.
Pas de « Sur-Refus » : Parfois, l'entraînement à la sécurité rend les modèles trop effrayés pour répondre à quoi que ce soit (même à des questions inoffensives). Cette nouvelle méthode a maintenu les modèles intelligents et utiles, ne refusant que lorsqu'ils étaient vraiment sûrs que quelque chose était insécurisé.

La Conclusion

Le papier soutient que nous ne devrions pas simplement enseigner aux modèles d'IA à agir de manière sûre (imitation). Nous devrions leur apprendre à penser à la sécurité (compréhension).

En entraînant ces modèles à agir comme leurs propres critiques et à vérifier leurs propres réponses, nous leur donnons une « conscience de sécurité ». Cela les rend beaucoup plus difficiles à tromper et beaucoup plus fiables dans le monde réel, sans les rendre moins utiles ou intelligents.

Résumé Technique : Internalisation de la Compréhension de la Sécurité dans les Modèles de Raisonnement Avancé via la Vérification

1. Énoncé du Problème

Les Modèles de Raisonnement Avancé (LRM) exploitent la Chaîne de Pensée explicite (CoT) pour améliorer leurs capacités de raisonnement, mais ce couplage entre raisonnement et réponses finales amplifie les risques potentiels pour la sécurité dans le monde réel. Les paradigmes d'alignement actuels sont principalement centrés sur la réponse, reposant sur un Affinement Supervisé (SFT) sur des trajectoires sûres curatées par des experts ou un Apprentissage par Renforcement (RL) avec des récompenses de sécurité vérifiables. Ces méthodes optimisent les modèles pour garantir que les réponses finales respectent les spécifications de sécurité externes.

Cependant, les auteurs soutiennent que cette approche reste largement comportementale et superficielle. Elle optimise la conformité sans façonner la compréhension intrinsèque de la sécurité du modèle. Par conséquent, des modèles apparemment alignés manquent souvent de la capacité à vérifier si et pourquoi une sortie satisfait les spécifications de sécurité. Cet écart se manifeste par deux défaillances critiques :

Vulnérabilité : Les modèles peuvent être détournés par des contournements adverses (jailbreaks) qui induisent une CoT favorisant la conformité, orientant le modèle à étiqueter une invite comme « sûre » tout en générant des réponses nuisibles.
Mauvaise Généralisation : Les modèles imitent simplement des comportements sûrs sans apprendre le concept sous-jacent de sécurité, conduisant à des défenses fragiles face aux contournements hors domaine (OOD) et spécifiques au raisonnement.

L'analyse empirique révèle que l'alignement standard ne produit pas de manière fiable des compétences de vérification ; dans certains cas, les modèles alignés performent moins bien que des bases aléatoires sur des tâches de vérification binaire de sécurité.

2. Méthodologie : Sécurité Interne (SInternal)

Pour remédier au découplage entre la génération de sécurité et la compréhension de la sécurité, les auteurs proposent Sécurité Interne (SInternal), un cadre conçu pour internaliser les spécifications de sécurité en entraînant les LRM exclusivement sur des tâches de vérification de sécurité.

Philosophie Centrale

Au lieu d'enseigner aux modèles quoi produire (imiter des trajectoires sûres), SInternal enseigne aux modèles comment évaluer leurs propres sorties. L'hypothèse centrale est que l'apprentissage de la vérification induit une forte généralisation pour la sécurité des réponses, créant une base plus robuste pour l'alignement qu'une simple imitation comportementale.

Composantes du Cadre

La méthodologie se compose de deux étapes principales :

A. Internalisation de la Sécurité par l'Entraînement à la Vérification

Génération de Réponses Automatiques : Pour chaque invite pertinente pour la sécurité $x$ , le modèle politique $\pi_\theta$ échantillonne ses propres réponses (y compris des réponses potentiellement non sûres) pour s'assurer que le modèle apprend les limites de sécurité pertinentes par rapport à sa propre distribution de sorties.
Construction de Trajectoires de Vérification par Expert : Un modèle expert (par exemple, Claude-4-Sonnet) évalue les réponses échantillonnées par rapport aux spécifications de sécurité $S$ $S$ . Il génère une trajectoire de vérification $c_k$ $c_{k}$ comprenant :
- Raisonnement de Critique ( $z_{ver,k}$ ) : Une analyse détaillée des violations de sécurité potentielles.
- Jugement Binaire ( $v_k$ ) : Une étiquette de sécurité finale (Sûre/Non sûre).
Affinement Supervisé (SFT) : Le modèle politique est entraîné par apprentissage supervisé sur ces trajectoires de vérification expertes. L'objectif est de maximiser la vraisemblance de générer le raisonnement et le jugement de vérification conditionnés par l'invite, la réponse du modèle et les spécifications de sécurité :
$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$
Cela force le modèle à internaliser la logique de pourquoi une réponse est non sûre.

B. Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR)

S'appuyant sur l'initialisation SInternal, le cadre optimise davantage le modèle en utilisant l'Optimisation de Politique Relative par Groupes (GRPO).

Conception de la Récompense : Le modèle génère un groupe de réponses. Un vérificateur externe fournit des récompenses binaires basées sur le fait que la réponse est sûre ( $V_{safe}$ ) et sur le fait qu'il s'agit d'un refus ( $V_{refuse}$ ).
Objectif : Le modèle maximise la récompense relative au groupe attendue, exploitant la compréhension de sécurité internalisée pour interpréter les signaux de récompense de manière plus cohérente et atteindre des plafonds d'alignement plus élevés.

3. Contributions Clés

Identification de l'Écart de Vérification : L'article fournit des preuves empiriques que l'alignement centré sur la réponse échoue à améliorer les capacités intrinsèques de vérification de sécurité, laissant souvent les modèles incapables d'identifier correctement les sorties non sûres qu'ils génèrent.
Cadre SInternal : Un paradigme d'entraînement novateur qui déplace l'accent de la génération de réponses sûres vers leur vérification. En entraînant exclusivement sur des trajectoires de vérification dérivées des propres générations du modèle, la méthode internalise les spécifications de sécurité en tant que capacité de raisonnement intrinsèque.
Initialisation Supérieure pour le RL : L'étude démontre que SInternal sert d'initialisation supérieure pour l'apprentissage par renforcement par rapport au SFT standard. Les modèles initialisés avec SInternal atteignent une robustesse significativement plus élevée contre les attaques adverses après l'optimisation par RL.
Analyse Mécanistique : Les auteurs montrent que SInternal déclenche une vérification proactive durant le processus de raisonnement. Le modèle scrute spontanément la sécurité de ses comportements potentiels avant de finaliser une réponse, conduisant à un alignement plus profond.

4. Résultats Expérimentaux

Des expériences ont été menées sur trois LRM open-source (DeepSeek-R1-Distill-Qwen-7B/14B et DeepSeek-R1-Distill-Llama-8B) à travers des benchmarks de sécurité, de sur-refus et de raisonnement général.

Robustesse face aux Contournements (Jailbreaks) : SInternal surpasse nettement les bases (SafeChain, STAR-1) sur les benchmarks de contournements hors distribution (OOD) et spécifiques au raisonnement (par exemple, WildJailbreak, Fortress, HCoT). Notamment, SInternal combiné au RL est la seule méthode qui se défend efficacement contre HCoT (Détournement de CoT), un contournement de pointe qui exploite les traces de raisonnement.
Capacité de Vérification : Les modèles entraînés avec SInternal montrent des gains substantiels dans les scores F1 de vérification de sécurité (par exemple, passant d'environ 48 % à environ 86 % sur DS-7B), tandis que les bases centrées sur la réponse montrent peu ou pas d'amélioration.
Généralisation : La méthode démontre une forte généralisation face à des contournements inédits, suggérant que l'apprentissage des principes de vérification de sécurité est plus efficace que la mémorisation de motifs de refus.
Préservation de l'Utilité : SInternal maintient des performances compétitives sur les benchmarks de raisonnement général (MATH, AIME) et évite un sur-refus excessif (mesuré par XSTest), préservant l'équilibre entre sécurité et utilité.
Efficacité des Données : SInternal atteint des performances de sécurité supérieures avec seulement 50 % des données d'entraînement requises par les bases SFT, indiquant que l'internalisation de la logique de raisonnement est plus efficace en termes de données que l'imitation des sorties.

5. Signification et Revendications

L'article revendique un changement de paradigme dans l'alignement de la sécurité de l'IA : passer d'un alignement centré sur la réponse (imiter des comportements sûrs) à une compréhension intrinsèque de la sécurité (raisonner explicitement sur les principes de sécurité).

Robustesse Fondamentale : Les auteurs soutiennent que l'internalisation de la compréhension de la sécurité crée une base plus robuste pour l'alignement que la simple imitation de comportements sûrs. Cela est attesté par la capacité du modèle à déclencher spontanément une vérification durant le raisonnement et par sa résistance supérieure au détournement de CoT adversaire.
Découplage de la Génération et de la Vérification : Le travail souligne que la génération sûre ne conduit pas naturellement à une compréhension de la sécurité. Par conséquent, un entraînement explicite sur la vérification est nécessaire pour combler cet écart.
Direction Future : Bien que le cadre actuel se concentre sur la vérification post-génération, les auteurs suggèrent que l'extension de cette capacité à une auto-vérification dynamique durant le raisonnement est une direction future critique. Ils soulignent que, à mesure que les modèles développent une compréhension intrinsèque plus profonde de la sécurité, garantir que leur logique de vérification interne reste alignée avec les valeurs humaines est primordial pour une gouvernance responsable.

L'article conclut que doter les LRM de la capacité de scrutiniser la sécurité de leurs propres réponses générées est une étape significative vers l'atteinte d'une sécurité intrinsèque, en particulier dans des environnements à haut risque où la robustesse est non négociable.