🤖 AI

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

Ce papier propose un cadre hybride qui améliore la robustesse des grands modèles de langage alignés sur la sécurité face aux perturbations en appliquant quelques étapes de raffinement d'optimisation d'ordre zéro après un alignement d'ordre un standard, avec une amélioration de l'efficacité obtenue en concentrant les mises à jour sur les couches identifiées comme les plus sensibles à la robustesse.

Auteurs originaux : Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Sécurité de la « Maison de Verre »

Imaginez que vous avez construit un robot très intelligent (un Modèle de Langage de Grande Taille) et que vous lui avez appris à être sûr. Vous l'avez entraîné à refuser les demandes nuisibles, comme « Comment fabrique-t-on une bombe ? ». Cet entraînement s'appelle l'Alignement de Sécurité.

Cependant, les chercheurs ont découvert que cette sécurité ressemble à une maison en verre. Elle paraît parfaite et solide lorsque tout est calme. Mais si vous lui donnez une toute petite pichenette — comme une légère modification de son câblage interne (bruit des paramètres), un tout petit bug dans son processus de réflexion (bruit d'activation), ou même simplement la compression de sa mémoire pour économiser de l'espace (quantification) — le verre se brise. Le robot oublie soudainement ses règles de sécurité et commence à donner des réponses dangereuses.

Le papier soutient que l'entraînement de sécurité actuel est trop « pointu ». Il crée une frontière très spécifique et fragile entre « sûr » et « non sûr ». Si vous vous déplacez d'un seul millimètre par rapport à cette frontière exacte, la sécurité s'effondre.

L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode (Optimisation du Premier Ordre) :
Imaginez l'entraînement standard comme un randonneur essayant de trouver le fond d'une vallée. Le randonneur regarde la pente juste sous ses pieds (le gradient) et fait un pas vers le bas. C'est rapide et efficace. Cela permet au robot de devenir sûr rapidement. Mais parce que le randonneur ne regarde que la pente immédiate, il peut se retrouver dans un petit trou pointu. Si le sol tremble légèrement, il tombe hors du trou.

La Nouvelle Méthode (Optimisation d'Ordre Zéro) :
Les chercheurs proposent d'ajouter une deuxième étape en utilisant l'Optimisation d'Ordre Zéro (ZO).
Imaginez que le randonneur s'arrête au fond de la vallée et commence à secouer le sol autour de lui. Il pousse le sol vers la gauche, la droite, l'avant et l'arrière pour voir comment le terrain réagit.

Si le sol est bosselé et instable, il sait qu'il est dans un endroit « pointu ».
Si le sol est plat et lisse, il sait qu'il est dans un endroit « robuste ».

L'optimisation ZO ne regarde pas la pente ; elle teste simplement le modèle en ajoutant de tout petits « secousses » aléatoires (perturbations) et en observant comment le score de sécurité change. Elle pousse naturellement le modèle vers des zones plus plates et plus lisses où la sécurité est plus stable.

La Solution : Un Processus d'Entraînement en Deux Étapes

Le papier propose un cadre hybride qui combine la rapidité de l'ancienne méthode avec la stabilité de la nouvelle. Imaginez cela comme une recette en deux étapes pour un robot plus sûr :

Étape 1 : Le Sprint (Alignement du Premier Ordre)
D'abord, ils utilisent la méthode standard et rapide pour enseigner les règles de sécurité au robot. Cela amène le robot à un état « sûr » rapidement. C'est comme courir vers le fond de la vallée.
Étape 2 : Le Secouage (Raffinement d'Ordre Zéro)
Une fois le robot sûr, ils ne recommencent pas de zéro. Au lieu de cela, ils appliquent une technique de « secouage » (Ordre Zéro) pendant seulement quelques étapes. Cela pousse doucement les paramètres internes du robot pour rendre les règles de sécurité « plus lisses » et moins fragiles. C'est comme tasser la terre autour du randonneur pour qu'il ne tombe pas si le sol tremble.

L'Ingrrédient Secret : Trouver les Points Faibles

Les chercheurs ont réalisé que secouer tout le robot est lent et coûteux. Alors, ils ont inventé un moyen de trouver les points faibles en premier.

Ils ont développé un « test de sensibilité » pour voir quelles couches spécifiques du cerveau du robot sont les plus susceptibles de briser les règles de sécurité lorsqu'elles sont secouées.

L'Analogie : Imaginez une chaise en bois. Si vous secouez toute la chaise, elle peut vaciller. Mais si vous trouvez la seule jambe spécifique qui est desserrée et que vous serrez uniquement cette jambe, toute la chaise devient stable.
La Méthode : Ils testent chaque couche du modèle pour voir combien sa sécurité baisse lorsqu'elle est secouée. Ils concentrent ensuite leur entraînement de « secouage » uniquement sur ces couches spécifiques et critiques. Cela rend le processus beaucoup plus rapide et plus efficace.

Les Résultats

Le papier montre que cette méthode fonctionne :

La fragilité est réelle : Même de tout petits changements aléatoires peuvent rendre un modèle « sûr » non sûr.
Le raffinement fonctionne : Ajouter seulement quelques étapes de cet entraînement de « secouage » après l'entraînement principal rend le modèle beaucoup plus difficile à briser.
Efficacité : En se concentrant uniquement sur les couches critiques, ils obtiennent ces avantages de sécurité sans avoir besoin de quantités massives de puissance informatique ou de temps supplémentaires.

Résumé

En bref, le papier dit : « Nous avons appris à notre IA à être sûre, mais elle était trop fragile. Nous avons découvert qu'en « secouant » doucement l'IA après l'entraînement — et en nous concentrant spécifiquement sur les parties de son cerveau les plus sensibles aux secousses — nous pouvons rendre ses règles de sécurité beaucoup plus solides et plus fiables, sans ralentir l'ensemble du processus. »

Résumé Technique : Alignés mais Fragiles : Renforcement de la Robustesse de la Sécurité des LLM par Optimisation d'Ordre Zéro

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) subissent une phase d'alignement de sécurité (par exemple, via RLHF, DPO ou SFT) pour supprimer les sorties nuisibles tout en maintenant leur utilité. Cependant, des découvertes récentes indiquent que cet alignement est souvent fragile. L'article démontre que des perturbations légères post-alignement — telles que le bruit des paramètres, le bruit des activations ou la quantification — peuvent dégrader significativement les comportements de sécurité, provoquant le retour de modèles alignés vers des sorties non sécurisées ou désalignées.

Les approches existantes de robustesse se concentrent principalement sur la curation des données, la modification des objectifs d'alignement ou l'identification des paramètres critiques pour la sécurité. Ces méthodes nécessitent souvent des modifications spécifiques au problème des données d'entraînement ou des internes du modèle. Crucialement, le rôle du optimiseur de base lui-même dans la formation de la géométrie locale de la frontière de sécurité reste largement inexploré. Les auteurs postulent que l'alignement de sécurité peut être encodé par une frontière « aiguë » ou surajustée dans l'espace des paramètres, susceptible de petites déviations. Un alignement robuste nécessite un paysage de sécurité local plus lisse, une propriété potentiellement influencée par l'algorithme d'optimisation utilisé.

2. Méthodologie

L'article propose un cadre d'optimisation hybride qui exploite l'optimisation d'ordre zéro (ZO) comme une étape de raffinement post-alignement. La méthodologie se compose de trois composants principaux :

A. Le Pipeline Hybride FO–ZO

Au lieu de remplacer l'alignement standard par ordre un (FO) par l'ZO (qui est coûteux en calcul et converge plus lentement), les auteurs proposent un pipeline en deux étapes :

Étape I (Alignement de Sécurité FO) : Une optimisation standard basée sur le gradient (par exemple, SGD) est utilisée pour atteindre efficacement une solution bien alignée ( $\theta_{fo}$ ).
Étape II (Raffinement de Robustesse ZO) : Un petit nombre d'étapes ZO est appliqué à $\theta_{fo}$ pour affiner la robustesse locale. L'ZO estime les gradients en évaluant la fonction de perte sur des paramètres perturbés aléatoirement ( $\theta \pm \beta v$ ), optimisant efficacement un objectif localement lissé. Ce processus encourage le modèle à trouver des minima plus plats, qui sont théoriquement plus robustes aux perturbations.

B. Justification Théorique

Les auteurs fournissent une analyse théorique pour justifier cette conception :

Convergence : Bien que l'ZO soit une procédure d'optimisation valide, ses contraintes de pas sont plus restrictives que celles du FO en raison de la variance et du biais de lissage. Ainsi, utiliser l'ZO pour l'ensemble du processus d'alignement est inefficace. Cependant, appliquer quelques étapes ZO après la convergence FO suffit à améliorer la robustesse.
Amélioration de la Robustesse : L'article prouve que même si un modèle aligné par FO a convergé ( $\nabla f(\theta_{fo}) = 0$ ), une seule étape de raffinement ZO peut réduire l'« écart de robustesse aux perturbations » (l'augmentation de la perte sous perturbation). Cela s'explique par le fait que l'ZO optimise directement l'objectif moyenné sur le voisinage, lissant le paysage local sans réentraînement à partir de zéro.

C. Sensibilité de Robustesse par Couche

Pour améliorer l'efficacité du raffinement ZO, les auteurs introduisent une stratégie de sélection guidée par la sensibilité. Plutôt que de mettre à jour tous les paramètres, ils identifient les couches « critiques pour la robustesse » :

Score de Sensibilité ( $S^{(\ell)}$ ) : Pour chaque couche $\ell$ , un score est calculé en mesurant l'augmentation de la perte lorsque cette couche spécifique est perturbée (bruit aléatoire) ou quantifiée.
Mise à Jour Ciblée : Les $m$ couches supérieures ayant les scores de sensibilité les plus élevés sont sélectionnées. Pendant l'étape de raffinement ZO, les directions de perturbation sont masquées en dehors de ces couches sélectionnées. Cela concentre les ressources de calcul sur les couches les plus responsables de la dégradation de la sécurité sous perturbation.

3. Contributions Clés

L'article revendique les contributions suivantes :

Première Étude sous l'Angle de l'Optimiseur : C'est le premier travail à étudier de manière exhaustive la robustesse de l'alignement de sécurité face aux perturbations de paramètres et d'activations spécifiquement à travers le prisme de l'optimisation d'ordre zéro.
Cadre Hybride FO–ZO : La proposition d'un cadre hybride intégrant les optimiseurs FO et ZO, combinant l'efficacité de l'alignement du FO avec les avantages de robustesse du ZO.
Efficacité et Efficacité : Des preuves théoriques et empiriques montrant qu'une petite quantité de raffinement ZO post-alignement améliore significativement la robustesse de la sécurité avec une surcharge de calcul modeste.
Sensibilité par Couche : Une méthode novatrice pour estimer la sensibilité de robustesse par couche en utilisant des évaluations basées sur la perturbation, permettant un raffinement ciblé qui surpasse les scores d'importance basés sur l'élagage standard (comme SNIP ou WANDA).

4. Résultats Expérimentaux

Des expériences ont été menées sur Llama-3-8B-Instruct et Qwen2-7B-Instruct utilisant l'ensemble de données CB-Safety.

Fragilité de l'Alignement Standard : Le Tableau 1 confirme que les modèles alignés standards subissent des augmentations significatives du taux de réussite des attaques (ASR) sous quantification (W4A4) et bruit d'activation, validant le problème de fragilité.
Efficacité du Raffinement :
- Alignement FO : Réduit l'ASR significativement par rapport au modèle original.
- Raffinement ZO : Lorsqu'appliqué après l'alignement FO, le raffinement ZO réduit davantage l'ASR à travers diverses perturbations (quantification, bruit des poids, bruit d'activation) tout en maintenant l'utilité (les scores PPL et lm-eval restent stables).
- Comparaison : Remplacer les 10 dernières étapes de l'entraînement FO par 10 étapes de raffinement ZO produit systématiquement un ASR plus faible que la poursuite de l'entraînement FO, malgré l'utilisation du même nombre d'étapes d'optimisation.
Sélection de Couches : La sélection de couches « consciente de la robustesse » proposée surpasse SNIP et WANDA dans l'identification des couches critiques pour la robustesse, en particulier sous bruit d'activation et quantification.
Efficacité : L'étape de raffinement ZO ajoute seulement ~13,3 % au temps d'entraînement total et utilise ~32 % de la mémoire GPU de pointe requise pour l'entraînement FO, car elle évite la rétropropagation.

5. Signification et Revendications

L'article se positionne comme une étape modeste mais significative vers une sécurité LLM plus résiliente. Il soutient que l'alignement de sécurité ne concerne pas seulement les données ou la fonction objectif, mais aussi la géométrie locale des paramètres appris, qui est façonnée par l'optimiseur.

Nouveauté : En déplaçant l'accent vers l'optimiseur, l'article offre un nouveau mécanisme (raffinement ZO) qui est orthogonal à la curation des données ou à la refonte des objectifs.
Praticité : L'approche hybride garantit que la haute utilité de l'alignement FO standard est préservée tout en ajoutant un « polissage de robustesse » léger.
Limites et Travaux Futurs : Les auteurs reconnaissent que leur sélection actuelle au niveau des couches pourrait être étendue à des attributions plus fines (niveau module, neurone ou paramètre) dans les travaux futurs. Ils ne prétendent pas résoudre tous les problèmes de sécurité mais abordent spécifiquement la vulnérabilité des modèles alignés aux perturbations post-entraînement.

En résumé, l'article démontre que l'optimisation d'ordre zéro, lorsqu'elle est utilisée comme outil de raffinement ciblé, peut lisser le paysage de sécurité des LLM, les rendant plus résistants au bruit et à la compression inévitables rencontrés dans le déploiement réel.