Résumé Technique : Alignement Adaptatif par Routage Dynamique (DRAA)

1. Énoncé du Problème

Le déploiement massif des Grands Modèles de Fondation (LFM) a déplacé les menaces de sécurité des jailbreaks de type « boîte noire » vers des attaques structurelles de type « boîte blanche ». Dans ces scénarios, les attaquants ayant accès aux paramètres internes peuvent identifier et sectionner précisément les neurones ou les voies causales spécifiques responsables du refus sécurisé.

Les mécanismes de défense existants reposent sur des unités de sécurité statiques ou des voies de refus fixes (par exemple, le gel de certains neurones ou l'ancrage des poids). L'article soutient que ces méthodes souffrent d'une hypothèse de « composante statique » : elles présupposent que les structures protégées restent intactes pendant le déploiement. Sous des menaces de type boîte blanche, une fois que ces routes défensives fixes sont précisément élaguées ou perturbées, la capacité de refus du modèle s'effondre totalement car il manque de mécanismes de compensation. Le problème central est l'absence de redondance dynamique dans l'alignement de sécurité actuel, ce qui rend les modèles fragiles face aux attaques ciblées au niveau des routes.

2. Méthodologie : Alignement Adaptatif par Routage Dynamique (DRAA)

Le cadre proposé, DRAA, reformule l'alignement de sécurité comme un problème de récupération de route. Au lieu de simplement renforcer un chemin statique unique, le DRAA vise à doter les modèles de la capacité de reconstruire dynamiquement des comportements sûrs lorsque les voies critiques sont compromises. Le cadre se compose de trois étapes principales :

A. Localisation de la Route de Sécurité

Le DRAA identifie d'abord la « route de sécurité » spécifique sur laquelle le modèle s'appuie actuellement pour un refus sûr.

• Mécanisme : Il contraste les activations internes entre des échantillons de calibration sûrs et non sûrs.
• Métriques : Il calcule deux scores pour les neurones de chaque couche :
  1. Taille de l'effet (ES - Effect Size) : Mesure la séparation distributionnelle entre les entrées sûres et non sûres.
  2. Décalage d'Activation de Sécurité (SAS - Safety Activation Shift) : Mesure l'amplification directionnelle de l'activation sous des entrées non sûres par rapport à la moyenne de la couche.
• Résultat : Un ensemble de neurones $S$ (la route de sécurité) est défini comme l'union des neurones présentant des scores ES et SAS élevés à travers les couches.

B. Extraction de Défaillance Causale

Pour entraîner le modèle à gérer la défaillance de sa route de sécurité primaire, le DRAA simule des attaques ciblées.

• Intervention : La route de sécurité $S$ identifiée est temporairement masquée (mise à zéro) pendant l'inférence.
• Construction de Données : Le système collecte des échantillons où le modèle intact produit un refus sûr ($y_{ori}$), mais où le modèle dont la route est désactivée échoue et génère une réponse non sûre ($y_{cut}$).
• Paires de Préférence : Ces cas forment des « paires de préférence conscientes de la défaillance » $(x, y_{ori}, y_{cut})$, créant un jeu de données ($D_{fail}$) qui cible spécifiquement les scénarios où le mécanisme de sécurité primaire est brisé.

C. Optimisation de Préférence Directe par Routage Dynamique (DR-DPO)

La dernière étape entraîne le modèle à apprendre des routes compensatoires sans renforcer la route primaire désormais vulnérable.

• Verrouillage de la Route : Pendant le processus d'optimisation DPO, les paramètres correspondant à la route de sécurité identifiée $S$ sont gelés (via un masquage de gradient dans les adaptateurs LoRA).
• Objectif : Le modèle est contraint de minimiser la perte de préférence en utilisant uniquement l'espace de paramètres non restreint ($\theta_R$).
• Stratégie : Cela implémente une stratégie de « détour en cas de blocage ». Le modèle ne peut pas simplement renforcer la route fragile existante ; il doit découvrir et renforcer des voies alternatives latentes (routes compensatoires) au sein des paramètres restants pour maintenir un comportement de refus sûr même lorsque la route primaire est désactivée.
• Inférence : Lors de l'inférence réelle, la route de sécurité reste active, mais les nouvelles routes compensatoires apprises fournissent une capacité de défense supplémentaire si la route primaire est perturbée.

3. Contributions Clés

1. Proposition de Cadre : Introduction du DRAA, qui déplace l'alignement de sécurité de la protection de nœuds statiques vers la reconstruction dynamique des mécanismes de refus sous attaque.
2. Objectif DR-DPO : Un nouvel objectif d'optimisation qui verrouille la route de sécurité pendant l'entraînement, forçant le modèle à apprendre des voies compensatoires dans l'espace de paramètres non attaqué.
3. Validation Empirique : Expérimentations approfondies démontrant que le DRAA améliore considérablement la robustesse contre les attaques d'élagage (pruning) de type boîte blanche sévères tout en préservant l'utilité générale.

4. Résultats Expérimentaux

Le papier évalue le DRAA sur divers backbones de LLM (Qwen2.5, LLaMA-3.2, Gemma, Phi) et des LLM Multimodaux (Qwen2.5-VL, LLaVA) sous quatre configurations d'élagage : ORI (aucun élagage), ES, SAS, et FULL (union des neurones ES et SAS).

• Robustesse à l'Élagage : Sous la configuration d'élagage la plus forte (FULL pruning), le DRAA obtient systématiquement le taux de succès d'attaque (ASR) le plus bas par rapport aux bases de référence comme SN-Tune, RLHF-Safety et SafeNeuron.
  • Exemple : Sur Qwen2.5-7B, le DRAA a réduit l'ASR FULL à 26/313, alors que le modèle original présentait 279/313 et SafeNeuron 183/313.
  • Exemple : Sur LLaMA-3.2-8B, le DRAA a atteint un ASR de 11/313 sous élagage FULL, contre 221/313 pour le modèle original.
• Sécurité Multimodale : Le DRAA a démontré une robustesse supérieure dans les scénarios de jailbreak visuel (tâches VL-Question et NSFW), réduisant significativement l'ASR FULL (par exemple, de 174/313 à 5/313 sur Qwen2.5-VL-7B pour VL-Question).
• Généralisation à des Attaques Inconnues : Le DRAA a maintenu sa robustesse contre des mécanismes d'attaque boîte blanche non utilisés pendant l'entraînement (GRAD, WANDA, ABLATE), indiquant qu'il ne fait pas que sur-apprendre (overfit) des motifs d'élagage spécifiques.
• Préservation de l'Utilité : La méthode a préservé les capacités générales (mesurées par ARC, GSM8K, TruthfulQA) sans dégradation significative.
• Efficacité : L'approche ajoute un surcoût négligeable lors de l'inférence. La localisation prend environ 0,58 minute pour 1 000 échantillons, et l'entraînement prend environ 12,7 minutes. Après la fusion des adaptateurs, le modèle conserve le nombre de paramètres et les vitesses d'inférence d'origine.

5. Signification et Revendications

L'article affirme que le DRAA répond à une vulnérabilité critique de l'alignement de sécurité actuel : la dépendance à des défenses statiques à point unique qui s'effondrent sous des attaques ciblées de type boîte blanche. En introduisant des routes de compensation dynamiques, le cadre restructure la dépendance des voies sous-jacentes de la sécurité du modèle.

Les auteurs soulignent que le DRAA ne se contente pas d'améliorer la sécurité contre des attaques connues, mais modifie fondamentalement l'architecture du modèle pour la rendre résiliente aux attaques. Le mécanisme de « détour en cas de blocage » garantit que même si un attaquant identifie et sectionne avec succès les neurones de sécurité primaires, le modèle conserve la capacité de refuser les requêtes malveillantes via des voies alternatives apprises. Cette approche offre un paradigme plus robuste pour le déploiement des LFM dans des environnements ouverts où les paramètres internes peuvent être exposés à des adversaires.