Résumé technique : Atténuation des attaques adaptatives contre les modèles de raisonnement par entraînement à la cohérence des activations

Énoncé du problème

À mesure que les grands modèles de langage (LLM) adoptent un raisonnement par chaîne de pensée (CoT) étendu, le paysage de la sécurité a évolué. Si le CoT permet d'accroître les capacités, il introduit également de nouvelles fragilités : les modèles peuvent « se convaincre eux-mêmes de se conformer », identifiant initialement une requête comme nuisible mais la reformulant progressivement comme bénigne au cours du raisonnement. De plus, des attaques externes (par exemple, H-CoT, détournement de CoT) exploitent ce canal pour contourner les filtres de sécurité.

Les défenses existantes font face à deux défis majeurs dans ce contexte :

1. Complexité du raisonnement : Des méthodes comme l'alignement délibératif reposent sur le fait que le modèle raisonne sur la sécurité, mais des preuves suggèrent que cela est insuffisant face à des attaques sophistiquées.
2. Évolutivité de l'entraînement : Les défenses basées sur l'entraînement pour l'injection de prompts (par exemple, StruQ, SecAlign) nécessitent généralement de superviser la distribution complète des sorties du modèle. Pour les modèles de raisonnement, cela signifie superviser des centaines ou des milliers de jetons de CoT par exemple, ce qui est coûteux en calcul et difficile à mettre à l'échelle à mesure que la longueur des traces augmente.

L'article se demande si les modèles de raisonnement peuvent être entraînés à ignorer un contexte nuisible sans nécessiter de supervision sur l'ensemble de la longue trace de réflexion.

Méthodologie

Les auteurs étudient l'entraînement à la cohérence, un cadre auto-supervisé qui impose un comportement identique sur un prompt propre ($p_{clean}$) et un prompt « enveloppé » réécrit de manière adversariale ($p_{wrapped}$). Ils comparent deux variantes :

1. Entraînement à la cohérence augmenté par biais (BCT) : Une approche au niveau de la sortie. Le modèle est affiné par entropie croisée pour reproduire la complétion du modèle de base sur le prompt propre (incluant le CoT complet et la réponse) lorsqu'il reçoit l'entrée enveloppée.
2. Entraînement à la cohérence des activations (ACT) : Une approche au niveau des activations. Au lieu de superviser les sorties, l'ACT impose un accord sur les états cachés internes du modèle. Plus précisément, elle minimise la distance L2 carrée entre les états cachés du prompt enveloppé et du prompt propre aux positions de suffixe partagées (généralement la limite du modèle de chat et le début du tour de l'assistant) à travers toutes les couches du transformateur.

Détails techniques clés

• Extraction de suffixe partagé : La méthode identifie la plus longue séquence de jetons correspondante entre les prompts propre et enveloppé après le modèle de chat. Dans des contextes adversariaux, cela ne comprend généralement que ~6 jetons (marqueurs de fin d'utilisateur, ouvre-tour d'assistant et jetons initiaux du canal de réflexion), indépendamment de la longueur du raisonnement.
• Fonction de perte : Pour un modèle de base figé $\theta_{init}$ et un modèle adapté par LoRA $\theta$, la perte est :
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  où $\text{sg}$ désigne l'arrêt du gradient.
• Régularisation bénigne : Pour éviter la dégradation de l'utilité, un terme de perte est ajouté sur les prompts bénins ($L_{benign}$) avec un facteur de pondération $\lambda$.
• Données d'entraînement : Les deux méthodes utilisent des paires identiques de $(p_{clean}, p_{wrapped})$. Pour le BCT, la complétion du modèle de base sur $p_{clean}$ sert de cible ; pour l'ACT, seuls les prompts sont requis.

Contributions clés

1. L'ACT comme défense contre l'injection de prompts : Les auteurs formulent l'ACT comme une défense contre l'injection de prompts. Sur trois benchmarks (OPI, AlpacaFarm, SEP) et cinq modèles de raisonnement, l'ACT égale ou dépasse le BCT. Crucialement, l'ACT ne nécessite ni étiquettes fixes ni supervision sur l'ensemble du CoT.
2. Généralisation aux attaques adaptatives : L'étude évalue les défenses contre des attaquants adaptatifs entraînés par apprentissage par renforcement (GRPO) directement sur le modèle défendu. L'ACT démontre une robustesse supérieure face à ces attaques adaptatives par rapport au BCT sur presque toutes les cibles, tant dans les contextes de jailbreak que d'injection de prompts, tout en maintenant une utilité du modèle comparable.
3. Insight mécanistique : L'article fournit des preuves que la défense de l'ACT est encodée comme un décalage approximativement linéaire dans l'espace des activations à la limite du tour de l'assistant.
   • Pilotage linéaire : Une seule direction de pilotage ($d_{ACT}$) peut être récupérée. L'ajout de cette direction à un modèle de base induit un refus face aux jailbreaks, tandis que sa soustraction d'un modèle défendu par l'ACT rétablit la conformité.
   • Robustesse à la manipulation du CoT : Dans des expériences où le CoT du modèle est remplacé par une trace conforme provenant d'un modèle de base non défendu, l'ACT continue de refuser la requête, alors que le BCT suit souvent la trajectoire de raisonnement conforme. Cela suggère que l'ACT encode le refus avant que la trace de raisonnement ne commence.

Résultats

• Injection de prompts : Sur des benchmarks statiques, l'ACT et le BCT réduisent tous deux significativement les taux de réussite des attaques (ASR). Cependant, sous des attaques adaptatives, l'ACT surpasse constamment le BCT. Par exemple, sur GPT-OSS-20B, le BCT avait un ASR de 57,4 % sous attaque adaptative, tandis que l'ACT se maintenait à 37,0 %.
• Défense contre le jailbreak : L'ACT atteint des taux de victoire de défense proches de 100 % contre les attaques statiques et adaptatives sur la plupart des modèles (par exemple, Qwen3-8B, Phi-4). La robustesse du BCT se dégrade considérablement sous des attaques adaptatives.
• Utilité : Les deux méthodes préservent généralement l'utilité de la ligne de base non défendue sur des tâches comme MMLU et la précision des prompts propres, avec l'exception notable du BCT sur Phi-4-reasoning, où l'utilité s'est effondrée.
• Validation mécanistique : Les expériences de pilotage ont confirmé que $d_{ACT}$ agit de manière bidirectionnelle : elle peut induire un refus dans les modèles de base et supprimer le refus dans les modèles défendus. La direction a montré une sélectivité, provoquant un nombre minimal de faux rejets sur les entrées bénignes à des forces de pilotage modérées.

Importance et affirmations

L'article affirme que superviser les représentations internes (ACT) est une approche surprenamment efficace et interprétable pour l'entraînement à la sécurité dans les modèles de raisonnement.

• Efficacité : L'ACT évite la charge computationnelle de la supervision de milliers de jetons de CoT requise par les méthodes au niveau de la sortie comme le BCT.
• Robustesse : En ancrant la supervision à la limite du tour de l'assistant (avant que le raisonnement ne commence), l'ACT crée une défense qui reste robuste même lorsque la trace de raisonnement elle-même est manipulée ou remplacée.
• Interprétabilité : La découverte d'une direction linéaire de refus suggère que les mécanismes de sécurité dans les modèles de raisonnement peuvent être contrôlés par un simple pilotage des activations, offrant une voie potentielle pour des défenses sans entraînement ou une compréhension mécanistique plus profonde.

Les auteurs reconnaissent des limites, notamment la nécessité de créer des jeux de données propres/enveloppés, une vulnérabilité potentielle aux attaques en boîte blanche avec un accès direct au gradient, et le fait qu'aucune des deux défenses n'atteint une sécurité à 100 %. Ils positionnent l'ACT comme une approche complémentaire qui répond à la fragilité spécifique introduite par le raisonnement par chaîne de pensée étendue.