Résumé Technique : Pilotage au-delà du Support

Énoncé du Problème

Les méthodes actuelles de pilotage de sécurité pour les grands modèles de langage (LLM) reposent fortement sur un apprentissage supervisé utilisant des jeux de données statiques et limités de prompts de contournement (jailbreak) connus. Bien que ces méthodes apprennent à orienter les activations vers des régions de « refus » pour des exemples d'entraînement spécifiques, elles souffrent d'un échec fondamental de généralisation : elles performent mal face à des attaques de contournement inédites et hors distribution (OOD). Les approches existantes appliquent soit une intervention globale de faible capacité qui dégrade l'utilité bénigne, soit apprennent des interventions conditionnelles qui échouent à généraliser au-delà de leur support d'entraînement étroit. Le défi central consiste à entraîner un mécanisme de pilotage de sécurité qui généralise au maximum au-delà du support d'entraînement statique et limité, sans nécessiter de données de contournement étiquetées exhaustives.

Méthodologie

L'article propose un cadre d'entraînement adversaire bi-niveau qui exploite la découverte de directions latentes non supervisée pour simuler des activations de contournement diversifiées, élargissant ainsi le support d'entraînement pour le champ de pilotage.

1. Simulation d'Activations de Contournement Non Supervisée (Étape Interne)

Au lieu de collecter de nouvelles données de contournement étiquetées, la méthode découvre des directions latentes capables de transformer des activations à l'état de « refus » (issues de demandes directes nuisibles) en activations « contournées » (réponses nuisibles conformes).

• Découverte de Directions Latentes : En utilisant un objectif non supervisé, le modèle apprend un ensemble de vecteurs de pilotage $V$ injectés à une couche précoce $s$. Ces vecteurs sont optimisés pour induire des décalages sémantiques cohérents et importants à une couche cible $t$ sur un jeu de données de prompts, découvrant ainsi efficacement des interventions causales modifiant le comportement du modèle.
• Extrapolation : Ces directions découvertes sont appliquées aux activations à l'état de refus ($h_r$) avec une magnitude calibrée $R$ pour générer des activations de contournement simulées adverses ($h_{adv} = h_r + R \cdot v$). Ce processus extrapole le support d'entraînement vers des régions de l'espace des activations correspondant vraisemblablement à des contournements inédits.

2. Pilotage Apprenable via des Fonctions Potentielles

L'article dépasse les vecteurs de pilotage linéaires fixes pour un champ de pilotage apprenable et variant spatialement.

• Perspective du Transport Optimal (OT) : Le mécanisme de pilotage est modélisé comme le transport de la distribution des activations de contournement vers la distribution des activations de refus avec un déplacement minimal.
• Fonction Potentielle : Une fonction potentielle scalaire $f_\phi$ (paramétrée par un petit MLP) est apprise. Son gradient $\nabla f_\phi$ définit un champ vectoriel qui guide les activations.
• Pilotage au Moment du Test : Lors de l'inférence, une activation $h$ est pilotée en effectuant itérativement des étapes de montée en gradient le long de ce champ : $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. Entraînement Adversaire Bi-Niveau (Étape Externe)

La fonction potentielle est entraînée pour satisfaire trois desiderata spécifiques :

1. Pilotabilité Générale : Le champ doit transporter les activations non-refus (y compris les contournements simulés) vers la région de refus. Cela est obtenu en maximisant l'écart de potentiel entre les distributions de refus et non-refus en utilisant le dual de Kantorovich-Rubinstein de la distance de Wasserstein-1.
2. Pilotabilité Nulle Bénigne : Le champ doit rester proche de l'identité (gradient nul) pour les activations bénignes afin de préserver l'utilité. Cela est imposé en pénalisant la norme du gradient sur les entrées bénignes.
3. Pilotabilité Forte des Contournements : Le champ doit induire un transport fort pour les activations de contournement.

L'entraînement alterne entre :

• Étape Interne : Optimisation adversaire des directions latentes $V$ pour générer des contournements simulés « difficiles » qui sont actuellement difficiles à piloter (maximisant la perte sur le potentiel actuel).
• Étape Externe : Mise à jour des paramètres du potentiel $\phi$ pour minimiser la perte sur ces contournements simulés difficiles tout en maintenant les contraintes de pilotabilité bénigne et générale.

Contributions Clés

1. Identification d'une Limite Critique : Les auteurs identifient que le pilotage de sécurité supervisé échoue à généraliser aux contournements inédits car il est lié à une distribution d'entraînement statique, laissant de grandes régions de l'espace des activations de contournement indéfinies.
2. Cadre Adversaire Bi-Niveau : Une boucle d'entraînement novatrice utilisant la découverte de directions latentes non supervisée pour synthétiser des activations de contournement adverses diversifiées. Ces états simulés servent de signaux d'entraînement pour étendre progressivement la couverture effective du champ de pilotage.
3. Pilotage Basé sur Potentiel : L'introduction d'un potentiel scalaire apprenable (via la dualité du Transport Optimal) fournissant un champ de pilotage de haute capacité variant spatialement, remplaçant les interventions linéaires rigides.

Résultats Expérimentaux

La méthode a été évaluée sur trois LLM (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) et six familles classiques de contournements (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot).

• Robustesse : La méthode proposée a atteint des performances de défense solides, avec des taux de réussite des attaques (ASR) majoritairement inférieurs à 5 % sur tous les modèles et familles d'attaques. Elle a surpassé ou égalé les bases supervisées (comme AlphaSteer) et les méthodes d'ingénierie de représentation (comme Circuit-Breaker) sur des attaques inédites.
• Préservation de l'Utilité : Contrairement aux bases agressives qui ont causé des taux élevés de refus excessifs sur des cas limites bénins, la méthode proposée a maintenu des scores d'utilité élevés sur les benchmarks de raisonnement, de connaissances et de mathématiques (ARC-C, TruthfulQA, GSM8K) tout en maintenant un taux de faux positifs (refus excessifs) relativement faible.
• Insight Mécanistique : L'analyse a montré qu'au fur et à mesure de l'entraînement, les activations de contournement simulées s'étendaient pour couvrir les sous-espaces des attaques de contournement réelles. Cette « couverture croissante des sous-espaces » corrélait directement avec une robustesse de défense améliorée, validant l'hypothèse selon laquelle l'expansion du support d'entraînement via la simulation est le moteur clé de la généralisation.

Importance et Revendications

L'article revendique de s'attaquer à un problème largement négligé dans la sécurité des LLM : l'incapacité des méthodes de pilotage actuelles à généraliser au-delà de leur support d'entraînement. En passant d'un apprentissage supervisé sur des contournements statiques à un paradigme de simulation adversaire non supervisée, la méthode permet au pilotage de sécurité de s'adapter aux menaces évolutives et inédites.

Les auteurs soulignent que leur approche ne nécessite ni le réentraînement complet du modèle ni la collecte de jeux de données de contournement exhaustifs. Au lieu de cela, elle apprend un champ de pilotage robuste et variant spatialement capable de rediriger les états internes nuisibles vers des comportements de refus tout en préservant l'utilité bénigne. Le travail suggère que la clé d'une défense robuste réside dans la capacité à synthétiser et à apprendre à partir d'une distribution large et simulée d'activations de contournement, permettant efficacement de « piloter au-delà du support » des données d'entraînement originales.

Limitations : Les auteurs notent que le cadre repose sur la qualité de la découverte de directions latentes non supervisée. Ils reconnaissent que les contournements impliquant des langages non naturels (par exemple, base64, chiffrements) pourraient correspondre à des régions d'activation faiblement accessibles par des interventions latentes linéaires, suggérant une limite inhérente à l'expressivité du mécanisme de simulation.