Bridging Mechanistic Interpretability and Prompt Engineering with Gradient Ascent for Interpretable Persona Control

1. Problématique

Le contrôle des personas comportementaux émergents (tels que la flagornerie/sycophancy, les hallucinations ou la recherche de récompense myope) dans les Grands Modèles de Langage (LLM) est un défi majeur pour la sécurité de l'IA.

• Limites des approches actuelles :
  • Le prompting manuel est intuitif mais non évolutif, imprécis et dépend fortement de l'expertise humaine.
  • Les méthodes d'optimisation automatique (comme les algorithmes génétiques ou le gradient sur les tokens) sont efficaces mais fonctionnent souvent comme des "boîtes noires", sans lien interprétable avec les mécanismes internes du modèle.
  • Les méthodes d'injection de vecteurs de pilotage (steering vectors) agissent directement sur les représentations d'activation, mais elles provoquent souvent des décalages distributionnels (distributional shifts) et perturbent la structure interne naturelle du modèle.

L'objectif de cet article est de combler le fossé entre l'interprétabilité mécanistique et la découverte automatique de prompts pour un contrôle de persona interprétable, ciblé et efficace.

2. Méthodologie : Le Cadre RESGA et SAEGA

Les auteurs proposent un cadre unifié en trois étapes qui utilise l'ascension de gradient (gradient ascent) pour optimiser des prompts initialement aléatoires ou sémantiquement liés, afin de les aligner sur des directions de représentation spécifiques.

A. Construction des Vecteurs de Pilotage (Persona Steering Vectors)

Le système identifie d'abord la direction dans l'espace de représentation qui correspond au comportement indésirable à supprimer. Deux approches sont proposées :

1. RESGA (RESidual Gradient Ascent) : Utilise une approche basée sur les représentations denses. Le vecteur de pilotage ($v_{repr}$) est calculé comme la différence moyenne des activations entre des exemples affichant le persona cible et des exemples neutres.
2. SAEGA (Sparse Autoencoder Gradient Ascent) : Utilise l'interprétabilité mécanistique via des Autoencodeurs Creux (SAE). Le système identifie des latents spécifiques (neurons) dans le SAE qui sont fortement corrélés au comportement indésirable. Le vecteur de pilotage ($v_{SAE}$) est construit à partir des directions d'encodage de ces latents causaux.

B. Ascension de Gradient Fluide (Fluent Gradient Ascent)

Une fois le vecteur de pilotage défini, l'objectif est de trouver un prompt $t$ qui maximise la projection de l'activation du modèle à l'opposé de ce vecteur (pour supprimer le comportement).

• Fonction d'objectif : $L_\lambda(t) = f(t) - \lambda \cdot H(t)$, où $f(t)$ est la réduction du persona (projection négative) et $H(t)$ est une pénalité de fluence (entropie croisée) pour garantir que le prompt reste lisible par le modèle.
• Optimisation : Les auteurs utilisent l'Optimisation Évolutive de Prompts (EPO). Contrairement à une descente de gradient standard sur des tokens discrets, cette méthode maintient une population de prompts, calcule les gradients par rapport aux encodages "one-hot" des tokens, et effectue des mutations sélectives (remplacement de tokens) guidées par le gradient.

C. Initialisation et Sélection

Deux stratégies d'initialisation sont testées :

• Aléatoire : Pour explorer l'espace complet.
• Seed (Graine) : Initialisation avec une phrase naturelle liée au persona (ex: "Répondez honnêtement"). Cette approche permet d'obtenir des prompts plus interprétables tout en restant sur la variété linguistique du modèle.

3. Contributions Clés

1. Nouveau Paradigme d'Optimisation : Introduction d'une méthode qui combine l'interprétabilité mécanistique (via SAE) et l'optimisation de prompts par ascension de gradient, permettant un contrôle ciblé des comportements.
2. Deux Algorithmes Complémentaires :
   • RESGA pour un contrôle basé sur les représentations denses.
   • SAEGA pour un contrôle basé sur des caractéristiques interprétables (latents SAE), offrant une précision supérieure.
3. Analyse Mécanistique : Démonstration que SAEGA opère par neutralisation (réduction de la variance autour de la neutralité) plutôt que par simple déplacement de la distribution, préservant ainsi la structure d'activation naturelle du modèle.
4. Découverte de Stratégies d'Optimisation : Identification de mécanismes comme le "Token Priming" (via les têtes d'induction) et le "Semantic Steering" (changement de vocabulaire pour activer des modes de raisonnement critiques).

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur trois tâches (Flagornerie, Hallucination, Récompense Myope) et trois modèles (Llama 3.1, Qwen 2.5, Gemma 3).

• Performance Quantitative :

  • Sur la flagornerie (sycophancy), les prompts découverts automatiquement (RESGA/SAEGA) réduisent le taux d'erreur à environ 50% (neutralisation parfaite), contre ~70-80% pour le prompting manuel ou les vecteurs denses.
  • SAEGA obtient les meilleurs résultats sur la récompense myope (31.50% sur Llama 3.1).
  • Les méthodes surpassent systématiquement les baselines (Zero-Shot, Prompting Manuel, Vecteurs Denses, GCG, ProTeGi).

• Analyse Mécanistique (Résultats Qualitatifs) :

  • Préservation de la Variance : Contrairement aux vecteurs denses qui augmentent le nombre de features actives (bruitant le modèle), SAEGA maintient la sparsité (nombre de features actives) proche de celle du modèle de base.
  • Trajectoires Géométriques : SAEGA converge vers un sous-espace stable et orthogonal aux vecteurs denses, restant "sur la variété" (on-manifold) du modèle, tandis que les méthodes denses sortent de cette variété naturelle.
  • Interprétabilité : Les prompts découverts par SAEGA suppriment spécifiquement les features causales liées au comportement indésirable sans activer de features non pertinentes.

5. Signification et Impact

Cet article établit un lien crucial entre l'interprétabilité mécanistique et l'ingénierie de prompts.

• Sécurité de l'IA : Il offre un outil puissant pour atténuer les comportements dangereux émergents sans nécessiter de réentraînement coûteux (fine-tuning).
• Compréhension des Modèles : Il démontre que le contrôle des comportements peut être réalisé de manière précise en agissant sur des caractéristiques latentes spécifiques (via SAE) plutôt que par des interventions grossières sur les activations.
• Limites et Perspectives : La méthode nécessite des données étiquetées pour construire les vecteurs et les prompts découverts peuvent parfois manquer de cohérence sémantique (bien que la méthode "Seed" atténue ce problème). Le travail ouvre la voie à des approches semi-supervisées et au transfert de prompts entre modèles.

En résumé, ce travail propose une méthode interprétable et efficace pour "désactiver" les mauvais comportements des LLM en découvrant automatiquement des prompts qui exploitent la structure interne du modèle, offrant une alternative supérieure aux méthodes de "boîte noire" ou d'injection brute de vecteurs.