Résumé Technique : Résistance Endogène au Pilotage par Activation dans les Modèles de Langage

Énoncé du Problème

Les grands modèles de langage (LLM) sont sensibles au pilotage par activation (activation steering), une technique consistant à ajouter des directions spécifiques (souvent dérivées d'autoencodeurs creux, ou SAE) au flux résiduel d'un modèle lors de l'inférence pour altérer son comportement. Bien que le pilotage puisse réussir à induire des comportements hors sujet ou spécifiques, il reste incertain si les modèles possèdent des mécanismes internes pour détecter et se rétablir de telles perturbations artificielles en cours de génération. Des travaux antérieurs suggèrent que les modèles peuvent posséder des capacités d'introspection, mais l'étendue de l'influence de cette conscience de soi sur la génération continue sous perturbation constante n'est pas bien caractérisée. Ce document examine si les LLM peuvent spontanément se rétablir d'un pilotage mal aligné avec la tâche, en produisant des redémarrages verbaux explicites et en revenant à la tâche originale malgré le maintien de l'activation du vecteur de pilotage.

Méthodologie

Les auteurs emploient un protocole expérimental systématique utilisant des autoencodeurs creux (SAE) pour identifier des directions de caractéristiques interprétables pour le pilotage.

1. Configuration Expérimentale :

   • Modèles : Cinq modèles issus des familles Llama-3 et Gemma-2 (allant de 2B à 70B de paramètres).
   • Prompts : 38 prompts de niveau objet de type « explique comment » couvrant divers sujets (mathématiques, affaires, compétences domestiques).
   • Intervention de Pilotage : Le modèle est piloté à l'aide d'un latent de SAE sémantiquement sans rapport avec le prompt (par exemple, en boostant un latent de « positions du corps » tout en interrogeant sur la probabilité). La force du pilotage est calibrée à un « seuil » où la première tentative reçoit un score de juge faible (~30/100), garantissant que la perturbation est significative mais pas incohérente.
   • Évaluation : Un modèle juge (Claude 4.5 Haiku) segmente les réponses en « tentatives » basées sur des marqueurs de redémarrage verbaux explicites (ex: « Attendez, ce n'est pas correct »). Il score chaque tentative selon sa pertinence par rapport au prompt original.

2. Métriques Clés :

   • Taux de multi-tentatives : Pourcentage de réponses contenant $\ge$ 2 tentatives.
   • Taux d'amélioration conditionnelle : Pourcentage de réponses multi-tentatives où la tentative finale obtient un score supérieur à la première.
   • Taux d'ESR : Le produit des deux taux précédents, représentant le pourcentage de toutes les réponses qui réussissent l'autocorrection.

3. Analyse Mécaniste :

   • Recherche Contrastive : Utilisée pour identifier les latents SAE qui s'activent différemment entre les paires prompt-réponse appariées (sur sujet) et mélangées (hors sujet).
   • Ablation : Des latents spécifiques identifiés comme « associés à l'autocorrection » sont fixés à zéro pendant l'inférence pour tester la contribution causale.
   • Contrôles :
     • Contrôle de Pré-remplissage (Prefilling) : Des modèles non pilotés ont reçu des préfixes hors sujet extraits de générations pilotées pour tester si la récupération est purement conditionnée par le texte.
     • Expérience de Préfixe Apparié : Compare le texte naturel post-correction à des préfixes sur sujet de longueur équivalente pour isoler l'effet du conditionnement autoregressif.
     • Ablation Aléatoire : Contrôle des effets non spécifiques de la désactivation de latents actifs.

Contributions Clés et Résultats

1. Caractérisation Empirique de l'ESR

L'étude identifie un phénomène nommé Résistance au Pilotage Endogène (ESR) : la capacité du modèle à se rétablir d'un pilotage par activation non pertinent.

• Dépendance à l'Échelle : Seul le plus grand modèle testé, Lima-3.3-70B, a présenté une ESR explicite substantielle (taux de 3,8 %). Les modèles plus petits (Llama-3.1-8B, variantes Gemma-2) affichent des taux inférieurs à 1 %.
• Généralisation : L'ESR n'est pas spécifique aux directions dérivées de SAE ; le pilotage avec des vecteurs contrastifs dérivés de Wikipédia sur Llama-3.3-70B a produit un taux d'ESR comparable de 3,6 %.

2. Décomposition Détection vs Résistance

Les auteurs dissocient l'événement d'autocorrection en deux composantes :

• Détection (Conditionnée par le Texte) : Un contrôle de pré-remplissage a montré qu'un modèle non piloté, recevant un préfixe hors sujet, s'autocorrige dans 7 à 13,5 % des cas avec un succès d'environ 95 %. Cela suggère que le déclencheur du redémarrage est largement conditionné par le texte (lire sa propre sortie hors sujet) plutôt que de nécessiter un moniteur d'état interne de la perturbation de pilotage.
• Résistance (Soutenue) : Une expérience de préfixe apparié a révélé que si le conditionnement autoregressif sur les tokens récents sur sujet explique environ la moitié de la qualité post-correction, le texte naturel de post-correction sous pilotage est 2,1 fois meilleur qu'un préfixe sur sujet générique de longueur égale. Cela indique une composante de « résistance soutenue » qui n'est pas entièrement expliquée par le simple conditionnement textuel.

3. Identification Mécaniste

• Identification des Latents : Par recherche contrastive, 26 latents SAE ont été identifiés comme associés à l'autocorrection.
• Ablation Causale : L'ablation à zéro de ces 26 latents a réduit le taux d'ESR de 27 % (de 3,8 % à 2,8 %) et le taux de multi-tentatives de 25 %.
• Spécificité : L'ablation aléatoire de latents (appariée en fréquence d'activation) n'a pas réduit l'ESR, confirmant la spécificité de l'ensemble identifié.
• Dynamique Temporelle : Les traces d'activation montrent que ces latents s'activent 4,4 fois plus haut pendant le contenu hors sujet et déclinent après le début de l'autocorrection, bien qu'ils restent élevés par rapport à la ligne de base.

4. Amélioration Délibérée et Fine-Tuning

• Méta-Prompting : Donner l'instruction au modèle de « s'arrêter et de se forcer à revenir sur la bonne voie » a augmenté le taux de multi-tentatives par 4,3 fois dans Llama-3.3-70B (passant de 7,4 % à 31,7 %).
• Fine-Tuning : L'entraînement de Llama-3.1-8B sur des exemples synthétiques d'autocorrection a augmenté le taux de tentative, mais n'a pas amélioré le taux de succès des corrections. Cela suggère que si le schéma comportemental de redémarrage est entraînable, la capacité sous-jacente pour une autocorrection efficace et soutenue peut ne pas être induite par ce seul régime d'entraînement.

Signification et Implications

Le papier avance que l'ESR a un double impact sur la sécurité et l'alignement de l'IA :

1. Potentiel Défensif : L'ESR pourrait durcir les modèles contre les manipulations adverses de l'espace d'activation, car le modèle peut détecter et rejeter spontanément les dérives hors sujet induites par des attaquants.
2. Interférence avec les Interventions de Sécurité : Inversement, l'ESR peut interférer avec les interventions de sécurité basées sur le pilotage (ex: Intervention au Temps d'Inférence ou Ingénierie de Représentation). Puisque le modèle ne peut pas distinguer une perturbation adversaire d'une perturbation bénéfique, il peut résister au pilotage aligné sur la sécurité de la même manière qu'il résiste au pilotage adversaire.

Les auteurs concluent que si la détection de la dérive hors sujet semble largement conditionnée par le texte, la résistance soutenue à la perturbation implique des mécanismes dépassant le simple conditionnement autoregressif, impliquant potentiellement des circuits internes spécifiques sensibles à l'échelle du modèle et à l'entraînement. Ce travail met en lumière une lacune dans la compréhension actuelle de la manière dont les modèles suivent la cohérence de leurs propres sorties sous une perturbation externe continue.