Résumé Technique : Autoencodeurs Creux Persistants

1. Énoncé du Problème

Les autoencodeurs creux (Sparse Autoencoders - SAE) standards sont devenus un outil de premier plan pour interpréter les grands modèles de langage (LLM) en décomposant les états cachés denses en caractéristiques creuses et interprétables par l'humain. Cependant, les SAE standards opèrent sous une formulation atemporelle : ils encodent l'état caché de chaque jeton (token) de manière indépendante. Bien que les états cachés des LLM intègrent intrinsèquement le contexte précédent, les SAE standards échouent à représenter explicitement l'information qui persiste à travers une séquence.

Cette limitation occulte l'« état sémantique » du modèle — le contexte de niveau thématique, le style ou l'état de la tâche maintenus à travers les jetons. Les extensions temporelles existantes des SAE tentent de remédier à cela en pré-assignant des sous-ensembles spécifiques de caractéristiques pour porter l'information temporelle ou en utilisant des partitions fixes. Ces approches manquent de preuves que de tels rôles temporels peuvent émerger directement des données et des objectifs de reconstruction. De plus, il reste incertain si les caractéristiques des SAE standards héritent implicitement de la persistance temporelle des états cachés qu'elles reconstruisent, et si oui, comment la modéliser explicitement.

2. Méthodologie : Autoencodeurs Creux Persistants

Les auteurs introduisent les Autoencodeurs Creux Persistants (Persistent SAEs), un cadre qui étend les SAE standards en apprenant un coefficient de persistance ($\lambda_j$) pour chaque caractéristique $j$.

Mécanisme Central

Le modèle sépare l'évidence creuse (activation spécifique au jeton) d'un état persistant :

1. Génération d'Évidence : Un encodeur produit des activations creuses non négatives spécifiques au jeton $a_t \in \mathbb{R}^m_{\ge 0}$, représentant une nouvelle évidence pour chaque caractéristique au jeton $t$.
2. Intégration de l'État : Chaque caractéristique maintient une variable d'état à décroissance $h_t \in \mathbb{R}^m_{\ge 0}$. L'état est mis à jour de manière récursive :
   $$h^{(j)}_t = \lambda_j h^{(j)}_{t-1} + (1 - \lambda_j) a^{(j)}_t$$
   • $\lambda_j$ (Coefficient de Persistance) : Appris pendant la reconstruction.
     • $\lambda_j$ Faible (Caractéristiques Rapides) : L'état décroît rapidement, se comportant comme des détecteurs spécifiques au jeton standard.
     • $\lambda_j$ Élevé (Caractéristiques Lentes) : L'état conserve l'évidence sur de nombreux jetons, intégrant les mises à jour creuses pour suivre le contexte sémantique.
   • Le facteur $(1-\lambda_j)$ empêche l'accumulation non bornée, maintenant la stabilité des magnitudes d'état.
3. Reconstruction : Le décodeur reconstruit l'état caché $x_t$ uniquement à partir de l'état persistant $h_t$ :
   $$\hat{x}_t = W_{dec} h_t + b_{dec}$$
   La récurrence est diagonale, garantissant que l'attribution par caractéristique est préservée.

Objectif d'Entraînement

Le modèle est entraîné pour minimiser l'erreur de reconstruction entre l'état caché du LLM et la sortie du SAE. L'objectif incite naturellement les caractéristiques à apprendre des échelles de temps appropriées : si le fait de propager l'état d'une caractéristique améliore la reconstruction des jetons futurs, l'optimisation favorise un $\lambda_j$ plus élevé ; sinon, elle favorise un $\lambda_j$ plus faible. Aucune partition de caractéristiques prédéfinie ou objectif temporel externe n'est utilisé.

3. Principales Contributions

1. Architecture Novatrice : Introduction des SAE Persistants, qui apprennent des coefficients de persistance spécifiques aux caractéristiques uniquement par la reconstruction, séparant l'évidence locale de l'état sémantique persistant sans partitions prédéfinies.
2. Validation Empirique de la Persistance : Démonstration que les caractéristiques des SAE standards héritent implicitement de la structure temporelle des états cachés (les signaux persistent plus longtemps dans les documents naturels que dans les contrôles mélangés), motivant la modélisation explicite des échelles de temps.
3. Découplage des Échelles de Temps : Démonstration que les SAE Persistants organisent naturellement les caractéristiques en un spectre :
   • Caractéristiques rapides : Détecteurs localement interprétables pour les détails spécifiques aux jetons.
   • Caractéristiques lentes : Un sous-ensemble compact qui intègre l'évidence pour suivre les états sémantiques de niveau thématique.
4. Application à la Surveillance : Une étude de cas démontrant que les caractéristiques lentes préservent les signaux de détection pour les injections de prompts sur de longs contextes là où les caractéristiques spécifiques aux jetons échouent, et que ces caractéristiques restent causalement efficaces pour orienter les jugements du modèle.

4. Résultats Expérimentaux

Qualité de Reconstruction et Propriétés des Caractéristiques

• Qualité Compétitive : Les SAE Persistants atteignent une qualité de reconstruction (FVE et Similarité Cosinus) comparable aux bases fortes spécifiques aux jetons (BatchTopK, Matryoshka) sur Pythia-160M et Gemma-2-2B.
• Distribution des Échelles de Temps : Les valeurs de $\lambda_j$ apprises couvrent une large gamme. La plupart des caractéristiques sont rapides (faible $\lambda$), avec une petite queue de caractéristiques hautement persistantes (haut $\lambda$).
• Interprétabilité :
  • Les caractéristiques rapides restent localement interprétables, répondant à des motifs lexicaux ou orthographiques compacts (ex: sous-chaînes spécifiques).
  • Les caractéristiques lentes sont plus difficiles à interpréter isolément mais forment des clusters cohérents lorsqu'elles sont vues conjointement.
• Clustering Sémantique : Dans les tâches de sondage de sujets MMLU, les caractéristiques lentes (top 1 % par $\lambda$) forment des clusters distincts par sujet dans les visualisations t-SNE, surpassant les états cachés bruts et les SAE de base.
• Sélection Non Supervisée : Classer les caractéristiques par ordre décroissant de $\lambda_j$ permet de sélectionner un état sémantique compact qui atteint une AUC de sondage de sujet presque aussi élevée qu'un oracle supervisé, sans utiliser de labels de sujet.

Étude de Cas : Surveillance d'Injection de Prompt

Les auteurs ont évalué la capacité des caractéristiques à détecter et retenir les signaux d'injections de prompts indirectes (instructions malveillantes intégrées dans un texte bénin) sur de longs contextes (jusqu'à 350 jetons après l'injection).

• Détection Locale : Les caractéristiques rapides et les SAE standards détectent efficacement les injections au moment de leur apparition (haute précision à une distance $d=0$).
• Rétention en Long Contexte : À mesure que le contexte s'étend au-delà de l'étendue de l'injection, les caractéristiques rapides perdent leur pouvoir prédictif. En revanche, les caractéristiques lentes conservent le signal d'injection, maintenant une précision élevée à $d=350$.
• Efficacité Causale : Les expériences d'intervention ont montré que l'orientation du modèle à l'aide des directions des caractéristiques lentes déplace systématiquement le jugement du moniteur vers le signalement de l'injection, même longtemps après le passage du texte de l'injection. Les caractéristiques rapides ont montré des effets causaux quasi nuls ou négatifs à ces distances.

5. Signification et Revendications

L'article affirme que les SAE Persistants offrent un nouveau mécanisme pour interpréter et surveiller les LLM en modélisant explicitement les échelles de temps des caractéristiques.

• Représentation de l'État Sémantique : Ce travail suggère que les LLM maintiennent un « état sémantique compact » à travers les jetons, qui peut être extrait et suivi par les caractéristiques SAE lentes sans supervision.
• Double Rôle des Caractéristiques : Il établit une séparation fonctionnelle où les caractéristiques rapides agissent comme des détecteurs locaux et les caractéristiques lentes comme des traceurs sémantiques persistants.
• Utilité de Surveillance : La capacité des caractéristiques lentes à préserver les signaux causaux sur de longs contextes suggère qu'elles sont un outil prometteur pour la surveillance de la sécurité, particulièrement pour détecter les effets retardés des injections de prompts ou pour orienter le comportement du modèle dans des tâches à long horizon.

Limites Reconnues :
Les auteurs notent que la récurrence diagonale actuelle suppose un coefficient de persistance unique et fixe par caractéristique et ne peut pas modéliser les interactions entre caractéristiques ou les réinitialisations explicites. De plus, l'étude sur l'injection de prompt utilise un moniteur externe ; bien que les interventions affectent le jugement du moniteur, l'article ne prétend pas avoir établi que ces interventions affectent les actions de l'agent modèle original.