Résumé Technique : Des Caractéristiques Éparses aux Proxys Fiables

1. Énoncé du Problème

Les auto-encodeurs éparses (Sparse Autoencoders ou SAE) sont largement utilisés pour extraire des caractéristiques interprétables et inspectables par l'humain à partir de modèles de langage (LM) gelés, afin de remédier aux problèmes de superposition et de polysémantisme. Cependant, une lacune fondamentale subsiste : il n'existe aucun critère rigoureux pour déterminer quand une explication basée sur un SAE constitue une vue fidèle du modèle de langage gelé sous-jacent. L'usage actuel traite souvent les SAE comme des outils d'interprétation informels sans certifier si le proxy éparse conserve une information prédictive suffisante ou s'il reste comportementalement proche des sorties du réseau original.

Cet article répond à la question suivante : Quand une explication basée sur un SAE peut-elle être traitée comme un prisme fidèle du modèle de langage gelé sous-jacent ? Les auteurs proposent que la confiance doit être définie opérationnellement comme la conjonction de l'utilité (le proxy certifie que le modèle est non trivial par rapport à une référence) et de la fidélité comportementale (le proxy reste proche des sorties du réseau original).

2. Méthodologie

2.1. Le Proxy Éparse Induit par le SAE

Les auteurs définissent un prédictor proxy $(S \circ M)$ en modifiant un LM gelé ($M$) à une couche cachée spécifique. Au lieu d'utiliser l'activation dense native $h(x)$, le proxy la remplace par la reconstruction par le SAE $\hat{h}(x) = S(h(x))$. Les couches en aval de $M$ restent inchangées. Cela crée un prédicteur qui repose sur une représentation de caractéristiques éparses dérivée du SAE.

2.2. Cadre de Certification Post-Hoc

La contribution centrale est un cadre de généralisation post-hoc qui dérive une borne supérieure sur le risque attendu du modèle de base ($R(M)$) en utilisant quatre quantités mesurables. Le cadre traite le SAE et le modèle de base comme des oracles fixes et construit une classe d'hypothèses finie basée sur les caractéristiques éparses observées lors d'une phase de calibration.

La borne de généralisation dérivée (Éq. 15) est :
$$R(M) \leq \hat{R}_S(h_{G^*}) + \hat{\epsilon}_{loss} + B\left(\hat{\eta} + \sqrt{\frac{\log(2/\delta)}{2N}}\right) + B\sqrt{\frac{P \log(em/P) + \log(2/\delta)}{2N}} + B\sqrt{\frac{\log(4/\delta)}{2N}}$$

Les quatre composantes clés sont :

1. Risque du Proxy ($\hat{R}_S$) : Le risque empirique du prédicteur proxy éparse.
2. Écart de Reconstruction ($\hat{\epsilon}_{loss}$) : La divergence attendue de la perte entre le modèle original et le proxy SAE non restreint.
3. Décalage du Pool de Concepts ($\hat{\eta}$) : La probabilité que les caractéristiques actives (support Top-$k$) nécessaires pour la prédiction sur les données d'évaluation tombent en dehors du pool de concepts ($G^*$) construit à partir des données de calibration.
4. Complexité Éparse : Un terme régi par la taille du pool de caractéristiques actives ($P$) plutôt que par le nombre total de paramètres du LM, dérivé via une borne de type Occam sur la classe finie de prédicteurs restreints au pool.

2.3. Définition Opérationnelle de la Confiance

L'article définit un certificat comme étant non vacueux si la borne supérieure tombe en dessous du risque d'une référence non informée (devinette aléatoire, $\log_2(V/\alpha)$). Une borne non vacueuse indique que le proxy éparse est suffisamment informatif pour certifier la non-trivialité du modèle gelé. Simultanément, de faibles valeurs pour l'écart de reconstruction et les termes de décalage indiquent qu'un proxy est comportementalement fidèle.

3. Contributions Clés

1. Critère de Confiance Fondé sur des Principes : Les auteurs introduisent un cadre de certification post-hoc qui décompose la fiabilité des explications basées sur les SAE en quatre termes mesurables : risque du proxy, écart de reconstruction, décalage du pool de concepts et complexité éparse.
2. Certificats Non Vacueux : Ils démontrent que ce cadre produit des bornes de généralisation non vacueuses pour GPT-2 Small, Gemma-2B et Llama-3-8B à des tailles d'échantillons pratiques, prouvant que la métrique pertinente de la complexité est le proxy éparse, et non le nombre brut de paramètres du LM.
3. Analyse par Couche : À travers une étude de cas sur Llama-3-8B, l'article révèle une forte dépendance à la profondeur. Les couches tardives sont nettement plus faciles à certifier que les couches initiales ou intermédiaires. Cela est attribué à deux facteurs :
   • Plus Forte Fidélité Locale : Les couches tardives présentent une meilleure qualité de reconstruction par le SAE local.
   • Plus Faible Amplification d'Erreur : Les erreurs introduites par le goulot d'étranglement du SAE dans les couches tardives sont moins amplifiées par le calcul en aval par rapport aux erreurs dans les couches précoces.
4. Sparsité Sémantique vs Statistique : Par des ablations par permutation de caractéristiques, les auteurs montrent que le certificat distingue l'alignement sémantique réel de la simple parcimonie statistique. Permuter aléatoirement les indices de caractéristiques (préservant le nombre de support mais détruisant le sens sémantique) gonfle de manière catastrophique l'écart de reconstruction, provoquant l'échec du certificat.

4. Résultats Expérimentaux

• Bornes de Généralisation : Sur GPT-2 Small, Gemma-2B et Llama-3-8B, les bornes deviennent non vacueuses à des tailles d'échantillons allant de ~25k à ~223k tokens. Gemma-2B atteint ce régime plus tôt que GPT-2 Small malgré un nombre de paramètres plus élevé, et Llama-3-8B nécessite des échantillons plus importants mais atteint tout de même la non-vacuité.
• Dépendance par Couche (Llama-3-8B) :
  • Couches Précoces (ex. 4, 8, 12) : Les bornes restent vacueuses même avec un nombre infini d'échantillons car le plancher asymptotique (risque du proxy + écart de reconstruction) dépasse la référence aléatoire.
  • Couches Tardives (ex. 24, 28, 30) : Les bornes deviennent non vacueuses. La taille du pool de concepts actifs ($P$) augmente en fait avec la profondeur, pourtant la borne se resserre car l'écart de reconstruction et le risque du proxy diminuent drastiquement.
  • Métriques de Fidélité : La divergence KL entre le modèle de base et le proxy chute significativement dans les couches tardives (ex. de ~8.35 à la couche 4 à ~0.77 à la couche 30), et l'accord top-1 augmente de ~0.8% à ~67%.
• Tâches Aval : Le schéma par couche est corrélé avec les performances sur les tâches aval (WinoGrande, PIQA, HellaSwag). Les couches plus faciles à certifier (couches tardives) entraînent des chutes de précision nettement plus faibles lorsqu'elles sont utilisées comme proxys.
• Spécificité Sémantique : Dans l'ablation par permutation de caractéristiques, préserver les motifs d'éparses tout en randomisant l'identité des caractéristiques a augmenté l'écart de reconstruction d'environ 6,5 à 9,5 bits à travers les modèles, rendant le certificat vacueux. Cela confirme que la borne repose sur l'utilité sémantique des caractéristiques, et non sur leur simple parcimonie.

5. Signification et Revendications

L'article affirme fournir un cadre de certification structurel et des diagnostics associés pour l'interprétabilité par SAE, plutôt qu'une théorie complète de l'apprentissage des modèles de langage.

• Confiance Opérationnelle : Les auteurs soulignent que la "confiance" ici est un concept minimal de fidélité au risque. Il ne prétend pas que les caractéristiques actives du SAE constituent une explication sémantique ou causale complète. Au lieu de cela, il établit que le proxy éparse est suffisamment informatif et présente une distorsion suffisamment faible pour supporter une interprétation fiable sous des conditions spécifiques.
• Utilité Diagnostique : Le cadre sert d'outil de diagnostic pour déterminer quand et où (quelles couches) les explications basées sur les SAE sont fiables. Les résultats suggèrent que l'emplacement du patch est conséquent ; les couches tardives dans des modèles comme Llama-3-8B offrent un prisme éparse plus digne de confiance grâce à une meilleure représentation locale et une réduction de la propagation d'erreur.
• Limites : L'article note explicitement que le certificat dépend de la distribution. Sous une corruption synthétique des entrées (remplacement aléatoire de jetons), la borne se dégrade et devient non informative, indiquant que les interprétations dérivées des SAE manquent de garanties formelles en dehors de la distribution d'entraînement. De plus, la forte dépendance à la profondeur observée dans Llama-3-8B n'était pas universelle à tous les modèles (ex. GPT-2 Small a montré une faible sensibilité par couche), suggérant que le phénomène est spécifique au modèle.

En résumé, ce travail déplace le discours d'une analyse qualitative des SAE vers une certification quantitative basée sur le risque, offrant un critère concret pour savoir quand un proxy éparse peut être considéré comme un prisme fidèle d'un modèle de langage gelé.