Résumé Technique : C2R (Cross-sample Consistency Regularization)

1. Énoncé du Problème

Les auto-encodeurs creux (Sparse Autoencoders - SAE) sont un outil principal pour interpréter les grands modèles de langage (LLM) en décomposant les activations denses en caractéristiques éparses et compréhensibles par l'humain. Cependant, à mesure que les SAE passent à des dictionnaires de grande taille, ils présentent deux pathologies pervasives qui compromettent la fiabilité des latents appris :

• Scission de Caractéristiques (Feature Splitting) : Des concepts de haut niveau cohérents sont fragmentés en plusieurs latents non atomiques et redondants (par exemple, un concept unique de « Mathématiques » se divisant en des latents distincts d'« Algèbre » et de « Géométrie »). Cela obscurcit les véritables concepts fonctionnels utilisés par le modèle et gaspille la capacité du dictionnaire.
• Absorption de Caractéristiques (Feature Absorption) : Des latents spécifiques capturent des activations qui devraient appartenir à des caractéristiques générales, créant des exceptions arbitraires (par exemple, un latent « commence par S » qui ne s'active pas sur « short » ou « small » parce que des latents spécifiques aux jetons absorbent le signal). Cela déforme le schéma sémantique prévu.

Les auteurs soutiennent que ces problèmes découlent d'une assignation de latents incohérente entre les échantillons. Les objectifs de parcimonie standard (tels que la régularisation $\ell_1$ ou les contraintes TopK) opèrent sur une base par échantillon. Sans contraintes inter-échantillons, l'optimiseur peut minimiser la pénalité de parcimonie en distribuant un concept sémantique unique sur plusieurs latents disjoints ou en permettant à des latents spécifiques de « voler » des activations aux plus généraux, tant que l'erreur de reconstruction reste faible pour cet échantillon spécifique.

2. Méthodologie : C2R

Pour remédier à ces défaillances, l'article introduit le C2R (Cross-sample Consistency Regularization). Cette méthode impose que chaque caractéristique sémantique soit représentée de manière cohérente par un latent unifié à travers l'ensemble du batch.

Fondement Théorique

Le C2R est ancré dans l'inégalité de Minkowski et la convexité stricte de la norme $\ell_2$. L'idée centrale est que pour des vecteurs non alignés $u$ et $v$, la somme de leurs normes est strictement supérieure à la norme de leur somme :
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
Dans le contexte des SAE, si une caractéristique sémantique est scindée entre plusieurs latents, la somme des normes $\ell_2$ de leurs activations à travers un batch sera plus élevée que si la caractéristique était consolidée dans un seul latent. Le C2R exploite cela pour pénaliser la scission de l'information sémantique.

L'Objectif C2R

La méthode étend l'analyse par paires à un dictionnaire complet en identifiant les paires de latents redondants et en pénalisant leur co-activation.

1. Détection de Redondance : Pour chaque latent $i$, l'algorithme identifie son plus proche voisin $j^*(i)$ dans l'espace des poids du décodeur basé sur la similitude cosinus. Cela cible les paires qui représentent probablement des fragments scindés ou des variations absorbées.
2. Pénalité à Porte (Gated Penalty) : La perte de régularisation est pondérée par la similitude cosinus rectifiée au carré ($\rho^2$) entre les poids du décodeur de la paire. Cela agit comme une porte :
   • Si les latents sont distincts (orthogonaux), $\rho \approx 0$, et aucune pénalité n'est appliquée.
   • Si les latents sont redondants (fort alignement), $\rho$ est élevé, et la pénalité est appliquée.
3. Formulation de la Perte :
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   Où $Z_{:,i}$ représente le batch d'activations pour le latent $i$. L'objectif d'entraînement total ajoute ce terme à la perte SAE standard :
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

Dynamique de Gradient

Le gradient du C2R fournit deux forces simultanées :

• Pression de Cohérence : Échelle avec la similitude ($\rho^2$) pour minimiser la somme des normes, poussant les activations scindées vers un seul latent.
• Orthogonalité Implicite : Échelle avec la magnitude d'activation ($S$) pour minimiser la similitude cosinus entre les poids du décodeur. Contrairement aux contraintes d'orthogonalité uniformes, cela module la pénalité par la fréquence des caractéristiques, empêchant la destruction prématurée de caractéristiques rares ou en développement.

3. Contributions Clés

L'article expose trois contributions principales :

1. Diagnostic Théorique : Une analyse formelle unifiée identifiant l'absence de cohérence inter-échantillons des objectifs de parcimonie par échantillon comme la cause profonde de la scission et de l'absorption de caractéristiques.
2. Objectif Fondé : La proposition du C2R, une nouvelle régularisation qui utilise la géométrie du décodeur et les statistiques au niveau du batch pour imposer une sélection de latents cohérente, distinguant la polysémantisme réel de la redondance nuisible.
3. Validation Empirique : Démonstration que le C2R atténue considérablement la scission et l'absorption tout en préservant la fidélité de la reconstruction, surpassant les méthodes de pointe comme Batch TopK, Matryoshka SAEs et OrtSAE.

4. Résultats Expérimentaux

Les expériences ont été menées sur Gemma-2-2B (et validées sur Qwen3-8B et Llama-3-8B) en utilisant le cadre SAEBench.

• Atténuation des Pathologies : Le C2R a obtenu les taux les plus bas d'absorption et de scission de caractéristiques parmi les méthodes maintenant une haute fidélité de reconstruction. Bien que les Matryoshka SAEs présentent des scores de scission/absorption plus faibles, ils souffrent d'une dégradation significative de la qualité de reconstruction.
• Fidélité de Reconstruction : Contra tentative des Matryoshka SAEs, les modèles améliorés par C2R maintiennent des scores élevés de « Loss Recovered » et de « KL Divergence », indiquant que le comportement original du LLM est préservé.
• Interprétabilité et Désenchevêtrement : Le C2R n'a pas impacté négativement le score « AutoInterp » (compréhensibilité humaine des caractéristiques) ou les scores de « Désenchevêtrement » (contrôle causal des attributs).
• Composition des Caractéristiques : Le C2R a produit la similitude cosinus maximale la plus faible entre les poids du décodeur, indiquant un ensemble de caractéristiques plus atomique et distinct.
• Tâches Aval : Dans les tâches d'intervention causale (Suppression de Corrélation Spurieuse et Perturbation de Sonde Ciblée), le C2R a surpassé TopK, Batch TopK et OrtSAE, atteignant des performances comparables aux Matryoshka SAEs.
• Robustesse : La méthode est restée efficace à travers différentes graines aléatoires, échelles de modèles (8B), couches et compositions de données d'entraînement (OpenWebText vs The Pile).

5. Signification et Revendications

L'article affirme que le C2R fournit une solution fondée sur des principes au compromis entre l'atomicité des caractéristiques et la fidélité du modèle. En imposant une cohérence inter-échantillons, il traite la limitation fondamentale de l'optimisation par échantillon dans les SAE.

Les auteurs soulignent que leur approche :

• Améliore l'Interprétabilité des Latents : En consolidant les concepts fragmentés et en supprimant les exceptions arbitraires, le dictionnaire résultant reflète mieux la nature hiérarchique des caractéristiques des modèles de langage.
• Préserve la Performance : Crucialement, ces améliorations sont obtenues sans dégrader la capacité du SAE à reconstruire les activations du modèle original, un point de défaillance courant dans les tentatives structurelles précédentes de SAE.
• Offre des Garanties Théoriques : Sous certaines conditions (satisfaites empiriquement dans 88,1 % des paires d'absorption), la méthode fournit une garantie théorique contre la scission et l'absorption dérivée de l'inégalité de Minkowski.

Ce travail positionne le C2R comme un régularisateur polyvalent compatible avec diverses architectures de SAE (TopK, Batch TopK, OrtSAE, AbsTopK), offrant une voie robuste pour l'analyse des internes des grands modèles de langage.