How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

Résumé technique : Jusqu'où les étiquettes d'auto-interprétation généralisent-elles ?

Énoncé du problème
Les auto-encodeurs creux (SAE) sont devenus un outil standard pour l'interprétation des modèles de langage (LM) en décomposant les activations denses en caractéristiques éparses et interprétables par l'humain. Comme les modèles contiennent bien plus de caractéristiques qu'il n'est possible d'en inspecter manuellement, les praticiens s'appuient sur des étiquettes d'auto-interprétation : des descriptions en langage naturel générées par un LLM à partir des exemples de plus forte activation d'une caractéristique.

Le problème central abordé est la généralisabilité de ces étiquettes. Une étiquette décrivant un concept (par exemple, « la tromperie » ou « le contenu violent ») implique que la caractéristique suit ce concept de manière universelle. Cependant, il reste incertain de savoir si une caractéristique étiquetée pour un concept en anglais détecte réellement ce même concept à travers différentes langues, écritures et reformulations. Si le comportement d'une caractéristique dépend fortement de la forme de surface spécifique de l'entrée (par exemple, un texte en anglais) plutôt que du concept sémantique sous-jacent, l'étiquette peut être trompeuse pour l'audit de sécurité ou le pilotage du modèle dans des contextes multilingues.

Méthodologie
Les auteurs construisent un paradigme d'évaluation factoriel contrôlé utilisant la digraphie serbe comme banc d'essai. Le serbe est écrit nativement en deux écritures, latin et cyrillique, liées par une translittération déterministe et sans perte. Cela permet aux chercheurs de varier l'écriture tout en maintenant la langue, la formulation et le sens constants.

L'étude utilise :

• Jeu de données : 300 phrases issues de la division devtest de FLORES+, couvrant des registres d'actualités, d'instruction et de voyage.
• Variantes : Chaque phrase apparaît sous quatre formes : Anglais (latin), Serbe (latin), Serbe (cyrillique) et Russe (cyrillique).
• Conditions : Pour chaque variante, trois conditions sont testées :
  1. Original : La traduction professionnelle ou sa translittération.
  2. Paraphrase : Une réécriture préservant le sens avec une forme de surface variée.
  3. Aléatoire : Une phrase non liée de longueur similaire dans la même langue/écriture.
• Modèles & SAE : L'analyse primaire utilise Gemma-3-27B avec des SAE Gemma Scope 2 (largeur du dictionnaire de 16k, activation JumpReLU). Les résultats sont validés sur différentes échelles de modèles (1B, 12B) et architectures (Llama-3.1-8B avec des SAE Llama Scope).
• Métriques d'évaluation :
  • Chevauchement de caractéristiques : Mesuré via la similitude de Jaccard des ensembles de caractéristiques actives à travers les couches pour déterminer si les caractéristiques encodent un sens abstrait.
  • Falsification de l'auto-interprétation : Les caractéristiques sont sélectionnées si elles s'activent à la fois sur les originaux anglais et les paraphrases russes (confirmant le suivi sémantique translingual). Leurs étiquettes auto-générées (depuis Neuronpedia, utilisant Claude Sonnet et Gemini) sont ensuite testées contre les versions serbes latines et cyrilliques. Un « raté » (miss) se produit si une caractéristique étiquetée par le contenu ne s'active pas sur le même sens dans une écriture/langue différente.

Principaux résultats

1. Les caractéristiques des SAE encodent un sens abstrait :
   L'étude confirme que les caractéristiques des SAE encodent véritablement un contenu sémantique qui survit aux changements d'écriture, de langue et de formulation.

   • Invariance de l'écriture : La translittération entre le serbe latin et le cyrillique préserve un haut degré de chevauchement de caractéristiques (moyenne Jaccard 0,73).
   • Caractéristiques sémantiques translingues : Les caractéristiques activées par le même contenu en anglais et en russe (différant par l'écriture, la langue et la formulation) présentent un chevauchement substantiel (pic Jaccard 0,57), nettement supérieur aux bases aléatoires (0,13). Cela prouve que des caractéristiques sémantiques translingues existent et méritent d'être étiquetées.

2. Les étiquettes d'auto-interprétation échouent systématiquement sur les formes moins représentées :
   Malgré l'existence de caractéristiques sémantiques, les étiquettes auto-générées ne prédisent pas avec précision le comportement des caractéristiques pour toutes les formes.

   • Taux de ratés (Miss rates) : Les caractéristiques étiquetées par le contenu ratent le même sens en serbe jusqu'à 4 fois plus souvent qu'en anglais. Par exemple, à la couche 53, le taux de ratés pour les paraphrases anglaises est de 7,3 %, tandis que le taux de ratés moyen pour le serbe est de 30,1 %.
   • Asymétrie d'écriture : Même entre les deux écritures serbes (qui sont des translittérations déterministes l'une de l'autre), les caractéristiques ratent plus souvent le serbe cyrillique que le serbe latin. Le ratio de ratés cyrillique-vers-latin croît avec la profondeur du réseau, atteignant 1,35× à la dernière couche.
   • Corrélation avec la distribution d'entraînement : Ces échecs s'alignent sur l'estimation de la couverture des données d'entraînement. L'anglais est dominant dans les corpus de pré-entraînement, le russe est une ressource élevée mais moins dominante, et le serbe (particulièrement le cyrillique) est rare. La fiabilité des caractéristiques du modèle se dégrade à mesure que la représentation de la forme d'entrée diminue dans les données d'entraînement.

3. Divergence dépendante de la profondeur :
   L'écart de fiabilité s'élargit à mesure que la profondeur du réseau augmente. Alors que la fiabilité intra-langue (anglais) s'améliore ou reste stable dans les couches profondes, la fiabilité translingue (serbe) se dégrade. Cela suggère que les couches plus profondes peuvent lier les représentations plus étroitement à des formes d'entrée spécifiques plutôt qu'à des concepts abstraits.

4. Invisibilité de l'échec :
   Crucialement, les étiquettes d'auto-interprétation elles-mêmes ne fournissent aucune indication de ces échecs. Une étiquette telle que « athlètes olympiques » semble exacte sur la base des activations de pointe de la caractéristique (exemples probablement en anglais) mais échoue à prédire le silence de la caractéristique sur le même concept en serbe cyrillique.

Signification et affirmations
L'article affirme que les étiquettes d'auto-interprétation doivent être comprises non pas comme des garanties sur un concept en général, mais comme des revendications sur le comportement d'une caractéristique sur ses entrées les mieux représentées.

• Limites des outils actuels : Les praticiens s'appuyant sur ces étiquettes pour l'audit de sécurité ou le pilotage de modèles peuvent être induits en erreur. Une caractéristique étiquetée pour un concept de sécurité critique pourrait détecter ce dernier en anglais mais échouer à se déclencher en serbe cyrillique, laissant passer du contenu nocif.
• Échec gradué : L'échec n'est pas binaire (haute ressource vs basse ressource) mais gradué, corrélé à la fréquence de l'écriture/langue spécifique dans les données d'entraînement.
• Contribution méthodologique : L'étude fournit une suite d'évaluation factorielle contrôlée (publiée avec l'article) qui isole l'écriture, la langue, la formulation et le sens, offrant une méthode robuste pour tester la généralisabilité des outils d'interprétabilité futurs.

Les auteurs concluent que bien que les SAE extraient avec succès des caractéristiques sémantiques, les pipelines d'auto-interprétation actuels ne suivent pas le rythme de la complexité de la généralisation multilingue, créant un « angle mort » où les étiquettes sont localement précises mais globalement peu fiables.