Les grands modèles de langage sont des systèmes vastes et complexes qui traitent le langage humain en transformant le texte en flux de nombres. Ces nombres, appelés activations, circulent à travers les couches internes du modèle, transportant la signification des mots et la logique des phrases. Pour les chercheurs qui tentent de comprendre comment ces machines pensent, ces flux cachés sont une boîte noire. Pour l'ouvrir, les scientifiques utilisent un outil appelé auto-encodeur parcimonieux (sparse autoencoder). Considérez cet outil comme un traducteur qui prend le flux dense et désordonné de nombres et le décompose en une longue liste de concepts simples et distincts. Idéalement, chaque élément de cette liste représente une idée claire et unique — comme « mathématiques », « contrats juridiques » ou « la couleur bleue » — que le modèle active lorsqu'il rencontre ce concept spécifique. Ce processus, appelé décomposition, permet aux chercheurs de voir les rouages individuels qui tournent à l'intérieur de la machine.

Cependant, les traducteurs standards ont une limite. Ils traitent chaque concept comme un élément indépendant et plat sur une liste, ignorant le fait que le langage humain est profondément structuré. Les mots et les idées apparaissent souvent ensemble selon des motifs prévisibles ; le concept de « géographie » coïncide fréquemment avec « cartes » ou « directions ». Lorsque le modèle apprend ces motifs, l'outil standard peine à capturer la relation, forçant souvent le système à apprendre la connexion de manière implicite ou, pire, à fusionner des idées distinctes en une seule caractéristique confuse. Cela rend la liste de concepts résultante plus difficile à interpréter et moins efficace à calculer.

Une équipe de chercheurs de T-Tech a proposé une nouvelle façon de construire ces traducteurs, appelée KronSAE, qui respecte la structure naturelle du langage dès le départ. Au lieu de traiter chaque concept comme une coordonnée séparée et plate, leur conception organise le dictionnaire interne en groupes. Au sein de chaque groupe, le système construit des caractéristiques complexes en combinant deux composants plus simples et préexistants. C'est un peu comme si un chef créait un plat spécifique en combinant un ingrédient de base avec une épice particulière ; le plat n'existe que si la base et l'épice sont présentes. Dans cette nouvelle architecture, une caractéristique ne s'active que lorsque deux signaux « parents » sous-jacents sont actifs en même temps. Cela crée une règle intégrée qui encourage le système à apprendre des caractéristiques qui sont des combinaisons de parties plus simples, reflétant ainsi la manière dont le langage fonctionne réellement.

Les chercheurs ont testé cette approche sur deux modèles de langage populaires, Qwen2.5 et Gemma-2, en utilisant un ensemble massif de pages web éducatives. Ils ont découvert que cette approche structurée ne se contentait pas de mimer le langage humain ; elle rendait en réalité la représentation interne du modèle plus claire. En comparant le nouveau système à la méthode standard, ils ont découvert que la nouvelle conception produisait des caractières plus spécifiques et moins susceptibles d'être confondues les unes avec les autres. Dans la méthode standard, une seule caractéristique tente souvent d'en faire trop, absorbant la signification de plusieurs concepts liés et devenant ainsi vague. Le nouveau système, en forçant les caractéristiques à être construites à partir de combinaisons spécifiques, a réduit cette « absorption ». Les caractéristiques résultantes étaient plus nettes, décrivant des idées plus étroites et plus précises, ce qui les rendait plus faciles à comprendre et à étiqueter pour les chercheurs.

Au-delà de la clarté, la nouvelle conception offrait un gain d'efficacité significatif. Parce que le système construit des caractéristiques complexes en combinant des éléments plus simples, il n'a pas besoin de calculer chaque possibilité à partir de zéro. Les chercheurs ont constaté qu'ils pouvaient réduire la puissance de calcul requise pour faire fonctionner l'encodeur de plus de quarante pour cent tout en maintenant le même niveau de précision dans la reconstruction des données originales. Cela signifie que le système peut apprendre la même quantité d'informations en utilisant beaucoup moins de ressources. Dans leurs expériences, même avec cette réduction massive du coût computationnel, la baisse de performance était de moins de un pour cent, un compromis négligeable pour un tel gain de vitesse et d'efficacité.

L'étude a également exploré la capacité de ce système à apprendre les relations cachées entre les concepts. Dans une expérience contrôlée utilisant des données synthétiques où les relations entre les caractéristiques étaient connues à l'avance, le nouveau système a réussi à récupérer ces motifs bien mieux que la méthode standard. Il a appris à regrouper les concepts liés au sein de sa structure interne, alors que la méthode standard les éparpillait. En observant les données du monde réel, les chercheurs ont constaté que les caractéristiques qui apparaissaient naturellement ensemble dans le texte étaient effectivement mappées vers les mêmes groupes internes dans le nouveau système. Cela suggère que l'architecture capture avec succès les régularités statistiques du langage, organisant la connaissance du modèle d'une manière qui reflète la façon dont les idées sont réellement connectées.

Les chercheurs ont également examiné la nature des caractéristiques elles-mêmes. Ils ont découvert que les composants « parents » plus simples au sein du système étaient souvent larges et abstraits, capables de représenter plusieurs idées différentes. Cependant, lorsque ces parents étaient combinés, la caractéristique résultante devenait hautement spécifique. Par exemple, un composant large lié aux « directions » pourrait se combiner avec un autre lié aux « termes médicaux » pour créer une caractéristique spécifiquement dédiée aux « directions médicales ». Cette structure hiérarchique permettait au système de réutiliser ses composants de base pour construire une vaste gamme de concepts spécifiques sans avoir besoin d'un neurone unique et séparé pour chaque idée. Cette approche compositionnelle rendait non seulement les caractéristiques plus interprétables, mais offrait également un moyen plus efficace de stocker et de récupérer les connaissances.

En fin de compte, ce travail suggère que la façon dont nous concevons ces outils d'interprétabilité importe autant que les données qu'ils traitent. En introduisant un biais structurel simple qui imite la façon dont les concepts se combinent dans le langage, les chercheurs ont créé un système qui est à la fois plus efficace et plus transparent. Les conclusions indiquent que nous n'avons pas besoin de compter sur le modèle pour découvrir accidentellement ces relations pendant l'entraînement ; nous pouvons les intégrer dans l'architecture elle-même. Cette approche offre une nouvelle voie pour comprendre l'intelligence artificielle, fournissant une fenêtre plus claire sur l'esprit de la machine tout en rendant le système plus rapide et moins coûteux à exploiter. Le code de cette nouvelle méthode est désormais disponible pour que d'autres puissent l'utiliser et s'en servir de base, invitant à une exploration plus approfondie de la manière dont l'apprentissage structuré peut améliorer notre compréhension des systèmes complexes.