Résumé Technique : Une Vision Géométrique pour la Compréhension de l'Apprentissage de Concepts et de l'Interprétation des Neurones dans les Autoencodeurs Creux

Énoncé du Problème

Les réseaux de neurones, particulièrement les grands modèles de langage, présentent une « polysémanticité », où des neurones individuels encodent plusieurs concepts sans rapport, et où un concept unique est distribué sur de nombreux neurones. Ce phénomène, connu sous le nom de superposition, entrave l'interprétabilité mécaniste. Les autoencodeurs creux (Sparse Autoencoders ou SAE) sont apparus comme un outil pour démêler ces représentations en apprenant des ensembles de caractéristiques (features) surcomplets et creux. Cependant, le domaine manque d'un cadre mathématique unifié pour définir rigoureusement ce qui constitue un « concept » et ce que signifie pour un modèle en « apprendre » un. Les définitions existantes reposent souvent sur des directions vectorielles dans l'espace d'activation, lesquelles ne correspondent pas directement à des ensembles de données interprétables par l'humain. Les observations empiriques telles que la division de caractéristiques (feature splitting), l'absorption de caractéristiques (feature absorption) et les familles de caractéristiques manquent d'une explication géométrique fondée sur des principes. L'ambiguïté centrale réside dans la relation non définie entre les concepts définis par l'humain et les caractéristiques induites par le modèle, ainsi que dans l'absence de critères formels pour déterminer quand un neurone ou un ensemble de neurones représente avec succès un concept.

Méthodologie

Les auteurs proposent un cadre mathématique unifié qui reformule l'apprentissage de concepts et l'interprétation des neurones comme un problème d'alignement d'ensembles entre les concepts définis par l'humain et les concepts induits par le modèle.

1. Définitions Formelles

• Concepts comme Ensembles : Un concept $C$ compréhensible par l'humain est défini comme un ensemble mesurable de points de données au sein de l'espace d'activation $X$ du modèle.
• Unités de Modèle : Au lieu d'analyser les neurones isolément, le cadre définit une « unité » $\theta_M$ comme l'intersection des régions d'activation d'un ensemble de neurones $M$. Cette agrégation permet une représentation plus robuste de concepts qui peuvent être trop complexes pour un seul neurone.
• Architectures SAE : Le cadre distingue l'activation absolue (ex: ReLU SAE), où la région d'activation d'un neurone est un demi-espace, et l'activation relative (ex: Top-K SAE), où les régions d'activation sont des sous-ensembles de demi-espaces déterminés par une sélection compétitive.

2. Trois Modes d'Apprentissage de Concepts

Le document formalise trois notions d'apprentissage de plus en plus fortes, distinguées par leurs conditions géométriques et leurs espaces d'évaluation :

• Détection de Concept : La forme la plus faible. Une unité couvre un concept si la mesure du concept en dehors de l'unité est nulle ($\mu(C \setminus \theta) = 0$). Cela permet des correspondances de type plusieurs-à-plusieurs.
• Séparation de Concept : Une unité sépare un concept si elle couvre le concept exclusivement sur le support des données observées. Formellement, l'enveloppe convexe du concept doit être disjointe de l'enveloppe convexe du reste des données ($Conv(C) \cap Conv(N) = \emptyset$). Ceci est évalué sur le support des données observées.
• Approximation de Concept : La forme la plus forte. Une unité approxime un concept si elle délimite étroitement le concept dans l'espace ambiant, pénalisant les faux positifs et les faux négatifs même dans les régions non observées. Cela exige que le concept soit convexe (à un ensemble nul près) pour une approximation parfaite par une unité.

3. Interprétation des Neurones via l'Analyse Conceptuelle Formelle

La relation entre concepts et neurones est modélisée par l'Analyse Conceptuelle Formelle. Les auteurs définissent une relation $R$ entre les concepts humains et les neurones, induisant une connexion de Galois. Cette structure organise la correspondance plusieurs-à-plusieurs en un treillis de concepts, capturant les relations hiérarchiques (ex: « Tigre » $\subset$ « Animal ») et la fusion ou la division des caractéristiques.

4. Résultats Théoriques

• Conditions de Séparation : Le document dérive les conditions nécessaires et suffisantes pour la séparation. Un neurone unique peut séparer un concept si et seulement si les enveloppes convexes du concept et du reste des données sont disjointes. Pour plusieurs neurones (unités), la condition est assouplie à l'enveloppe convexe du concept étant disjointe du reste des données.
• Conditions d'Approximation : Une approximation parfaite du concept est possible si et seulement si le concept est convexe (à un ensemble nul près). L'erreur d'approximation suit un taux de $O(|M|^{-2/(r-1)})$, où $r$ est la dimension effective.
• Contraintes de Capacité : Pour atteindre une monosémanticité parfaite (un concept par unité) avec un budget de parcimonie $k_c$, le nombre de neurones $d$ doit satisfaire une borne inférieure combinatoire : $d \gtrsim (k_c! |C|)^{1/k_c}$.

Contributions Clés

1. Cadre Unifié : Le document fournit un cadre géométrique et de théorie des ensembles qui unifie l'apprentissage de concepts et l'interprétation des neurones, en traitant les deux comme des problèmes d'alignement d'ensembles.
2. Distinction Formelle des Modes d'Apprentissage : Il distingue rigoureusement la détection, la séparation et l'approximation, en dérivant les conditions géométriques (ex: convexité, disjointure des enveloppes) et les bornes d'erreur.
3. Explication des Phénomènes SAE : Le cadre offre des explications de théorie des ensembles pour les phénomènes empiriques :
   • Division de Caractéristiques (Feature Splitting) : Se produit lorsqu'un concept large est représenté par plusieurs unités disjointes dans des SAE plus larges.
   • Absorption de Caractéristiques (Feature Absorption) : Expliquée comme un échec de l'apprentissage hiérarchique où le coût de parcimonie empêche une caractéristique parente de s'activer sur les données enfants.
   • Familles de Caractéristiques : Modélisées comme des unités ayant des co-activations non triviales.
4. Interprétation par Treillis : Il relie l'apprentissage et l'interprétation via des treillis de concepts, démontrant que la carte directe (concept $\to$ neurones) et la carte inverse (neurones $\to$ concept) ne doivent pas nécessairement concorder, et que leur structure est hiérarchique.

Résultats Expérimentaux

Les auteurs valident la théorie en utilisant des données synthétiques 2D avec des SAE ReLU et Top-K.

• Séparation vs Approximation : Les expériences confirment qu'un neurone unique échoue souvent à séparer des concepts complexes ou chevauchants, tandis que les unités multi-neurones améliorent considérablement les performances. L'approximation est une tâche plus difficile que la séparation, nécessitant plus de neurones pour délimiter étroitement les concepts face à des données non vues.
• Capacité et Mise à l'Échelle : Augmenter le facteur d'expansion de l'SAE (largeur) améliore la capacité de séparation et d'approximation, mais avec des rendements décroissants une fois que suffisamment de caractéristiques candidates sont disponibles.
• Ratio de Désaccord : L'étude mesure le « désaccord » entre la meilleure unité pour un concept et le meilleur concept pour cette unité. Les résultats montrent que le désaccord est faible lorsque les concepts sont disjoints et que les scores F1 sont élevés, mais augmente significativement pour les concepts chevauchants et les tâches d'approximation.
• Non-Monotonicité : Les expériences révèlent que l'augmentation du nombre de neurones sélectionnés n'améliore pas les performances de manière monotone ; ajouter trop de neurones peut réduire excessivement la région d'activation, coupant ainsi certaines parties du concept cible.

Signification et Revendications

Le document affirme fournir la première définition géométrique et fondée sur des principes de « concept » et d'« apprentissage » dans le contexte des SAE. En déplaçant l'accent des directions vectorielles vers l'alignement d'ensembles, les auteurs soutiennent que :

• La monosémanticité est une propriété géométrique : Elle dépend de la convexité et de la disjointure des ensembles de concepts dans l'espace d'activation, et non seulement de la parcimonie du modèle.
• L'interprétation est bidirectionnelle mais asymétrique : Un ensemble de neurones peut bien représenter un concept (vers l'avant), mais cet ensemble peut ne pas identifier de manière unique le concept (vers l'arrière), nécessissant des métriques qui tiennent compte de cet alignement bidirectionnel.
• L'architecture importe : Le choix entre l'activation absolue (ReLU) et relative (Top-K) a des implications géométriques distinctes pour la stabilité des caractéristiques, particulièrement en présence de concepts chevauchants.

Les auteurs concluent que leur cadre explique pourquoi les SAE plus larges améliorent l'interprétabilité (en fournissant plus d'ensembles candidats pour l'alignement) et pourquoi la division et l'absorption de caractéristiques se produisent. Ils soulignent que bien que leurs résultats théoriques soient constructifs, l'entraînement d'un SAE pour trouver ces constructions optimales n'est pas garanti, bien qu'un espace de recherche plus large augmente la probabilité de succès. Ce travail sert de base vers une interprétabilité mécaniste rigoureuse, dépassant les observations heuristiques pour atteindre des conditions géométriques formelles.