Sparse Auto-Encoders and Holism about Large Language Models

1. Le Problème : Holisme vs. Décomposition dans les LLM

L'article aborde une tension fondamentale dans la philosophie du langage appliquée aux grands modèles de langage (LLM).

• La thèse holiste initiale : Les travaux antérieurs (Grindrod, 2023, 2026) soutiennent que les LLM adoptent une forme d'holisme sémantique. Selon cette vision, le sens d'un mot n'est pas déterminé par des définitions atomiques ou des relations avec le monde, mais par sa position dans un espace vectoriel de haute dimension, défini uniquement par ses relations de proximité avec tous les autres mots (hypothèse distributionnelle). Le sens est constitutif des relations entre les expressions.
• Le défi récent : Les avancées récentes en interprétabilité mécaniste, spécifiquement l'utilisation d'auto-encodeurs parcimonieux (Sparse Auto-Encoders ou SAE), ont permis d'identifier des milliers, voire des millions, de « caractéristiques » (features) latentes et interprétables dans les activations des LLM.
• La question centrale : La découverte de ces caractéristiques discrètes et interprétables remet-elle en cause la vision holiste ? Suggère-t-elle plutôt une vision décompositionnelle (ou atomiste), où le sens d'un mot serait la somme de caractéristiques sémantiques de base (ex: « roi » = masculin + royal + leader) ?

2. Méthodologie et Approche Analytique

L'auteur ne propose pas d'expérience empirique nouvelle, mais une analyse conceptuelle et technique basée sur l'état de l'art de l'interprétabilité des LLM.

• Analyse de l'architecture des LLM : L'article rappelle le fonctionnement des transformateurs (embeddings de tokens, mécanismes d'attention, résidus) et comment ils génèrent des représentations contextuelles.
• Étude des Sparse Auto-Encoders (SAE) :
  • Principe : Un SAE est un réseau de neurones large et peu profond entraîné à reconstruire les activations d'une couche d'un LLM, avec une contrainte de parcimonie (régularisation L1) pour forcer l'activation d'un petit nombre de neurones à la fois.
  • Objectif : Démêler la « superposition » (superposition) où plusieurs concepts sont codés dans les mêmes dimensions neuronales, afin d'isoler des caractéristiques monosémantiques (interprétables).
• Examen des caractéristiques (Features) : L'auteur examine la nature des features identifiées par des SAEs récents (ex: Bricken et al., 2023 ; Templeton et al., 2024). Il analyse des exemples concrets (comme le mot « growing » dans Moby Dick ou des listes aléatoires de features) pour évaluer leur pertinence sémantique.
• Critique de la « Vision de la Composition par Features » : L'auteur teste la plausibilité de l'idée que les mots sont composés de ces features en confrontant cette hypothèse aux objections philosophiques classiques (Fodor, Quine) et aux limitations techniques observées (interférences, duplication, absorption).

3. Contributions Clés

L'article apporte plusieurs contributions théoriques et techniques :

1. Clarification de la tension Holisme/Décomposition : Il formalise le défi que posent les SAEs à la vision holiste, en définissant la « vision de la composition par features » comme l'alternative principale.
2. Critique technique de la décomposition sémantique via SAE : L'auteur démontre que les features identifiées par les SAEs ne correspondent pas aux « briques de base » sémantiques attendues par une théorie décompositionnelle classique.
   • Hétérogénéité : Les features ne sont pas uniquement sémantiques ; elles capturent aussi des propriétés syntaxiques, morphologiques, des structures de code, ou des biais du modèle (ex: « sycophancy »).
   • Spécificité excessive : La tendance des SAEs à produire des features très spécifiques (ex: « noms de femmes sauf Lily ») plutôt que générales (ex: « noms de femmes ») contredit l'idée d'un lexique atomique universel.
   • Problèmes d'interférence et de superposition : La nécessité de la parcimonie force les modèles à créer des features composites ou à absorber des concepts, rendant la décomposition « propre » impossible.
3. Réhabilitation de l'Holisme : L'auteur propose une synthèse où les features ne sont pas des constituants atomiques inférieurs aux mots, mais des unités sémantiques de même niveau que les embeddings de mots.
4. Condition de comptabilité : Il introduit une condition cruciale pour sauver l'hypothèse holiste : bien que l'espace latent soit continu, les features significatives doivent être comptables (discretes) pour former un réseau de relations de proximité cohérent, évitant ainsi une infinité de « sens impossibles » (comme un sens situé exactement à mi-chemin entre « sel » et « climatisation »).

4. Résultats et Observations

• Inadéquation des SAEs comme base sémantique : L'inspection des features (ex: « références aux systèmes de climatisation », « phrases « working on » ») montre qu'elles sont trop granulaires et contextuelles pour servir de définitions atomiques universelles. Elles reflètent la structure des données d'entraînement et les biais du modèle autant que le sens linguistique.
• Échec de la décomposition stricte : Contrairement à l'espoir d'une vision type Katz & Fodor, les LLM ne semblent pas décomposer les mots en un ensemble fini de concepts de base. Les features interagissent de manière complexe, avec des interférences et des niveaux d'activation variables qui ne correspondent pas à une logique booléenne de composition.
• Continuité de l'Holisme : Les features, tout comme les mots, sont organisées selon des relations de proximité sémantique. Elles peuvent être intégrées dans le réseau holiste sans nécessiter une refonte totale de la théorie.
• Limites de la parcimonie : La recherche de la parcimonie (sparsity) dans les SAEs conduit à des artefacts d'interprétabilité (absorption de features, composition de features) qui déforment la structure sémantique réelle, rendant difficile l'identification de « joints » naturels dans l'espace sémantique.

5. Signification et Implications

• Pour la Philosophie du Langage : L'article défend la pertinence de l'approche holiste (distributionnelle) face aux découvertes récentes en IA. Il suggère que les LLM ne valident pas un retour à un atomisme sémantique classique, mais confirment que le sens est relationnel et contextuel.
• Pour l'Interprétabilité des LLM (Mechanistic Interpretability) : Il met en garde contre l'interprétation naïve des features des SAEs comme étant les « concepts » fondamentaux du modèle. Les features sont des outils d'analyse puissants, mais leur nature est souvent hybride (sémantique, syntaxique, structurelle) et dépendante de l'architecture du SAE.
• Perspective Méta-Sémantique : L'auteur soutient que même si les LLM utilisent des features, cela ne détruit pas l'holisme tant que ces features sont considérées comme des nœuds dans un réseau de similarité, et non comme des définitions préexistantes. La signification émerge toujours des relations au sein du système, qu'il s'agisse de mots ou de features latentes.

En conclusion, Grindrod démontre que la découverte de features interprétables par les SAEs ne réfute pas l'hypothèse holiste du sens dans les LLM, mais nécessite une nuance : les features sont des entités sémantiques à part entière, intégrées dans un réseau holiste, plutôt que des briques atomiques décomposant le sens des mots.