Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT

Cette étude démontre que les modèles de fondation du single-cell Geneformer et scGPT intègrent une connaissance biologique organisée et hiérarchique révélée par des autoencodeurs clairsemés, mais qu'ils encodent une logique de régulation causale minimale face aux données de perturbation génomique.

L'essentiel

🏙️ Le Contexte : Deux Architectes de la Vie

Imaginez que nous ayons deux architectes géniaux (les modèles Geneformer et scGPT) qui ont passé des années à lire des millions de livres sur la biologie humaine (les cellules). Leur but ? Comprendre comment les gènes (les briques de la vie) parlent entre eux pour créer des cellules, des tissus et des organes.

Ces architectes sont très forts. Ils peuvent deviner le type de cellule, prédire comment une maladie va évoluer, ou imaginer comment une cellule réagit à un médicament. Mais une question cruciale se pose : Comprendent-ils vraiment la logique de la cause et de l'effet, ou se contentent-ils de repérer des coïncidences ?

• La coïncidence (Corrélation) : "Quand il pleut, les gens sortent avec des parapluies." (Les deux arrivent ensemble, mais l'un ne cause pas l'autre).
• La logique causale : "La pluie force les gens à sortir des parapluies." (C'est une règle de fonctionnement).

Les chercheurs voulaient savoir si ces modèles avaient appris la "règle de la pluie" (la régulation biologique) ou s'ils se contentaient de voir les parapluies et la pluie arriver ensemble.

🔍 L'Outil : Le "Détecteur de Super-Héros" (SAE)

Pour voir ce qui se passe à l'intérieur de la tête de ces architectes, les chercheurs ont utilisé un outil spécial appelé Autoencodeur Épars (SAE).

Imaginez que le cerveau du modèle est une grande pièce remplie de 1 000 interrupteurs (les dimensions cachées). Quand le modèle lit un gène, beaucoup d'interrupteurs s'allument en même temps, créant un mélange confus de lumières. C'est ce qu'on appelle la "superposition" : trop d'idées dans trop peu d'espace.

Le SAE agit comme un détecteur de super-héros. Il prend ce mélange de lumières et dit : "Attends, ce n'est pas juste du bruit. Voici 4 600 super-héros invisibles cachés dans cette pièce !"
Chaque "super-héros" (ou feature) représente une idée biologique précise, comme "le cycle cellulaire", "la réparation de l'ADN" ou "la réponse immunitaire".

🎨 Ce qu'ils ont découvert : Une Bibliothèque Organisée

1. Une Mémoire Énorme (La Superposition)

Les chercheurs ont trouvé que ces modèles cachent une quantité astronomique de connaissances.

• L'analogie : Imaginez un petit coffre-fort (1 000 dimensions) qui contient en réalité des millions de documents (plus de 82 000 concepts biologiques pour Geneformer).
• Le résultat : 99,8 % de ces connaissances sont invisibles pour les méthodes classiques. Le modèle est un magicien qui cache des milliers de livres dans une seule étagère.

2. Une Organisation en Quartiers (Modules)

Ces milliers de concepts ne sont pas en désordre. Ils forment des quartiers (modules).

• Au rez-de-chaussée (couches basses) : On trouve les "ouvriers" : la machinerie moléculaire, la construction des protéines, le cycle de division des cellules. C'est très concret.
• Aux étages supérieurs (couches hautes) : On trouve les "directeurs" : la différenciation cellulaire, la signalisation complexe, l'organisation des organes. C'est plus abstrait.
• Le voyage : L'information circule comme une autoroute entre ces étages. Un signal commence par "réparer l'ADN" au rez-de-chaussée et finit par "décider de devenir une cellule de peau" au dernier étage.

3. La Grande Déception : Ils ne sont pas des "Médecins"

C'est ici que ça devient intéressant. Les chercheurs ont testé si ces modèles comprenaient la causalité.

• L'expérience : Ils ont simulé un "sabotage" (comme si on coupait un gène avec un ciseau CRISPR) et ont regardé si le modèle réagissait comme un biologiste qui sait pourquoi cela a changé.
• Le résultat :
  • Le modèle voit que quelque chose a changé (il détecte le mouvement).
  • Mais il ne sait pas qui a tiré sur qui. Il ne comprend pas la logique "Le gène A contrôle le gène B".
  • Le score : Sur 48 régulateurs majeurs (les chefs d'orchestre), le modèle n'a montré une logique précise que pour 3 d'entre eux (6,2 %).

L'analogie finale :
Imaginez un météorologue qui regarde une carte météo.

• Il voit très bien que "quand le vent souffle du nord, il pleut".
• Il peut prédire qu'il va pleuvoir demain.
• Mais s'il essaie d'expliquer pourquoi la pluie tombe (la physique des nuages, la condensation), il échoue. Il connaît les statistiques (ce qui arrive ensemble), mais pas la physique (la cause réelle).

💡 Conclusion : Ce que cela signifie pour l'avenir

Cette étude nous dit deux choses importantes :

1. C'est impressionnant : Ces modèles ont internalisé une connaissance biologique incroyable. Ils savent quels gènes travaillent ensemble, quels sont les "quartiers" de la cellule, et comment l'information circule. C'est une carte routière magnifique.
2. C'est incomplet : Ils ne sont pas encore des "médecins" capables de comprendre la logique de commande. Ils ne savent pas encore qui commande qui.

La leçon : Pour que l'IA devienne un véritable outil de découverte médicale capable de concevoir de nouveaux traitements, il faudra l'entraîner non pas seulement à lire des livres de biologie, mais à simuler des expériences (à voir ce qui se passe quand on coupe un fil). Il faut lui apprendre la différence entre "voir la pluie" et "comprendre la pluie".

Les chercheurs ont rendu toutes ces cartes interactives sur internet, permettant à n'importe qui d'explorer ces "quartiers" de gènes invisibles. C'est une première étape majeure pour rendre le cerveau de l'IA transparent.

Résumé technique

Titre de l'étude

Les autoencodeurs parcimonieux révèlent des connaissances biologiques organisées mais une logique régulatrice minimale dans les modèles de fondation du single-cell : une atlas comparatif de Geneformer et scGPT.

1. Problématique

Les modèles de fondation pour le single-cell (scFMs), tels que Geneformer et scGPT, ont démontré des capacités remarquables dans l'annotation des types cellulaires et la prédiction des réponses aux perturbations. Cependant, une question centrale demeure : ces modèles encodent-ils une logique régulatrice causale (les relations dirigées entre les facteurs de transcription et leurs gènes cibles) ou se contentent-ils de capturer des co-expressions statistiques (corrélations sans causalité) ?

Les études précédentes sur les poids d'attention suggéraient que ces modèles ne capturaient pas de signal régulateur unique, mais l'attention ne représente qu'une vue partielle du calcul interne. Le flux résiduel (residual stream), qui transporte l'information à travers le réseau, pourrait contenir une structure plus riche. De plus, l'hypothèse de la superposition (superposition) suggère que les modèles encodent plus de concepts qu'ils n'ont de dimensions, rendant cette information invisible aux méthodes de décomposition linéaire classiques comme l'ACP (SVD).

2. Méthodologie

L'étude applique pour la première fois de manière systématique des Autoencodeurs Parcimonieux (Sparse Autoencoders - SAE) aux modèles de fondation biologiques pour résoudre la superposition et décomposer les activations denses en caractéristiques (features) interprétables.

• Modèles analysés :
  • Geneformer V2-316M : 18 couches, 1 152 dimensions cachées, encodage par rang (rank-value), entraîné sur ~30 millions de cellules.
  • scGPT (Whole-Human) : 12 couches, 512 dimensions cachées, encodage par valeurs continues, entraîné sur ~33 millions de cellules.
• Pipeline SAE :
  • Extraction des activations du flux résiduel pour chaque position (gène) à travers toutes les couches.
  • Entraînement d'un SAE de type TopK avec un dictionnaire sur-complet (4x la dimension d'entrée) et une contrainte de parcimonie (k=32).
  • Génération d'atlas de caractéristiques : 82 525 caractéristiques pour Geneformer et 24 527 pour scGPT.
• Analyses effectuées :
  • Annotation biologique : Enrichissement contre 5 bases de données (GO, KEGG, Reactome, STRING, TRRUST).
  • Comparaison SVD : Évaluation de la proportion de caractéristiques invisibles à l'ACP.
  • Réseaux de co-activation : Construction de graphes basés sur l'information mutuelle ponctuelle (PMI) pour identifier des modules fonctionnels.
  • Patching causal : Ablation d'une seule caractéristique pour mesurer l'impact spécifique sur les gènes cibles par rapport aux autres gènes.
  • Tests de perturbation : Utilisation de données CRISPRi (Replogle) pour vérifier si les caractéristiques répondent spécifiquement aux cibles régulatrices connues.
  • Contrôle multi-tissus : Entraînement de SAE sur un mélange de cellules K562 et Tabula Sapiens pour distinguer les limitations du modèle de celles des données d'entraînement.

3. Contributions Clés

1. Premiers atlas de caractéristiques SAE pour les scFMs : Création de bases de données interactives couvrant plus de 107 000 caractéristiques à travers 30 couches de deux modèles majeurs.
2. Preuve de la superposition massive : Démonstration que 99,8 % des caractéristiques biologiques sont invisibles aux méthodes linéaires classiques (SVD), confirmant que les modèles compressent des milliers de concepts biologiques dans un espace de dimensionnalité limitée.
3. Cartographie de l'abstraction hiérarchique : Identification d'un profil en "U" de l'annotation biologique à travers les couches, passant de la machinerie moléculaire (couches basses) à des programmes cellulaires intégratifs (couches moyennes) puis à des représentations de prédiction (couches hautes).
4. Distinction entre co-expression et régulation : Établissement d'une limite claire : les modèles internalisent une connaissance biologique organisée (modules, interactions protéiques) mais échouent à encoder la logique causale régulatrice spécifique.

4. Résultats Principaux

A. Superposition et Organisation Biologique

• Superposition massive : Seulement 0,2 % des caractéristiques SAE sont alignées avec les axes SVD. Les 99,8 % restants (caractéristiques "novelles") portent 98,7 % des annotations biologiques.
• Qualité de reconstruction : Les SAE expliquent 77–85 % de la variance (Geneformer) et 85–93 % (scGPT), bien supérieur aux 31–38 % expliqués par les 50 premiers axes SVD.
• Modules de co-activation : Les caractéristiques s'organisent en 141 modules pour Geneformer et 76 pour scGPT. Ces modules correspondent à des programmes biologiques cohérents (ex: cycle cellulaire, signalisation immunitaire, transport vésiculaire).
• Autoroutes d'information : 97–99,8 % des caractéristiques forment des "autoroutes d'information" inter-couches, reliant des caractéristiques de couches différentes via des connexions fonctionnelles fortes, malgré une faible similarité de poids de décodeur.

B. Spécificité Causale et Limites Régulatrices

• Spécificité au niveau de la caractéristique : L'ablation d'une seule caractéristique perturbe spécifiquement les gènes annotés (ratio de spécificité médian de 2,36x, atteignant jusqu'à 114x pour les meilleures caractéristiques). Cela prouve que le calcul biologique est encodé au niveau des caractéristiques, et non des têtes d'attention.
• Échec de la logique régulatrice (Résultat Négatif Majeur) :
  • Lors de tests sur des données CRISPRi (perturbation de 48 facteurs de transcription), seuls 3 sur 48 TF (6,2 %) ont généré des réponses de caractéristiques spécifiques à leurs cibles connues.
  • Le modèle détecte le changement d'état cellulaire (92 % de détection de perturbation), mais ne code pas quelle régulation spécifique doit être affectée.
• Contrôle Multi-tissus : L'entraînement sur un mélange de tissus (K562 + Tabula Sapiens) n'a amélioré la spécificité que marginalement (de 6,2 % à 10,4 %), avec des gains non systématiques. Cela confirme que la limitation réside dans les représentations du modèle (Geneformer/scGPT) et non dans les données d'entraînement ou la méthode SAE.

C. Comparaison Inter-modèles

Malgré des architectures et des objectifs d'entraînement différents (prédiction du token suivant vs prédiction de gène masqué), Geneformer et scGPT montrent des phénomènes qualitatifs identiques : superposition massive, organisation modulaire et absence de logique régulatrice causale.

5. Signification et Implications

• Limites des modèles actuels : Les modèles de fondation single-cell actuels apprennent principalement la structure de co-expression et l'appartenance aux voies métaboliques, mais échouent à apprendre la logique causale des réseaux de régulation génique (GRN).
• Nécessité de nouveaux objectifs d'entraînement : Pour encoder la causalité, les futurs modèles devront probablement intégrer des objectifs d'entraînement spécifiques aux perturbations (perturbation-aware objectives) capables de distinguer la cause de la corrélation.
• Outils d'interprétabilité : Les SAE s'avèrent être un outil puissant et généralisable pour l'interprétabilité des modèles biologiques, révélant une richesse structurelle invisible aux méthodes linéaires.
• Ressources ouvertes : Les auteurs publient deux plateformes web interactives permettant d'explorer plus de 107 000 caractéristiques, offrant une nouvelle lentille pour comprendre le calcul biologique dans les transformateurs.

En conclusion, cette étude établit une frontière claire entre ce que les modèles de fondation single-cell savent (connaissances biologiques organisées et co-expression) et ce qu'ils ignorent (logique régulatrice causale), tout en fournissant une méthodologie robuste pour explorer l'intérieur de ces "boîtes noires".