Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence

Cette étude introduit le traçage de circuits causaux pour révéler que les modèles de fondation biologiques, tels que Geneformer et scGPT, partagent des architectures computationnelles distinctes caractérisées par une dominance inhibitrice et une cohérence biologique, tout en identifiant des paires de domaines conservés validés par des expériences CRISPRi.

L'essentiel

Voici une explication simple et imagée de cette recherche scientifique, traduite en français pour le grand public.

🧠 L'Enquête : Comment les "Cerveaux" Artificiels comprennent la vie

Imaginez que vous avez deux super-intelligences artificielles (des modèles d'IA) qui ont lu des millions de manuels de biologie cellulaire. On les appelle Geneformer et scGPT. Elles sont capables de prédire comment une cellule va réagir, mais jusqu'à présent, personne ne savait comment elles faisaient ce calcul. C'est comme avoir une boîte noire magique : on met des données dedans, et on obtient une réponse, mais on ne voit pas les rouages à l'intérieur.

Les chercheurs de cette étude ont décidé de faire du détective scientifique. Ils ont inventé une méthode appelée "tracage de circuits causaux" pour ouvrir la boîte noire et voir comment l'information circule à l'intérieur.

---

🔍 La Méthode : Le "Test de la Coupure"

Pour comprendre comment fonctionne une machine complexe, on peut essayer de retirer une pièce et voir ce qui se passe.

• L'analogie : Imaginez un orchestre symphonique. Si vous demandez au violoniste de la première rangée de se taire (c'est ce qu'on appelle "ablation" ou "coupure"), qu'est-ce qui arrive ?
  • Est-ce que le reste de l'orchestre s'arrête ?
  • Est-ce que les autres musiciens jouent plus fort pour compenser ?
  • Est-ce que la mélodie change de sens ?

Les chercheurs ont fait exactement cela avec l'IA. Ils ont "éteint" des milliers de petits interrupteurs (appelés fonctions ou features) dans le cerveau de l'IA, un par un, et ont observé comment les autres parties du cerveau réagissaient. Cela leur a permis de dessiner le plan de câblage complet de ces intelligences artificielles.

---

🌟 Les Découvertes Surprenantes

Voici les trois grandes révélations de l'étude, expliquées simplement :

1. La "Loi de l'Interdiction" (Dominance Inhibitrice)

Dans nos cerveaux humains, les neurones s'activent pour envoyer des messages. Dans ces IA biologiques, c'est l'inverse qui domine !

• L'analogie : Imaginez un bureau où, au lieu de crier "Fais ça !", les employés passent leur temps à dire "Ne fais pas ça !".
• Ce que ça signifie : Environ 80% des connexions dans ces IA sont "inhibitrices". Si vous enlevez une pièce, les autres pièces s'arrêtent de fonctionner. Cela suggère que l'IA stocke l'information comme une liste de choses nécessaires. Si une pièce manque, tout le système s'effondre parce qu'il lui manque un ingrédient essentiel. C'est une architecture très stricte et dépendante.

2. Deux Architectures Différentes pour le Même But

Les deux IA étudiées (Geneformer et scGPT) ont appris la biologie, mais elles l'ont organisée différemment.

• Geneformer (Le Bibliothécaire) : Il est organisé autour de l'ADN et de l'ARN. C'est comme un bibliothécaire qui classe tout par type de livre (gènes, protéines). Il est très coopératif.
• scGPT (Le Centrales Électriques) : Lui, il est organisé autour de l'énergie (la respiration des cellules, les mitochondries). C'est comme une centrale électrique qui gère le flux d'énergie avant de faire le reste. Il est plus compétitif : ses pièces se battent pour prendre la place.
• Leçon : Même si elles apprennent la même matière, elles ont trouvé deux façons différentes de l'organiser, un peu comme deux architectes qui construisent deux maisons différentes pour la même famille.

3. La "Carte du Trésor" Biologique

Le plus incroyable, c'est que ces IA ont reconstruit la biologie humaine avec une précision étonnante, même sans avoir lu de manuels de biologie classiques !

• La Temporalité : L'IA a appris l'ordre des événements. Elle sait que le signal d'alarme (ex: "Il y a une coupure d'ADN !") arrive avant la réparation, qui arrive avant l'arrêt de la division cellulaire. Elle a appris la chronologie de la vie.
• Les Connexions Inattendues : Elles ont découvert des liens que les biologistes n'avaient pas encore écrits dans les livres. Par exemple, elles ont trouvé que la façon dont une cellule gère son énergie influence directement comment elle transporte des protéines. C'est comme découvrir que la façon dont vous mangez votre petit-déjeuner influence votre humeur à 14h, même si personne ne l'avait encore prouvé.

---

⚠️ La Limite : Elles savent "Qui" mais pas "Comment"

Il y a une nuance importante.

• Niveau "Grandes Idées" : L'IA est excellente. Elle sait que "Réparation de l'ADN" est lié à "Arrêt du cycle cellulaire". C'est une carte fiable.
• Niveau "Détails Précis" : Si on demande à l'IA : "Si je coupe ce gène précis, le gène X va-t-il augmenter ou diminuer ?", elle se trompe souvent (56% de réussite, ce qui est à peine mieux que de deviner à pile ou face).
• Pourquoi ? Parce que ces IA ont appris à reconnaître des patterns de co-occurrence (des choses qui arrivent souvent ensemble), mais elles ne comprennent pas toujours la causalité mécanique (la chaîne de cause à effet précise). Elles voient que deux choses vont ensemble, mais elles ne savent pas toujours pourquoi l'une entraîne l'autre.

---

🚀 Pourquoi est-ce important ?

Cette étude est une révolution pour deux raisons :

1. On peut enfin "lire" la pensée de l'IA : On ne se contente plus de regarder les résultats, on comprend la logique interne.
2. On découvre de nouvelles lois de la biologie : En analysant comment ces IA connectent les idées, les chercheurs peuvent trouver de nouvelles hypothèses sur comment les cellules fonctionnent, ce qui pourrait aider à trouver de nouveaux traitements pour des maladies comme le cancer.

En résumé : Les chercheurs ont utilisé une loupe magique pour voir comment deux intelligences artificielles ont appris à comprendre la vie. Ils ont découvert qu'elles ont dessiné des cartes incroyablement précises de la biologie, organisées autour de règles strictes et d'énergie, mais qu'elles ont encore du mal à prédire les effets précis d'une petite modification. C'est un pas de géant vers des IA qui nous aideront vraiment à guérir le monde.

Résumé technique

1. Problématique et Contexte

Les modèles de fondation (foundation models) appliqués à la biologie, tels que Geneformer et scGPT, ont démontré une capacité remarquable à encoder des connaissances biologiques complexes. Cependant, une lacune majeure persiste dans l'interprétabilité mécanistique de ces modèles :

• Bien que les Auto-encodeurs Creux (Sparse Autoencoders - SAE) aient permis de décomposer les activations du modèle en caractéristiques (features) interprétables (dictionnaires sur-complets), la nature des interactions causales entre ces caractéristiques à travers la profondeur du réseau reste inconnue.
• Les statistiques de co-activation (comme l'information mutuelle ponctuelle - PMI) révèlent quelles caractéristiques s'activent ensemble, mais ne peuvent distinguer la corrélation de la causalité, ni déterminer la direction ou l'amplitude du flux d'information.
• Objectif : Comprendre comment les caractéristiques causales interagissent pour former le graphe de calcul interne du modèle, transformant les entrées génétiques en prédictions contextuelles.

2. Méthodologie : Le Traçage de Circuits Causaux

L'auteur introduit une nouvelle méthode appelée « Causal Circuit Tracing » (Traçage de circuits causaux), adaptée du domaine du langage naturel à la biologie.

• Principe : Il s'agit d'une approche par ablation systématique. Pour une caractéristique source donnée à une couche spécifique, l'activation est mise à zéro (ablation), et l'impact sur toutes les caractéristiques SAE en aval (dans les couches suivantes) est mesuré.
• Protocole expérimental :
  • Modèles étudiés : Geneformer V2-316M (18 couches) et scGPT Whole-Human (12 couches).
  • Données : 200 cellules K562 (pour Geneformer) et 200 cellules du Tabula Sapiens (pour scGPT et conditions multi-tissus).
  • SAEs : Utilisation de SAEs entraînés sur des données spécifiques (K562 uniquement) ou multi-tissus.
  • Mesures : Pour chaque paire source-cible, le changement d'activation est quantifié par la d-cohérence de Cohen (|d|) et la cohérence (fraction de cellules où le signe du changement est identique).
  • Critères de significativité : |d| > 0.5 et cohérence > 0.7.
• Échelle de l'expérience : 96 892 arêtes causales analysées via 80 191 passes avant (forward passes) au total.

3. Contributions Clés et Résultats Principaux

A. Architecture de Calcul Dense et Dominance Inhibitrice

• Densité : Les graphes de calcul sont denses. Chaque caractéristique source influence en moyenne 600 à 2 400 caractéristiques en aval.
• Dominance Inhibitrice : Une découverte majeure est la prédominance des arêtes inhibitrices (65 % à 89 % des arêtes). L'ablation d'une caractéristique réduit l'activation des caractéristiques en aval, suggérant que les caractéristiques encodent des informations nécessaires plutôt que redondantes.
  • Geneformer : ~80 % d'arêtes inhibitrices.
  • scGPT : ~65 % d'arêtes inhibitrices (dynamique plus compétitive).

B. Deux Architectures Computationnelles Distinctes

L'étude révèle que Geneformer et scGPT adoptent des stratégies computationnelles fondamentalement différentes, malgré leur objectif commun :

• Geneformer : Architecture coopérative basée sur la dépendance.
  • Hubs organisés autour du traitement de l'ARN et de la chromatine.
  • Les caractéristiques de la couche 0 (L0) agissent comme des nœuds de diffusion massifs.
• scGPT : Architecture compétitive et dynamique.
  • Hubs organisés autour du métabolisme énergétique (transport d'électrons mitochondriaux, protéolyse).
  • Les effets individuels sont plus forts (|d| moyen = 1.40 contre 1.05 pour Geneformer).
  • Les caractéristiques des couches intermédiaires (L4) agissent comme des hubs d'intégration, contrairement à Geneformer où L0 domine.

C. Cohérence Biologique et Convergence Trans-Modèle

• Cohérence Biologique : Environ 53 % des arêtes causales relient des caractéristiques partageant des annotations d'ontologie (GO, KEGG, Reactome). Ce chiffre est stable quel que soit le modèle, suggérant une propriété intrinsèque de l'organisation des connaissances biologiques.
• Convergence : 1 142 paires de domaines biologiques sont conservées entre les deux modèles (enrichissement de 10,6x par rapport au hasard, p < 0.001). Cela confirme que les modèles apprennent des structures biologiques réelles et non des artefacts spécifiques à l'architecture.
• Impact des SAE : L'utilisation de SAEs entraînés sur des tissus multiples augmente la cohérence biologique à ~69 %, indépendamment du type de cellule d'entrée. Cela indique que la « lentille » (le SAE) est cruciale pour la qualité de l'interprétabilité.

D. Hiérarchie Temporelle et Découverte de Nouveaux Liens

• Ordre Temporel : Le graphe causal respecte l'ordre biologique temporel : les processus de signalisation (MAPK, Ras) apparaissent dans les premières couches, suivis par la modification de la chromatine, puis la régulation de l'expression génique dans les couches profondes.
• Découvertes : 29 864 arêtes « novatrices » (non présentes dans les bases de données de référence) ont été identifiées, suggérant des couplages fonctionnels trans-compartimentaux (ex: métabolisme mitochondrial influençant le transport protéique).

E. Validation par Perturbation (CRISPRi)

• Une validation au niveau des gènes via des données CRISPRi (Replogle) montre une précision directionnelle de 56,4 % (légèrement supérieure au hasard de 50 %).
• Conclusion importante : Les modèles encodent principalement des co-expressions et des relations structurelles entre processus biologiques, mais ne capturent pas de manière fiable les relations causales régulatrices précises au niveau des gènes individuels pour prédire les résultats de perturbations.

4. Signification et Implications

1. Unité de Calcul : L'étude démontre que les caractéristiques (features) sont l'unité naturelle de calcul biologique dans ces modèles, et non les composants architecturaux (têtes d'attention, couches MLP), dont l'ablation produit souvent des effets nuls.
2. Universalité vs Spécificité : La convergence sur ~53 % de cohérence et la dominance inhibitrice suggèrent des principes universels de traitement de l'information biologique par les Transformers. Les différences (hubs, ratio inhibiteur) révèlent l'impact de l'architecture et de l'objectif d'entraînement.
3. Génération d'Hypothèses : La méthode permet d'extraire systématiquement des connaissances biologiques à grande échelle et d'identifier des circuits conservés (ex: réponse aux dommages de l'ADN, cycle cellulaire) ainsi que des relations potentiellement nouvelles à valider expérimentalement.
4. Limites de la Prédictivité : Bien que ces modèles soient d'excellentes cartes des relations entre processus biologiques, ils ne sont pas encore des prédicteurs fiables des résultats de perturbations génétiques spécifiques, soulignant la distinction entre corrélation structurelle et causalité régulatrice stricte.

En résumé, ce travail établit un nouveau cadre pour l'interprétabilité mécanistique des modèles de fondation biologiques, révélant que ces modèles internalisent une « carte » causale dense et cohérente du monde biologique, structurée par des principes d'inhibition et d'intégration hiérarchique.