pertTF: context-aware AI modeling for genome-scale and cross-system perturbation prediction

Le papier présente pertTF, un modèle d'intelligence artificielle basé sur les transformers qui prédit avec précision les réponses aux perturbations génétiques à l'échelle du génome et dans divers contextes cellulaires, y compris des systèmes physiologiques pertinents comme les îlots pancréatiques humains, en inférant à la fois les changements d'expression et les modifications de l'identité cellulaire.

L'essentiel

Imaginez que le corps humain est une gigantesque usine de construction où chaque cellule est un ouvrier spécialisé. Parfois, pour comprendre comment fonctionne cette usine, les scientifiques doivent faire des expériences : ils retirent un outil (un gène) pour voir ce qui se passe. C'est ce qu'on appelle une "perturbation".

Le problème ? L'usine est si vaste et les combinaisons d'outils si nombreuses que tester tout cela en laboratoire prendrait des siècles et coûterait une fortune. De plus, certains "ouvriers" (comme les cellules du pancréas chez l'humain) sont fragiles et difficiles à manipuler.

C'est là qu'intervient pertTF, le nouveau super-héros de l'intelligence artificielle décrit dans cet article. Voici comment il fonctionne, expliqué simplement :

1. L'élève qui a tout vu (L'entraînement)

Pour apprendre à prédire l'avenir, pertTF a dû étudier une bibliothèque immense. Les chercheurs lui ont donné les résultats de 87 000 expériences réelles sur des cellules souches humaines en train de devenir des cellules pancréatiques.

• L'analogie : Imaginez un chef cuisinier qui a goûté à des milliers de plats où un ingrédient a été retiré (sans sel, sans sucre, sans œuf). Il a appris à deviner exactement à quoi ressemblera le plat final, même s'il n'a jamais cuisiné ce plat précis auparavant.

2. Le "Cerveau" qui comprend le contexte

La plupart des anciens modèles d'IA étaient comme des élèves qui apprennent par cœur : ils savaient dire "Si on enlève le sel, le plat est fade". Mais ils échouaient si on leur demandait ce qui se passe dans un autre type de cuisine (un autre tissu du corps).

pertTF, lui, est un chef contextuel.

• Il ne regarde pas seulement le gène qu'on enlève, mais aussi l'environnement de la cellule.
• L'analogie : Si vous retirez un moteur d'une voiture de course, elle ne bouge plus. Si vous retirez le même moteur d'un tracteur, le tracteur ne bouge pas non plus, mais les conséquences sont différentes. pertTF comprend cette nuance. Il sait que le même gène enlevé dans une cellule de peau aura un effet différent que dans une cellule du pancréas.

3. Prédire l'imprévisible (Généralisation)

C'est la vraie magie de pertTF. Il a appris à deviner les effets de gènes qu'il n'a jamais vus pendant son entraînement.

• Comment ? Il utilise une sorte de "carte des relations" (un réseau de neurones graphique). Il sait que le gène A ressemble au gène B. Donc, s'il n'a jamais vu le gène C, il peut dire : "Le gène C ressemble au gène A et B, donc si on l'enlève, le résultat sera probablement un mélange des deux."
• L'analogie : C'est comme si vous aviez appris à conduire une Ford et une Toyota. Si on vous donne une Honda que vous n'avez jamais vue, vous savez quand même comment la conduire parce que vous comprenez les principes généraux de la conduite, pas juste les boutons de ces deux marques.

4. Voir au-delà de la simple expression

Les anciens modèles ne regardaient que la liste des mots (les gènes) qui s'activent ou se désactivent. pertTF va plus loin : il prédit l'identité de la cellule.

• L'analogie : Au lieu de juste dire "Le moteur fait du bruit", pertTF peut dire : "À cause de ce bruit, la voiture va changer de couleur et devenir un camion." Il prédit si une cellule va changer de métier (par exemple, passer de cellule saine à cellule malade) ou si une population entière de cellules va disparaître.

5. La "Machine à voyager dans le temps" (Simulations)

Grâce à tout cela, pertTF permet de faire des expériences virtuelles.

• Les chercheurs peuvent maintenant demander à l'IA : "Que se passerait-il si on enlevait ce gène précis dans le pancréas d'un patient diabétique ?"
• L'IA répond en quelques secondes, sans avoir besoin de manipuler un seul patient ou de faire des années d'expériences en laboratoire. Cela permet de trier des milliers de possibilités pour ne garder que les plus prometteuses à tester réellement.

En résumé

pertTF est comme un oracle scientifique. Il a lu tous les livres d'histoire de la biologie du pancréas, il comprend les règles du jeu, et il peut maintenant prédire l'avenir de n'importe quelle cellule, même dans des situations qu'il n'a jamais vues, pour nous aider à guérir des maladies comme le diabète.

C'est un pas énorme vers la création de "cellules virtuelles" dans l'ordinateur, qui nous permettent d'explorer la médecine sans toucher à un seul patient, rendant la recherche plus rapide, moins chère et plus sûre.

Résumé technique

Résumé Technique : pertTF – Modélisation IA contextuelle pour la prédiction des perturbations à l'échelle du génome

1. Problématique et Contexte

La prédiction des réponses cellulaires aux perturbations génétiques au niveau de la cellule unique est fondamentale pour comprendre les états cellulaires et les mécanismes des maladies. Cependant, les approches existantes souffrent de limitations majeures :

• Généralisation limitée : Les modèles actuels peinent à prédire les effets de perturbations sur des gènes non vus lors de l'entraînement ou dans des contextes cellulaires (types de cellules) différents de ceux du jeu de données d'entraînement.
• Prédiction de phénotypes restreinte : La plupart des modèles se concentrent uniquement sur les changements d'expression génique, négligeant des résultats phénotypiques cruciaux tels que les changements d'identité cellulaire et la composition des populations.
• Difficultés expérimentales : La cartographie expérimentale complète des effets des perturbations est souvent impossible dans des systèmes biologiquement pertinents (cellules primaires, organoïdes, modèles animaux) en raison de contraintes techniques et biologiques (fragilité des cellules, rareté des populations).

Il existe donc un besoin urgent de modèles computationnels capables de prédire in silico les réponses transcriptomiques et phénotypiques aux perturbations génétiques, avec une capacité de généralisation robuste.

2. Méthodologie : L'architecture pertTF

pertTF (perturbation TransFormer) est un modèle basé sur l'architecture Transformer, conçu spécifiquement pour apprendre des représentations latentes partagées de l'état cellulaire et du génotype de perturbation.

A. Jeu de données d'entraînement unique

Le modèle a été entraîné sur un jeu de données massif et de haute qualité généré par le consortium MorPhiC :

• Source : 79 lignées clonales de cellules souches pluripotentes humaines (hPSC) avec des knockouts complets (KO) de 30 gènes régulateurs de la lignée pancréatique et gènes de risque diabétique.
• Portée : Plus de 87 000 cellules couvrant 14 types cellulaires majeurs au cours de la différenciation pancréatique (de l'endoderme définitif aux sous-types d'îlots).
• Avantage : Contrairement aux données Perturb-seq existantes souvent limitées à quelques lignées cellulaires ou à des knockdowns partiels, ce jeu de données offre des perturbations complètes (KO) dans un continuum de développement.

B. Architecture du modèle

pertTF est un modèle multi-tâches qui intègre les profils d'expression génique et les informations de perturbation :

1. Intégration des perturbations : Un encodeur de perturbation (embedding) est concaténé aux embeddings cellulaires.
2. Objectifs d'entraînement multi-tâches : Le modèle optimise simultanément :
   • La reconstruction masquée de l'expression génique (Masked Gene Expression Reconstruction).
   • La classification du type cellulaire.
   • La classification du génotype (perturbation).
   • La prédiction des changements de composition cellulaire (via le score lochNESS).
3. Modélisation de la distribution : Contrairement aux modèles utilisant l'erreur quadratique moyenne (MSE), pertTF utilise une perte de vraisemblance négative binomiale (NB-NLL) pour mieux capturer la nature de comptage et la surdispersion des données scRNA-seq.
4. Apprentissage contrastif supervisé : Une perte contrastive est ajoutée pour garantir que les embeddings latents forment des clusters bien séparés pour différents types cellulaires et perturbations.
5. Généralisation aux gènes non vus : Pour prédire les effets de gènes absents du jeu d'entraînement, pertTF intègre des embeddings de gènes externes dérivés d'un Réseau de Neurones à Graphes (GNN) entraîné sur des similarités fonctionnelles (Gene Ontology) et des données Perturb-seq de K562.

3. Contributions Clés

1. Prédiction de phénotypes complexes : Au-delà de l'expression génique, pertTF prédit les changements d'identité cellulaire et les décalages de composition des populations (enrichissement/déplétion) via le score lochNESS.
2. Généralisation contextuelle et génétique : Le modèle démontre une capacité exceptionnelle à extrapoler les effets des perturbations à des types cellulaires non vus et à des gènes non présents dans les données d'entraînement.
3. Apprentissage par transfert vers des tissus primaires : Le modèle a été adapté avec succès aux îlots pancréatiques humains primaires (contexte de diabète de type 2) via un fine-tuning avec très peu de données étiquetées, permettant d'inférer des états de perturbation latents sans étiquettes génétiques explicites.
4. Dépistage génétique virtuel (in silico) : pertTF permet de réaliser des cribles génétiques virtuels (pools et single-cell) pour prioriser les gènes candidats ayant un impact phénotypique souhaité.

4. Résultats Principaux

Performance et Benchmarking

• Supériorité sur les modèles existants : PertTF surpasse systématiquement les modèles de fondation actuels (scGPT, Geneformer, scFoundation) et la méthode GEARS sur 8 métriques d'évaluation (ROC-AUC, PR-AUC, corrélation de Pearson, MAE, etc.).
• Généralisation :
  • Dans des scénarios de "type cellulaire non vu", pertTF prédit avec précision les décalages d'embeddings induits par des knockouts (ex: PDX1) dans des cellules non présentes à l'entraînement.
  • Dans des scénarios de "gène non vu" (gènes exclus de l'entraînement), l'utilisation des embeddings GNN permet à pertTF de retrouver les effets biologiques critiques (ex: perte de PDX1) avec une précision supérieure aux méthodes de comparaison.
  • La combinaison "gène non vu + type cellulaire non vu" reste un défi majeur, mais pertTF maintient une performance supérieure.

Validation Expérimentale Indépendante

• Perturb-seq CRISPRi : Une validation indépendante a été réalisée sur des cellules souches pluripotentes induites (iPSC) avec un criblage CRISPRi (knockdown) ciblant 50 gènes (dont 48 non vus à l'entraînement). PertTF a correctement prédit les décalages d'embeddings et les changements d'expression, confirmant sa robustesse face à différentes modalités de perturbation.
• Application aux îlots humains : Sur des données d'îlots primaires (donateurs non diabétiques, pré-diabétiques et diabétiques), le modèle a inféré avec succès une augmentation des états de perte de fonction de PDX1 et d'autres gènes de risque chez les patients diabétiques, corrélant avec la progression de la maladie. Il a également distingué les sous-types de cellules bêta (bêta-1 vs bêta-2) et leurs régulateurs spécifiques (HNF4A vs NEUROD1).

Cribles Génétiques Virtuels

• Reproduction de la biologie connue : En utilisant la similarité des embeddings ou le score lochNESS, pertTF a correctement identifié PDX1 comme régulateur principal des progéniteurs pancréatiques, ainsi que d'autres régulateurs connus (GATA6, MAPK1), validant ses prédictions par rapport à des cribles CRISPR pools expérimentaux.
• Prédiction de l'essentiel : Le modèle a correctement prédit des scores lochNESS négatifs (déplétion) pour des gènes essentiels (ex: ribosomaux) non présents dans l'entraînement, démontrant sa capacité à capturer la viabilité cellulaire.

5. Signification et Perspectives

pertTF représente une avancée majeure vers la création de "cellules virtuelles" (AI virtual cells) capables de guider la conception expérimentale et la découverte biomédicale.

• Impact Biologique : Le modèle permet d'explorer des espaces de perturbations génétiques et cellulaires qui sont actuellement inaccessibles expérimentalement (coût, éthique, complexité technique), en particulier dans les tissus humains primaires et les modèles de maladies.
• Cadre Généralisable : Bien que développé sur le pancréas, l'architecture et la stratégie d'entraînement de pertTF sont applicables à d'autres systèmes biologiques.
• Limites et Futur : Les auteurs notent que l'extension à des perturbations partielles (dosage), à d'autres modalités (CRISPRa/i, édition de base) et à l'intégration de données multimodales (accessibilité chromatinienne, protéines) sont des étapes nécessaires pour affiner davantage la précision prédictive.

En résumé, pertTF établit un nouveau standard pour la prédiction des perturbations génétiques, combinant des données d'entraînement riches, une architecture Transformer adaptée et une validation rigoureuse pour offrir un outil puissant de criblage génétique virtuel.