CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

CLM-X est un modèle fondamental multimodal unique pour l'analyse intégrée des données scRNA-seq et scATAC-seq, basé sur une architecture Transformer à voies multiples qui surpasse les méthodes existantes dans des tâches telles que la traduction intermodale et la prédiction des réponses aux perturbations génétiques.

L'essentiel

Imaginez que chaque cellule de votre corps est comme une petite ville en pleine activité. Pour comprendre comment fonctionne cette ville, les scientifiques ont deux façons principales de l'observer :

1. Le scRNA-seq (L'Inventaire des Usines) : C'est comme compter combien de produits chaque usine (gène) fabrique à un instant précis. Cela nous dit ce que la cellule fait en ce moment.
2. Le scATAC-seq (Le Plan d'Urbanisme) : C'est comme regarder les plans de la ville pour voir quelles routes sont ouvertes ou fermées. Cela nous dit pourquoi certaines usines fonctionnent et d'autres non (c'est l'information épigénétique).

Le problème, c'est que jusqu'à présent, les chercheurs devaient étudier ces deux aspects séparément, comme si on essayait de comprendre une ville en regardant seulement les usines un jour, et seulement les plans de routes le lendemain. Les outils existants pour combiner ces deux vues étaient souvent lourds, rigides, et nécessitaient des données parfaites (où l'on a les deux vues pour la même cellule), ce qui est très rare.

Voici comment CLM-X change la donne, expliqué simplement :

🧠 CLM-X : Le Super-Détective Polyglotte

Imaginez CLM-X comme un super-détective (ou un chef cuisinier génial) qui a lu des millions de livres sur les villes (les cellules). Il a appris à comprendre deux langues différentes : la langue des "Usines" (ARN) et la langue des "Plans" (ATAC).

1. Une langue commune pour tout le monde (Le Tokenization)

Avant, les deux types de données parlaient des langues incompréhensibles l'une pour l'autre. CLM-X a inventé un dictionnaire universel.

• Il transforme les données complexes en de petits blocs standardisés (comme des Lego).
• Que ce soit une cellule avec seulement des données d'usines, seulement des plans, ou les deux, CLM-X les assemble tous dans le même format. C'est comme si vous pouviez mélanger des pièces de puzzle de deux jeux différents, et que CLM-X savait exactement comment elles s'assemblent.

2. L'entraînement en trois étapes (Le Pré-entraînement)

Pour devenir un expert, CLM-X n'a pas tout appris d'un coup. Il a suivi un entraînement progressif, comme un étudiant :

• Étape 1 : Il lit des millions de livres sur les usines (ARN) pour comprendre la vie quotidienne des cellules.
• Étape 2 : Il lit des millions de livres sur les plans de ville (ATAC) pour comprendre la structure.
• Étape 3 (Le grand saut) : Il regarde des livres où les deux sont présents (les paires ARN-ATAC). Ici, il apprend à faire le lien : "Ah, quand cette route est ouverte (Plan), cette usine se met à produire (ARN) !".

Ce qui est génial, c'est qu'il n'a pas besoin de millions de paires parfaites. Il utilise ce qu'il a appris seul sur les usines et les plans pour deviner les liens, même avec peu d'exemples combinés.

3. Ce que CLM-X peut faire maintenant (Les Applications)

Une fois entraîné, ce détective peut résoudre des énigmes complexes que les anciens outils ne pouvaient pas résoudre :

• Nettoyer le brouillard (Correction des biais) : Parfois, les données sont "sales" à cause de la façon dont elles ont été collectées (différents laboratoires, différents jours). CLM-X sait enlever ce bruit pour ne garder que la vraie histoire biologique, comme un filtre photo qui enlève la poussière pour révéler le vrai visage.
• La traduction magique (Traduction croisée) : C'est son super-pouvoir le plus impressionnant. Si vous lui donnez seulement le "Plan de la ville" (ATAC), il peut deviner avec une grande précision ce que les "Usines" (ARN) produisent, et vice-versa. C'est comme si vous lui montriez une carte de métro et qu'il vous décrivait le trafic routier exact en temps réel.
• Prédire l'avenir (Réponse aux perturbations) : Si vous dites à CLM-X : "Et si on fermait cette usine ?", il peut prédire comment toute la ville va réagir. Il peut simuler des expériences génétiques virtuelles, ce qui aide à trouver de nouveaux médicaments sans avoir à tout tester en laboratoire.
• Identifier les habitants (Annotation des types cellulaires) : Il peut dire exactement quel type de cellule il regarde (un globule rouge, une cellule immunitaire, etc.) en combinant les indices des deux sources, même si l'une des sources est très bruitée.

Pourquoi est-ce une révolution ?

Avant, pour comprendre une cellule, il fallait souvent choisir entre regarder les usines ou les plans, ou alors attendre d'avoir des données parfaites et rares.

CLM-X, c'est comme avoir un couteau suisse universel. Il est flexible, il apprend tout seul sur de gigantesques quantités de données, et il peut combiner n'importe quel type d'information pour donner une image claire, complète et précise de la vie cellulaire. Il permet aux scientifiques de voir la ville entière, pas juste un quartier, et de prédire comment elle évoluera face à de nouveaux défis.

En résumé : CLM-X est le premier cerveau artificiel capable de lire, comprendre et traduire simultanément les deux langages fondamentaux de la vie cellulaire, rendant la biologie plus précise, plus rapide et plus prédictive.

Résumé technique

1. Problématique et Contexte

L'analyse du transcriptome (scRNA-seq) et de l'accessibilité de la chromatine (scATAC-seq) à l'échelle d'une cellule unique a révolutionné la biologie cellulaire. Cependant, l'intégration de ces données multimodales présente des défis majeurs :

• Hétérogénéité des données : Les deux modalités ont des structures de données, des niveaux de bruit et des biais techniques très différents (comptages discrets pour l'ARN vs vecteurs binaires pour l'ATAC).
• Pénurie de données appariées : Les données où le même cellule est mesurée pour l'ARN et l'ATAC (multiome) sont rares et coûteuses par rapport aux données unimodales massives.
• Limites des méthodes existantes : La plupart des méthodes actuelles (comme MultiVI, scJoint) sont conçues pour des tâches spécifiques, nécessitent des prétraitements subjectifs et peinent à généraliser à l'échelle de millions de cellules. Les modèles de fondation (Foundation Models) unimodaux (ex: scGPT) ne capturent pas les interactions entre les modalités.

Il existe donc un besoin urgent d'un modèle de fondation multimodal unifié, flexible, capable d'apprendre des représentations transférables à partir de données massives (appariées et non appariées) pour diverses tâches en aval.

2. Méthodologie : CLM-X

CLM-X est un modèle de fondation pour cellules uniques basé sur une architecture Transformer multi-voies (Multiway Transformer), inspirée de l'architecture BEiT-3.

A. Tokenisation et Représentation Unifiée

Pour intégrer scRNA-seq et scATAC-seq dans un même espace d'entrée, les auteurs ont conçu un schéma de tokenisation harmonisé :

• scRNA-seq : Chaque gène est un "token". Les valeurs d'expression sont discrétisées en "bins" (intervalles) pour préserver l'ordre relatif tout en normalisant les échelles. La séquence est limitée à 2 000 tokens.
• scATAC-seq : Les pics (peaks) sont regroupés en "patches" contigus selon l'ordre génomique. Chaque patch est un token, associé à un vecteur binaire indiquant l'accessibilité des pics à l'intérieur du patch. La séquence est également limitée à 2 000 tokens.
• Entrées appariées : Pour les données RNA-ATAC appariées, les séquences de tokens sont concaténées pour former une fenêtre contextuelle unique allant jusqu'à 4 000 tokens, permettant une interaction directe via l'attention.

B. Architecture : Transformer Multi-voies

Le cœur du modèle est un Transformer avec :

• Attention Multi-têtes Partagée (Shared MHSA) : Une seule couche d'attention gère les interactions entre tous les tokens, qu'ils soient d'origine ARN, ATAC ou les deux.
• Experts FFN Spécifiques aux Modalités : Après l'attention, les tokens sont routés vers des réseaux de neurones feed-forward (FFN) spécialisés selon leur modalité :
  • R-FFN : Pour les tokens ARN.
  • A-FFN : Pour les tokens ATAC.
  • RA-FFN : Pour les tokens dans un contexte apparié (fusion).
    Cette conception permet de préserver les caractéristiques spécifiques à chaque modalité tout en apprenant des représentations communes profondes.

C. Stratégie de Pré-entraînement par Étapes (Stage-wise Pretraining)

Pour maximiser l'utilisation des données massives non appariées et apprendre les corrélations croisées, CLM-X utilise une stratégie de pré-entraînement en trois phases avec héritage des poids :

1. Phase 1 (RNA-only) : Reconstruction masquée des valeurs d'expression ARN sur des données unimodales massives (36 millions de cellules).
2. Phase 2 (ATAC-only) : Reconstruction masquée des valeurs d'accessibilité ATAC sur des données unimodales (2,8 millions de cellules), en héritant des poids de l'attention partagée de la phase 1.
3. Phase 3 (Paired RNA-ATAC) : Sur des données appariées (370k cellules), le modèle apprend l'alignement croisé via un objectif de reconstruction conditionnelle bidirectionnelle en deux sous-étapes :
   • Masquer l'ATAC et reconstruire en conditionnant sur l'ARN.
   • Masquer l'ARN et reconstruire en conditionnant sur l'ATAC.
     Cela force le modèle à apprendre les dépendances transcriptionnelles-épigénétiques sans dépendre exclusivement de la disponibilité de données appariées.

D. Adaptation aux Tâches (Fine-tuning)

Le modèle est ensuite affiné (fine-tuned) pour cinq tâches en aval en ajoutant des têtes légères spécifiques, tout en gardant l'encodeur central figé ou partiellement ajusté :

• Correction des effets de lot (Batch correction).
• Intégration multimodale.
• Traduction croisée (prédire l'ARN à partir de l'ATAC et vice-versa).
• Annotation des types cellulaires.
• Prédiction de la réponse aux perturbations génétiques.

3. Contributions Clés

1. Premier modèle de fondation unifié scRNA-seq/scATAC-seq : CLM-X est le premier modèle capable de traiter nativement des entrées unimodales, multimodales appariées et non appariées dans un seul cadre Transformer.
2. Architecture Multi-voies flexible : L'utilisation d'experts FFN spécifiques aux modalités couplés à une attention partagée permet une fusion profonde tout en gérant l'hétérogénéité des données.
3. Stratégie de pré-entraînement innovante : L'approche par étapes et la reconstruction conditionnelle bidirectionnelle permettent d'exploiter efficacement les vastes corpus de données non appariées tout en apprenant des relations croisées robustes.
4. Tokenisation harmonisée : Une méthode de représentation uniforme (tokens + valeurs) qui élimine le besoin de prétraitements complexes et subjectifs pour aligner les modalités.

4. Résultats Expérimentaux

CLM-X a été évalué sur 10 ensembles de données de référence couvrant 5 tâches, comparé à des méthodes de pointe (MultiVI, scJoint, scGPT, BABEL, etc.) et à des modèles unimodaux.

• Correction des effets de lot : CLM-X surpasse toutes les méthodes multimodales et unimodales, préservant mieux la structure biologique (NMI élevé) tout en mélangeant efficacement les lots techniques (bASW élevé).
• Intégration Multimodale : En fusionnant l'ARN et l'ATAC, CLM-X obtient les meilleurs scores d'agrégation (ARI, NMI) pour la séparation des types cellulaires, surpassant les ablations unimodales et les méthodes concurrentes.
• Traduction Croisée (Cross-modal Translation) : C'est le domaine où CLM-X excelle le plus. Il prédit l'expression génique à partir de l'ATAC (et inversement) avec une fidélité quantitative supérieure (PCC plus élevé, RMSE plus faible) que BABEL, MultiVI ou CMAE, même sur des gènes non filtrés.
• Annotation des types cellulaires : CLM-X atteint une précision et un F1-score supérieurs, en particulier pour les populations cellulaires rares ou difficiles à distinguer (ex: monocytes IL1B+), là où d'autres modèles échouent.
• Prédiction de Perturbation : Le modèle généralise mieux aux perturbations génétiques non vues lors de l'entraînement, prédisant avec plus de précision les changements d'expression génique (corrélation DE20 et ! Pearson supérieurs à GEARS et scGPT).

5. Signification et Impact

CLM-X représente une avancée majeure vers des modèles de fondation véritablement généraux pour la biologie cellulaire.

• Robustesse et Évolutivité : Il démontre qu'un seul encodeur pré-entraîné peut être adapté à des tâches hétérogènes, réduisant la nécessité de développer des modèles spécifiques pour chaque problème.
• Interprétabilité Biologique : En apprenant les couplages transcription-épigénétique de manière non supervisée, il offre un cadre pour découvrir de nouveaux programmes régulateurs et mécanismes de réponse aux perturbations.
• Avenir de l'analyse : Ce travail ouvre la voie à l'intégration de modalités supplémentaires (protéomique, métabolisme) et à l'application sur des atlas cellulaires encore plus vastes et complexes, facilitant la découverte biologique systématique.

En résumé, CLM-X établit un nouvel état de l'art pour l'analyse intégrée des données scRNA-seq et scATAC-seq, surpassant les approches de fusion multimodale traditionnelles et les modèles unimodaux grâce à son architecture flexible et sa stratégie d'apprentissage pré-entraînée à grande échelle.