CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

Die Studie stellt CLM-X vor, ein multimodales Single-Cell-Grundlagenmodell auf Basis einer flexiblen Multi-Way-Transformer-Architektur, das durch eine einheitliche Tokenisierung und ein gestuftes Maskierungs-Pretraining eine integrierte Analyse von scRNA-seq- und scATAC-seq-Daten ermöglicht und dabei bestehende Methoden in Aufgaben wie Kreuzmodalitäts-Übersetzung und Perturbationsvorhersage übertrifft.

Das Wesentliche

Stellen Sie sich vor, Ihr Körper ist eine riesige, hochkomplexe Stadt. Jede einzelne Zelle ist ein Bürger dieser Stadt. Um zu verstehen, wie diese Stadt funktioniert, haben Wissenschaftler in der Vergangenheit oft nur einen Aspekt betrachtet: Entweder haben sie geschaut, welche Befehle (Gene) gerade aktiv sind (das ist die RNA), oder sie haben sich die Schalter im Haus angeschaut, die diese Befehle ein- oder ausschalten können (das ist die ATAC).

Das Problem: Wenn man nur die Befehle liest, weiß man nicht, warum sie ausgeführt werden. Wenn man nur die Schalter betrachtet, sieht man nicht, was gerade passiert. Bisher mussten Forscher diese beiden Welten wie zwei separate Übersetzer zusammenführen, was oft zu Missverständnissen und Fehlern führte.

Hier kommt CLM-X ins Spiel. Es ist wie ein geniales, allwissendes Super-Geheimagenten-System, das beide Welten gleichzeitig versteht und perfekt miteinander verknüpft.

Hier ist die einfache Erklärung, wie CLM-X funktioniert:

1. Die Sprache der Zellen (Tokenisierung)

Stellen Sie sich vor, die DNA und die RNA sind wie Bücher mit Millionen von Wörtern. Aber diese Bücher sind riesig und unübersichtlich.

• CLM-X nimmt diese riesigen Bücher und verwandelt sie in kleine, handliche Karten (Tokens).
• Für die RNA (die Befehle) macht es Karten mit den Gen-Namen und wie laut sie schreien.
• Für die ATAC (die Schalter) macht es Karten, die zeigen, welche Schalter in einem bestimmten Stadtviertel an oder aus sind.
• Der Clou: CLM-X hat eine einheitliche Sprache entwickelt. Ob RNA oder ATAC – alles wird in das gleiche Format gebracht, damit das System sie direkt vergleichen kann, ohne einen Dolmetscher zu brauchen.

2. Der Lernprozess (Das Training)

Wie lernt ein solches System? Stellen Sie sich CLM-X wie einen Studenten vor, der in einer riesigen Bibliothek sitzt.

• Phase 1 (Einzelne Fächer): Zuerst liest der Student nur RNA-Bücher und versucht, fehlende Seiten aus dem Gedächtnis zu ergänzen. Dann macht er dasselbe nur mit ATAC-Büchern. Er lernt die Grundlagen jeder Sprache für sich.
• Phase 2 (Die Verbindung): Jetzt bekommt er Bücher, in denen RNA und ATAC Seite an Seite stehen. Er lernt: "Aha! Wenn dieser Schalter (ATAC) an ist, dann schreit dieses Gen (RNA) besonders laut."
• Das Ergebnis: Das System hat gelernt, wie die Schalter die Befehle steuern. Es versteht die Logik hinter dem Leben, nicht nur die Daten.

3. Was kann CLM-X jetzt tun? (Die Anwendungen)

Dank dieses Trainings kann CLM-X Aufgaben lösen, die für andere Systeme fast unmöglich sind:

• Die "Zeitmaschinen"-Funktion (Batch-Korrektur):
  Oft werden Zellen in verschiedenen Laboren zu verschiedenen Zeiten gemessen. Das ist wie Fotos, die bei unterschiedlichem Licht gemacht wurden – manche wirken gelblich, andere bläulich. CLM-X kann diese "Lichteffekte" (technische Fehler) herausfiltern und alle Zellen so darstellen, als wären sie im perfekten, neutralen Licht fotografiert worden. So können Forscher Zellen aus verschiedenen Studien direkt vergleichen.

• Die "Wahrsager"-Funktion (Vorhersage fehlender Daten):
  Manchmal haben wir nur RNA-Daten, aber wir wollen wissen, wie die Schalter (ATAC) aussehen. Oder umgekehrt. CLM-X kann wie ein erfahrener Detektiv die fehlenden Teile ergänzen. Wenn es die RNA sieht, kann es fast perfekt vorhersagen, welche Schalter aktiv sind, und umgekehrt. Es füllt Lücken in unseren Daten auf, ohne dass wir teure neue Experimente machen müssen.

• Die "Identitäts-Check"-Funktion (Zelltypen erkennen):
  In einer Blutprobe gibt es viele verschiedene Zelltypen (wie Soldaten, Polizisten, Ärzte). CLM-X kann diese Zellen mit extrem hoher Genauigkeit identifizieren, selbst wenn sie sich sehr ähnlich sehen. Es nutzt dabei sowohl die Befehle als auch die Schalter, um die Identität sicher zu bestimmen.

• Die "Was-wäre-wenn"-Maschine (Vorhersage von Eingriffen):
  Das ist vielleicht das Coolste: Wenn wir ein Gen "ausschalten" (wie bei einer CRISPR-Operation), wie reagiert die Zelle? CLM-X kann das vorhersagen! Es simuliert im Computer, was passiert, wenn wir ein bestimmtes Gen manipulieren. Das ist wie ein Flugsimulator für Zellen, der hilft, neue Medikamente zu finden, ohne dass man tausende echte Experimente durchführen muss.

Warum ist das so wichtig?

Bisher waren die Werkzeuge für diese Analysen wie Schraubenschlüssel: Sie passten nur auf eine bestimmte Schraube (einen bestimmten Datentyp oder eine bestimmte Aufgabe).

CLM-X ist wie ein universeller Roboter-Arm, der jeden Schraubenschlüssel, jede Zange und jeden Hammer ersetzen kann. Es ist ein "Fundament-Modell" (Foundation Model), das auf Millionen von Zellen trainiert wurde und nun flexibel auf fast jede biologische Frage angewendet werden kann.

Zusammenfassend:
CLM-X ist der erste große Schritt hin zu einem "Google für Zellen". Es versteht die komplexe Sprache des Lebens, kann fehlende Informationen erraten, technische Fehler bereinigen und uns sagen, was passiert, wenn wir in das Genom eingreifen. Es macht die Erforschung von Krankheiten und die Entwicklung neuer Therapien schneller, genauer und billiger.

Technische Zusammenfassung

1. Problemstellung

Die Single-Cell-Multimodal-Profilierung (z. B. gleichzeitige Messung von Transkriptomik und Epigenomik) bietet ein tiefgreifendes Verständnis zellulärer Funktionen. Dennoch stellt die Integration großer, heterogener Datensätze (scRNA-seq und scATAC-seq) erhebliche Herausforderungen dar:

• Heterogenität: Unterschiedliche Modalitäten weisen verschiedene Datenstrukturen, Rauschcharakteristika und Sparsity-Muster auf.
• Skalierbarkeit: Bestehende Methoden sind oft auf spezifische Aufgaben zugeschnitten und können nicht effizient auf Millionenzell-Datensätze skaliert werden.
• Datenknappheit: Hochwertige, gepaarte Multimodal-Daten (RNA und ATAC vom selben Zelltyp) sind selten, während unimodale Daten (nur RNA oder nur ATAC) in großen Mengen verfügbar sind.
• Limitationen bestehender Modelle: Viele aktuelle Ansätze nutzen kontrastives Lernen, das oft auf spezifische Paare beschränkt ist und komplementäre Informationen nicht optimal nutzt. Unimodale Foundation-Modelle (wie scGPT) können die regulatorische Logik zwischen RNA und Chromatin nicht direkt lernen.

Es fehlt an einem flexiblen, einheitlichen Foundation-Modell, das sowohl gepaarte als auch ungepaarte Daten verarbeiten und robuste, übertragbare Repräsentationen für diverse Downstream-Aufgaben liefern kann.

2. Methodik: CLM-X

CLM-X ist ein multimodales Foundation-Modell, das auf der BEiT-3-Architektur basiert und ein Multiway-Transformer-Design verwendet.

A. Tokenisierung und Eingabe

• Einheitliche Repräsentation: Sowohl scRNA-seq als auch scATAC-seq werden in ein einheitliches Token-Format überführt.
  • scRNA-seq: Gene werden als Token behandelt. Expressionswerte werden in Rang-basierte Bins diskretisiert (ähnlich wie in scGPT).
  • scATAC-seq: Chromatin-Zugänglichkeits-Peaks werden nach genomischer Koordinate sortiert und in „Patches" (Fenster) gruppiert. Innerhalb dieser Patches werden die Werte binarisiert (0/1).
• Sequenzlänge: Jede Modalität wird auf eine maximale Länge von 2.000 Tokens gepadded oder getrimmt.
• Gepaarte Eingabe: Bei RNA-ATAC-Paaren werden die Sequenzen konkateniert, um einen Kontextfenster von bis zu 4.000 Tokens zu bilden, was direkte Interaktionen über Self-Attention ermöglicht.

B. Architektur: Multiway Transformer

Das Modell nutzt einen Multiway Transformer als Backbone:

• Shared Attention: Ein gemeinsamer Multi-Head-Self-Attention (MHSA)-Mechanismus verarbeitet alle Eingaben, um tiefgreifende multimodale Fusion zu ermöglichen.
• Modality-Specific FFN: Für jede Eingabeart (nur RNA, nur ATAC, gepaart) gibt es spezialisierte Feed-Forward-Netzwerke (R-FFN, A-FFN, RA-FFN). Dies bewahrt modality-spezifische Merkmale, während die Attention-Schichten die Integration steuern.

C. Pretraining-Strategie (Stufenweise Maskierte Rekonstruktion)

CLM-X wird in drei Phasen vortrainiert, um die Abhängigkeit von gepaarten Daten zu minimieren und die Stabilität zu erhöhen:

1. Phase 1 (RNA-only): Maskierte Rekonstruktion von RNA-Werten auf großen unimodalen scRNA-seq-Datensätzen.
2. Phase 2 (ATAC-only): Maskierte Rekonstruktion von ATAC-Werten auf großen unimodalen scATAC-seq-Datensätzen. Die MHSA-Gewichte werden von Phase 1 übernommen.
3. Phase 3 (Gepaarte RNA-ATAC): Zwei-Phasen-Strategie auf gepaarten Daten:
   • Teil A: Maskierung der ATAC-Tokens und Rekonstruktion basierend auf dem RNA-Kontext.
   • Teil B: Maskierung der RNA-Tokens und Rekonstruktion basierend auf dem ATAC-Kontext.
   • Dies fördert bidirektionale, konditionale Cross-Modal-Lernprozesse.

D. Downstream Fine-Tuning

Das vortrainierte Modell wird mit leichten, aufgabenspezifischen Heads für fünf Aufgaben feinabgestimmt:

1. Batch-Korrektur
2. Multimodale Integration
3. Cross-Modal-Translation (RNA ↔ ATAC)
4. Zelltyp-Annotation
5. Vorhersage von Perturbationsantworten (Gen-Knockouts)

3. Wichtige Beiträge

• Einheitliches Framework: CLM-X ist das erste Modell, das scRNA-seq und scATAC-seq in einem einzigen Transformer-Framework vereint, das sowohl gepaarte als auch ungepaarte Eingaben flexibel handhabt.
• Effiziente Nutzung von Daten: Durch die stufenweise Pretraining-Strategie kann das Modell die Fülle an unimodalen Daten nutzen und benötigt weniger gepaarte Daten als rein kontrastive Ansätze.
• Harmonisierte Tokenisierung: Die Entwicklung eines konsistenten Token- und Wert-Embedding-Schemas für zwei fundamental unterschiedliche Datenarten (kontinuierliche Expression vs. binäre Peaks).
• Bidirektionale Konditionierung: Das Pretraining-Objektiv erzwingt nicht nur die Ausrichtung, sondern auch den Transfer komplementärer Informationen zwischen den Modalitäten.

4. Ergebnisse

CLM-X wurde auf 10 verschiedenen Datensätzen evaluiert und übertraf konsistent bestehende multimodale Methoden (MultiVI, Multigrate, MIRA, scMoMaT) sowie unimodale Foundation-Modelle (scGPT).

• Batch-Korrektur: CLM-X erreichte die beste Balance zwischen der Erhaltung biologischer Strukturen (hoher NMI) und der Entfernung technischer Batch-Effekte (hoher bASW). Es funktionierte auch im „Zero-Shot"-Modus (ohne Fine-Tuning) hervorragend.
• Multimodale Integration: Bei der Fusion von RNA und ATAC erzielte CLM-X die höchsten Scores für Clustering-Übereinstimmung (ARI, NMI) und lokale Konsistenz (cLISI), was zeigt, dass die fusionierte Repräsentation informativer ist als die Summe der Einzelteile.
• Cross-Modal-Translation: CLM-X zeigte überlegene Leistung bei der Vorhersage von RNA aus ATAC und umgekehrt. Besonders bei der quantitativen Rekonstruktion (niedriger RMSE, hoher PCC) und der Vorhersage von Genexpressionsmustern in Testzellen war es deutlich besser als BABEL oder MultiVI.
• Zelltyp-Annotation: Das Modell erreichte die höchste Genauigkeit und F1-Scores, insbesondere bei schwer unterscheidbaren Zellpopulationen (z. B. IL1B+ Monozyten), wo andere Methoden oft versagten.
• Perturbationsvorhersage: CLM-X generalisierte besser auf unbekannte genetische Perturbationen (unseen perturbations) und konnte die Richtung und das Ausmaß der Genexpressionsänderungen präziser vorhersagen als GEARS oder scGPT.

5. Bedeutung und Ausblick

CLM-X stellt einen Paradigmenwechsel in der Single-Cell-Analyse dar. Es beweist, dass ein einziges vortrainiertes multimodales Encoder-Modell robust auf verschiedene, heterogene Downstream-Aufgaben angewendet werden kann.

• Biologische Interpretierbarkeit: Durch die genaue Vorhersage von regulatorischen Zusammenhängen (Chromatin zu RNA) ermöglicht das Modell tiefere Einblicke in Genregulationsnetzwerke.
• Skalierbarkeit: Die Architektur ist darauf ausgelegt, mit den exponentiell wachsenden Datenmengen aus Projekten wie dem Human Cell Atlas (HCA) Schritt zu halten.
• Zukunft: Das Framework legt den Grundstein für die Erweiterung auf weitere Modalitäten (Proteomik, Methylierung) und dynamische Prozesse, was die systembiologische Forschung vorantreiben wird.

Zusammenfassend bietet CLM-X eine robuste, skalierbare und biologisch interpretierbare Lösung für die integrative Analyse von scRNA-seq und scATAC-seq Daten, die über die Fähigkeiten aktueller unimodaler oder aufgabenspezifischer Modelle hinausgeht.