CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

CLM-X is een nieuw multimodaal foundationmodel op basis van een flexibele multi-way Transformer-architectuur dat unimodale en multimodale scRNA-seq- en scATAC-seq-data in één raamwerk integreert en hiermee bestaande methoden overtreft in taken zoals batchcorrectie, modale integratie en cross-modale vertaling.

De kern

Stel je voor dat je een enorme bibliotheek van het leven probeert te lezen. Elke cel in ons lichaam is als een klein boekje dat twee verschillende soorten informatie bevat:

1. De "RNA-boekjes" (scRNA-seq): Dit vertelt ons wat de cel doet op dit moment. Is het een spiercel die contracteert? Is het een immuuncel die vecht? Het is als de actieve takenlijst van de cel.
2. De "ATAC-boekjes" (scATAC-seq): Dit vertelt ons wat de cel kan doen. Het zijn de instructies in de achtergrond, de "aan/uit-schakelaars" van de genen. Het vertelt ons welke taken in de toekomst mogelijk zijn.

Het probleem tot nu toe was dat wetenschappers deze twee boekjes vaak apart moesten lezen. Ze hadden één model om de RNA-lijst te begrijpen en een ander model voor de ATAC-schakelaars. Het was alsof je een auto probeerde te repareren door alleen naar de motor te kijken, of alleen naar de stuurinrichting, maar nooit naar hoe ze samenwerken.

CLM-X: De Super-Vertaler

De auteurs van dit paper hebben CLM-X bedacht. Je kunt dit zien als een meester-vertaler of een super-intelligente detective die beide boekjes tegelijk leest en begrijpt hoe ze met elkaar verbonden zijn.

Hier is hoe het werkt, in simpele termen:

1. Het Leerproces (De "School" voor de AI)

Stel je voor dat CLM-X een student is die naar school gaat om biologie te leren.

• De klas: De school heeft drie soorten lessen:
  • Les 1: Alleen RNA lezen (miljoenen cellen).
  • Les 2: Alleen ATAC lezen (miljoenen cellen).
  • Les 3: RNA en ATAC samen lezen (een kleiner aantal cellen waar beide gegevens beschikbaar zijn).
• De methode: In plaats van alleen te kijken naar de antwoorden, krijgt de student een puzzel. De leraar (de computer) bedekt een deel van de tekst (bijvoorbeeld een paar genen of schakelaars) en vraagt de student: "Wat zou hier staan?"
  • Als de student alleen RNA ziet, moet hij de ATAC-schakelaars raden.
  • Als hij alleen ATAC ziet, moet hij de RNA-lijst raden.
  • Als hij beide ziet, moet hij begrijpen hoe ze elkaar beïnvloeden.

Door deze puzzels op te lossen met 36 miljoen RNA-cellen en 2,8 miljoen ATAC-cellen, leert CLM-X de diepe, verborgen regels van het leven. Het leert niet alleen wat er staat, maar waarom het zo staat.

2. De Architectuur (De "Multitasker")

CLM-X gebruikt een slimme structuur (een "Multiway Transformer").

• Vergelijking: Stel je voor dat je een orkest hebt. Meerdere instrumenten spelen tegelijk.
  • De RNA-fluit speelt zijn partituur.
  • De ATAC-drum speelt zijn ritme.
  • CLM-X is de dirigent die naar beide luistert via één groot podium. Hij hoort hoe de fluit de drum beïnvloedt en andersom. Hij zorgt dat ze perfect op elkaar inspelen, zelfs als ze verschillende noten gebruiken.

3. Wat kan deze "Super-Detective" nu doen?

Omdat CLM-X zo goed heeft geoefend, kan hij nu vijf moeilijke taken uitvoeren die andere methoden niet zo goed kunnen:

• Het oplossen van ruis (Batch Correctie): Soms lijken cellen verschillend alleen omdat ze op verschillende momenten of met andere apparaten zijn gemeten (zoals een foto die donkerder is omdat de lamp anders staat). CLM-X weet dat de cel hetzelfde is en verwijdert die "lamp-effecten", zodat je de echte biologische verschillen ziet.
• Het samenvoegen van wereldjes (Modality Integration): Hij kan RNA en ATAC samenvoegen tot één perfecte weergave van een cel. Het is alsof hij twee verschillende kaarten van dezelfde stad over elkaar legt om de meest complete route te vinden.
• Het voorspellen van het onbekende (Cross-modal Translation): Dit is zijn magische kracht. Als je alleen de ATAC-data hebt (de schakelaars), kan hij voorspellen wat de RNA-lijst (de taken) eruit zou zien. En andersom! Het is alsof je alleen naar de blauwdruk van een huis kijkt en perfect kunt voorspellen hoe het interieur eruit ziet, zonder dat je er ooit bent geweest.
• Het herkennen van cellen (Cell Type Annotation): Hij kan heel nauwkeurig zeggen: "Ah, dit is een T-cel, en die is een beetje boos," zelfs als de data onvolledig of ruisig is.
• Het voorspellen van reacties (Perturbation Prediction): Als je een medicijn geeft of een gen uitschakelt, kan CLM-X voorspellen hoe de cel daarop zal reageren. Het is een simulatie-machine voor biologie.

Waarom is dit belangrijk?

Vroeger moesten wetenschappers kiezen: "Kijken we naar de genen of naar de schakelaars?" Of ze moesten complexe, specifieke tools gebruiken voor elke kleine vraag.

CLM-X is de eerste "Alles-in-één" basis voor cellen. Het is een fundamenteel model dat:

1. Schaalbaar is: Het kan omgaan met miljoenen cellen.
2. Flexibel is: Het werkt met alleen RNA, alleen ATAC, of beide.
3. Slim is: Het leert de onderliggende regels van het leven, niet alleen de oppervlakkige patronen.

Kortom: CLM-X is als het leren van de taal van het leven. In plaats van woordenboeken te raadplegen voor elk nieuw woord, heeft deze AI de grammatica en de context van het hele universum van cellen geleerd. Hierdoor kunnen we nu sneller nieuwe medicijnen vinden, ziekten begrijpen en zien hoe cellen zich gedragen in een wereld die steeds complexer wordt.

Technische samenvatting

Probleemstelling

De snelle groei van single-cell multimodale datasets (zoals scRNA-seq en scATAC-seq) biedt unieke inzichten in celbiologie, maar brengt aanzienlijke uitdagingen met zich mee voor geïntegreerde analyse:

1. Heterogeniteit en Schaal: Bestaande methoden zijn vaak ontworpen voor specifieke taken of beperkte datasets en kunnen de schaal van miljoenen cellen (bijv. Human Cell Atlas) niet effectief aan.
2. Modale Verschillen: RNA- en ATAC-data hebben fundamenteel verschillende structuren (dichtheid, ruis, dimensie), wat naadloze integratie bemoeilijkt.
3. Tekort aan Gekoppelde Data: Hoogwaardige "paired" datasets (waarbij RNA en ATAC van dezelfde cel gemeten zijn) zijn schaars, terwijl de meeste bestaande multimodale modellen sterk afhankelijk zijn van deze gekoppelde data.
4. Beperkingen van Contrastief Leren: Bestaande foundation-modellen voor multimodale data (zoals scCLIP) gebruiken vaak contrastieve doelen die beperkt zijn in het vastleggen van complementaire informatie en minder flexibel zijn bij ongepaarde data of meer dan twee modaliteiten.

Er is dus behoefte aan een flexibel, unificerend foundation model dat zowel gepaarde als ongepaarde data kan verwerken, schaalbaar is en robuuste representaties leert zonder zware voorverwerking of subjectieve bias.

Methodologie: CLM-X Architectuur

CLM-X is een multimodaal foundation model gebaseerd op de BEiT-3 architectuur, aangepast voor single-cell data met een Multi-way Transformer.

1. Geharmoniseerde Tokenisatie en Input:

• RNA (scRNA-seq): Genen worden getokeniseerd als woorden. Expressiewaarden worden omgezet in rank-preservende bins (50 bins) om schaalverschillen tussen experimenten te elimineren.
• ATAC (scATAC-seq): De extreem hoge dimensie van pieken (~1 miljoen) wordt verwerkt door ze te groeperen in "patches" (genomisch gesorteerd) en te binariseren.
• Unificatie: Beide modaliteiten worden gepresenteerd als sequenties van tokens met bijbehorende waarden.
  • Unimodale input: Maximaal 2.000 tokens.
  • Gepaarde input (RNA+ATAC): De sequenties worden samengevoegd tot één contextvenster van maximaal 4.000 tokens, waardoor cross-modale interactie via self-attention mogelijk is.

2. Multi-way Transformer Backbode:
Het model gebruikt een gedeelde Multi-Head Self-Attention (MHSA) laag voor alle inputtypen, maar heeft modale specifieke Feed-Forward Networks (FFN) experts:

• R-FFN: Voor RNA-only input.
• A-FFN: Voor ATAC-only input.
• RA-FFN: Voor gepaarde RNA+ATAC input (leert interacties).
  Dit ontwerp zorgt voor diepe fusie terwijl modale specifieke kenmerken behouden blijven.

3. Stage-wise Pre-training Strategie:
Om het tekort aan gepaarde data te overwinnen, wordt CLM-X in drie fasen voorgeprogrammeerd met een masked reconstruction doelstelling:

• Fase 1 (RNA-only): Maskering en reconstructie van RNA-waarden om de gedeelde attention-mechanismen te initialiseren.
• Fase 2 (ATAC-only): Hergebruik van de gewichten uit Fase 1, maar nu met ATAC-data voor masked reconstruction.
• Fase 3 (Gepaarde Data): Twee-fasen conditionele reconstructie op gepaarde data:
  • Phase 1: Maskeer ATAC, reconstrueer op basis van zichtbaar RNA.
  • Phase 2: Maskeer RNA, reconstrueer op basis van zichtbaar ATAC.
    Deze bidirectionele aanpak leert het model om complementaire informatie te benutten en zorgt voor stabielere training ondanks beperkte gepaarde datasets.

4. Fine-tuning:
Na pre-training wordt het model aangepast voor vijf downstream taken door lichte, taakspecifieke "heads" toe te voegen, terwijl de kern-encoder intact blijft.

Kernbijdragen

1. Eerste Unificerend Framework: CLM-X is het eerste foundation model dat scRNA-seq en scATAC-seq unifyert binnen één Transformer-architectuur, ondersteunend voor RNA-only, ATAC-only, en gepaarde inputs.
2. Efficiënte Gebruik van Data: Door de stage-wise pre-training en het gebruik van modale experts, kan het model profiteren van enorme hoeveelheden ongepaarde data (36M RNA, 2.8M ATAC) terwijl het toch effectief leert van beperkte gepaarde data (370k paren).
3. Flexibiliteit: Het model is niet beperkt tot specifieke paren van modaliteiten en kan direct worden toegepast op heterogene datasets zonder zware voorverwerking.

Resultaten

CLM-X werd getest op 10 datasets en vergeleken met state-of-the-art methoden (zoals MultiVI, scGPT, BABEL, scJoint) op vijf taken:

1. Batch Correctie: CLM-X behaalde de beste balans tussen het behoud van biologische structuur (NMI) en het verwijderen van batch-effecten (bASW), zelfs in complexe, multi-donor datasets. Het presteerde beter dan zowel multimodale als unimodale foundation modellen.
2. Multimodale Integratie: Bij het fuseren van RNA en ATAC voor één cel-representatie, behaalde CLM-X de hoogste scores voor clustering-overeenkomst (ARI/NMI) en behield het lokale buurstructuur (cLISI) beter dan concurrenten.
3. Cross-modale Vertaling: CLM-X excelleerde in het voorspellen van ATAC vanuit RNA en vice versa. Het behaalde de hoogste correlaties (PCC) en laagste fouten (RMSE), wat aangeeft dat het niet alleen binair patroon herkent, maar ook kwantitatieve variatie en celtype-specifieke signalen nauwkeurig reproduceert.
4. Celtype Annotatie: In gepaarde settings presteerde CLM-X (Fusion) significant beter dan unimodale modellen en bestaande multimodale tools, vooral bij het onderscheiden van zeldzame of moeilijk te scheiden celtypen (bijv. IL1B+ Mono).
5. Perturbatie Voorspelling: Bij het voorspellen van transcriptomische reacties op onzichtbare genetische perturbaties (CRISPRi), generaliseerde CLM-X beter dan GEARS en scGPT, met een hogere overlap met de ware differentieel tot expressie gekomen genen.

Betekenis en Impact

CLM-X markeert een belangrijke stap vooruit in single-cell bio-informatica door:

• Robuustheid: Het biedt een schaalbare oplossing voor de integratie van miljoenen cellen, wat essentieel is voor toekomstige atlassen.
• Biologische Interpretatie: Door het leren van bidirectionele afhankelijkheden tussen chromatin toegankelijkheid en genexpressie, biedt het een dieper inzicht in regulatoire netwerken.
• Toekomstbestendigheid: Het unificerend karakter maakt het een ideaal platform voor het toevoegen van nieuwe modaliteiten (zoals proteomics) en het uitvoeren van diverse analyses zonder het model volledig opnieuw te hoeven trainen.

Kortom, CLM-X bewijst dat foundation modellen, getraind op een combinatie van grote ongepaarde en beperkte gepaarde datasets, superieure representaties kunnen leren die de huidige beperkingen van taakspecifieke en unimodale benaderingen overtreffen.