Technische Samenvatting: CellTok – Het tokeniseren van single-cell transcriptomen als een natuurlijke taal voor LLM's

Probleemstelling

Large Language Models (LLM's) blinken uit in het verwerken van diverse informatie wanneer deze wordt gerepresenteerd als discrete tokens binnen een gedeelde sequentieruimte. Echter, single-cell transcriptomen blijven een "vreemde modaliteit" voor LLM's. In tegenstelling tot natuurlijke taal of code, bestaan transcriptomische gegevens uit continue, hoogdimensionale moleculaire profielen in plaats van discrete linguïstische eenheden. Bijgevolg kunnen cellen niet direct worden gelezen, samengesteld, voorspeld of gegenereerd als onderdeel van de native token-taal van een LLM. Bestaande benaderingen vertrouwen vaak op indirecte interfaces, zoals het omzetten van cellulaire toestanden in tekstuele samenvattingen of het afstemmen van continue embeddings op tekst via cross-modaal leren. Deze methoden beperken het vermogen van LLM's om contextueel redeneren over cellen uit te voeren, zoals het analyseren van celpopulaties, het afleiden van intercellulaire communicatie of het modelleren van ontwikkelingspaden, omdat de cellulaire informatie extern is aan de token-ruimte van het model.

Methodologie: CellTok

De auteurs stellen CellTok voor, een genormaliseerde single-cell taalmodellering-aanpak die transcriptomische profielen omzet in compacte, discrete cellulaire tokens en deze direct integreert in de vocabulaire van een vooraf getraind LLM.

1. Tokenisatie-architectuur

CellTok maakt gebruik van een encoder–quantizer–decoder architectuur geïnspireerd door Vector-Quantized Variational Autoencoders (VQ-VAE):

• Input: Single-cell genexpressieprofielen worden genormaliseerd en uitgelijnd op een gedeeld paneel van 5.000 hoogvariabele genen.
• Encoder: Brengt het genormaliseerde expressieprofiel in kaart naar een continue latente representatie, die in segmenten wordt verdeeld.
• Quantizer: Vervangt elk latent segment door de dichtstbijzijnde vector uit een leerbaar codeboek (discrete codes).
• Decoder: Reconstrueert het genexpressieprofiel vanuit de gekwantiseerde latente representatie.
• Integratie: De geleerde codeboekvectoren worden behandeld als unieke token-ID's en toegevoegd aan de vocabulaire van een vooraf getraind LLM (specifiek Qwen 2.5 7B). Dit creëert een early-fusion ontwerp waarbij cellulaire tokens en tekstuele tokens samen bestaan in hetzelfde autoregressieve modelleringskader.

2. Trainingsstrategie

CellTok wordt getraind met twee complementaire pretraining-doelstellingen om cellulaire en linguïstische modaliteiten af te stemmen:

• Cell Comprehension (Celbegrip): Het model conditioneert op een sequentie van cel-tokens om een natuurlijke taalbeschrijving van de cellulaire toestand te genereneren.
• Cell Generation (Celgeneratie): Het model conditioneert op een tekstuele beschrijving om de overeenkomstige sequentie van cel-tokens te genereren, die vervolgens worden gedecodeerd naar transcriptomische profielen.
• Fine-Tuning: Het vooraf getrainde LLM wordt aangepast met behulp van Low-Rank Adaptation (LoRA), waarbij ongeveer 2% van de parameters (attention projecties, feed-forward lagen en token embeddings) wordt gewijzigd. De trainingsdata bevat 68 miljoen hoogwaardige single-cell profielen uit CELLxGENE, gekoppeld aan tekstuele beschrijvingen gegenereerd door GPT-4o.

3. Downstream Taken

Het framework ondersteunt diverse taken door meerdere getokeniseerde cellen te componeren binnen een gedeelde autoregressieve context:

• Cel-niveau: Celtype-annotatie en conditionele generatie van synthetische cellen.
• Populatie-niveau: Cluster-annotatie, heterogene populatie-annotatie en ziektestaat-inferentie (bijv. het onderscheiden van gezonde versus COVID-19 staten zonder expliciete celtype-labels).
• Relationeel: Het afleiden van cel–cel communicatie (CCC) paden tussen bron- en doelpopulaties, en het onderscheiden van communicerende versus niet-communicerende ruimtelijke buren.
• Temporeel: Het afleiden van ontwikkelingsvolgorde (pseudotijd) en het genereren van stage-gematchte transcriptomische profielen langs trajecten.

Belangrijkste Resultaten

Het paper evalueert CellTok over diverse benchmarks en demonstreert dat LLM's effectief over cellulaire data kunnen lezen en redeneren wanneer deze worden voorzien van native tokens.

• Celidentiteit en Generatie: CellTok bereikt een prestatie die concurrerend is met gespecialiseerde Large Cellular Models (LCM's) zoals Geneformer en scGPT, en presteert opvallend beter dan aanzienlijk grotere algemene LLM's (bijv. GPT-4o, LLaMA 3 70B) die geprompt zijn voor single-cell analyse. In generatietaken produceert het synthetische cellen die nauw overeenkomen met echte profielen, waarbij het Cell2Sentence overtreft en scDiffusion evenaart.
• Populatie-niveau Inferentie:
  • Annotatie: CellTok presteert beter dan baselines bij het annoteren van homogene clusters en, cruciaal, bij het annoteren van heterogene populaties die verwarbare celtypen bevatten (bijv. CD4+ vs. CD8+ T-cellen) direct vanuit gemengde inputs.
  • Ziektestaat: Het model identificeert accuraat ziekte-geassocieerde staten (bijv. COVID-19) over gemengde populaties heen zonder dat er tijdens de inferentie celtype-labels worden meegegeven, waarbij het in plaats daarvan vertrouwt op transcriptomische patronen en populatiecontext.
  • Semantische Sensitiviteit: Ablatie-studies tonen aan dat het vervangen van biologisch betekenisvolle labels (bijv. "COVID-19") door neutrale labels (bijv. "Status A") de prestaties vermindert, wat aangeeft dat CellTok gebruikmaakt van de semantische priors die ingebed liggen in de taal-kennis van het LLM.
• Cel–Cel Communicatie (CCC):
  • Niet-ruimtelijk: CellTok voorspelt ligand–receptor signaleringspaden tussen celpopulaties. Het generaliseert naar onbekende donoren en vertrouwt op gepaarde transcriptomische contexten in plaats van het memoriseren van celtype-identiteiten.
  • Ruimtelijk: In ruimtelijke transcriptomics (Visium HD) onderscheidt CellTok communicerende van niet-communicerende naburige cellen met alleen transcriptomische input (geen ruimtelijke coördinaten). Het generaliseert naar onbekende weefselregio's en presteert goed op heterotypische interacties, wat suggereert dat het communicatie-competentie leert in plaats van enkel celtype-paar frequenties.
• Ontwikkelingstrajecten: CellTok slaagt erin de relatieve temporele volgorde van cellen over ontwikkelingsstadia heen te infereren (hersenorganoïden) en generaliseert naar onbekende tijdspunten. Het kan transcriptomische profielen genereren voor specifieke ontwikkelingsstadia, geconditioneerd op cellen uit andere stadia, wat zowel interpolatie als extrapolatie ondersteunt.

Betekenis en Claims

De auteurs beweren dat CellTok een verenigde interface vestigt voor het modelleren van cellen, populaties en biologische kennis in een gedeelde token-ruimte.

• Natuurlijke Taal voor Biologie: Het werk demonstreert dat single-cell transcriptomen kunnen worden getransformeerd van een vreemde moleculaire modaliteit naar een natuurlijke taal voor LLM's. Dit maakt het mogelijk om cellulaire metingen, multi-cel contexten, tekstuele prompts en biologische kennis binnen een enkel autoregressief framework te modelleren.
• Contextueel Redeneren: Door cellen te representeren als compositionele eenheden binnen de token-ruimte, stelt CellTok LLM's in staat om contextueel te redeneren over populaties, intercellulaire relaties en ontwikkelingsprocessen, waarmee het verder gaat dan het behandelen van cellen als geïsoleerde eindpunten.
• Bidirectionele Gronding: Het framework creëert een directe interface tussen moleculaire metingen en natuurlijke taal, waarbij cellulaire tokens tekst kunnen conditioneren en tekst cellulaire toestanden kan conditioneren/interpreteren.
• Proof of Concept: De auteurs positioneren CellTok als een proof of concept voor cellulaire tokenisatie als een gedeelde representatie en taakinterface. Ze erkennen beperkingen, zoals potentieel verlies van fijnmazige kwantitatieve informatie door discretisering en de noodzaak van verdere evaluatie van kennisoverdracht tussen taken. Ze argumenteren echter dat deze aanpak een route biedt naar LLM-gebaseerde wetenschap waarbij modellen moleculaire metingen kunnen interpreteren in nauwere verbinding met biologische kennis en wetenschappelijke vragen.