Towards a Cytometry Foundation Model: Interpretable Sample-level Predictive Modelling via Pretrained Transformers

Dit artikel introduceert de Generalised Pretrained Cytometry Transformer (GPCT), een interpreteerbaar foundation model dat door middel van vooraf trainen op heterogene markerpanelen schaalbare en generaliseerbare voorspellingen mogelijk maakt voor flowcytometrie-data.

De kern

Stel je voor dat je een gigantische bibliotheek hebt, maar elke boek is geschreven in een andere taal, met verschillende alfabetten en soms zelfs ontbrekende pagina's. Dat is precies wat er gebeurt in de wereld van flowcytometrie (een techniek om cellen te tellen en te analyseren).

Wetenschappers willen weten welke ziekte een patiënt heeft door naar miljoenen cellen te kijken. Maar elke keer als ze een nieuwe test doen, gebruiken ze andere "kleurige markers" (soort als stempels op de cellen) om ze te zien. Soms missen ze een stempel, soms gebruiken ze een ander type. Dit maakt het voor computers heel moeilijk om de patronen te leren, omdat ze niet weten of ze naar dezelfde "woorden" kijken.

Hier komt GPCT (Generalised Pretrained Cytometry Transformer) om de hoek kijken. Het is als een super-intelligente tolk die deze chaos oplost.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De "Vaste Menukaart" vs. De "Wilde Keuken"

Vroeger moesten computers een vaste lijst van stempels (markers) hebben om te werken. Als een laboratorium een andere lijst gebruikte, moest je een heel nieuw computerprogramma bouwen.

• De analogie: Stel je voor dat je een restaurant hebt waar je alleen bestellingen kunt opnemen als de klant precies de woorden "hamburger" en "friet" gebruikt. Als de klant "burger" en "chips" zegt, begrijpt de ober (het oude computerprogramma) niets.

2. De Oplossing: GPCT, de "Alles-Verstaande Chef"

GPCT is een nieuw type computermodel dat is getraind om elke combinatie van stempels te begrijpen, ongeacht welke er gebruikt worden.

• De analogie: GPCT is als een meester-chef die niet alleen "hamburger" en "burger" kent, maar ook snapt dat "chips" en "friet" hetzelfde zijn. Het heeft een speciale "vertaalbril" (de UCEM embedding) die elke willekeurige lijst van ingrediënten omzet in een standaardrecept dat de computer wel begrijpt.

3. De Training: Leren zonder Antwoorden

Het meest bijzondere aan GPCT is hoe het leert. Normaal gesproken hebben computers duizenden voorbeelden nodig met het juiste antwoord (bijv. "deze cel is ziek"). Maar die antwoorden zijn vaak schaars.

• De analogie: GPCT leert eerst door te spelen met een enorm aantal boeken (data) waar de antwoorden niet in staan. Het probeert de ontbrekende pagina's te raden.
  • Stap 1 (Pretraining): Het model kijkt naar miljoenen cellen en probeert te raden: "Als ik deze kleur niet zie, wat zou er dan wel moeten staan?" Hierdoor leert het de essentie van een cel, zonder dat het weet of die cel ziek of gezond is. Het bouwt zo een sterke basis van kennis op.
  • Stap 2 (Toepassing): Pas daarna krijgt het een specifieke vraag, zoals "Is deze muis man of vrouw?" of "Heeft deze muis een genmutatie?". Omdat het al zo slim is door de eerste stap, heeft het maar heel weinig voorbeelden nodig om dit nieuwe vraagstuk op te lossen.

4. Waarom is dit zo speciaal? (De "Magische Lijst")

Dit model heeft drie superkrachten:

1. Het is flexibel: Het maakt niet uit welke stempels je gebruikt. Je kunt het data geven van 10 jaar geleden en van vandaag, en het werkt nog steeds.
2. Het is slim bij weinig data: In de medische wereld hebben we vaak maar een paar patiënten met een zeldzame ziekte. Omdat GPCT al "voorgeleerd" is, kan het daar uitstekend mee werken, terwijl andere modellen falen.
3. Het is eerlijk (Interpreteerbaar): Dit is misschien wel het coolste deel. Veel AI-modellen zijn een "zwarte doos" (je weet niet hoe ze tot een conclusie komen). GPCT kan echter laten zien welke cellen het belangrijk vond.
   • De analogie: Als GPCT zegt "Deze muis is man", kan het ook zeggen: "Ik heb dit gezegd omdat ik naar die specifieke groepje cellen in de linkerhoek heb gekeken." Het wijst met een vinger naar de bewijzen. Dit helpt artsen om hun eigen handmatige controles (gating) te verbeteren.

Samenvatting

Dit onderzoek toont aan dat we eindelijk een "Fundamenteel Model" voor celonderzoek hebben. Net zoals grote taalmodellen (zoals de AI die je nu gebruikt) leren van de hele internettekst om elke taal te spreken, leert GPCT van de hele wereld aan celdata om elke ziekte te herkennen, zelfs als de data rommelig is of schaars.

Het is alsof we een universele vertaler hebben gevonden die de taal van het leven (onze cellen) eindelijk voor ons kan lezen, ongeacht welke woorden de wetenschappers gebruiken.

Technische samenvatting

Probleemstelling

Flowcytometrie is een cruciale techniek voor het analyseren van cellulaire fenotypes, maar de automatische analyse ervan stuit op ernstige beperkingen:

• Variabiliteit in markers: Experimenten gebruiken vaak verschillende combinaties van antilichamen (markers), wat leidt tot inconsistente datasets. Bestaande machine learning-modellen zijn meestal beperkt tot vaste markerpanelen en kunnen niet direct overgaan naar nieuwe panelen zonder hertraining.
• Schaalbaarheid en generalisatie: Handmatige "gating" (het selecteren van celpopulaties) is tijdrovend, subjectief en schaalt slecht naarmate de panelen groter worden. Bestaande ML-methoden kampen met batch-effecten en kunnen niet goed generaliseren naar nieuwe contexten of kleine datasets.
• Interpreteerbaarheid: Veel diepe leermodellen werken als "black boxes", wat het moeilijk maakt om de biologische basis van voorspellingen te valideren of specifieke celsubsets te identificeren die bijdragen aan een uitkomst.

Er is een dringende behoefte aan een foundation model voor cytometrie dat kan leren van heterogene data, schaalbaar is en interpreteerbare resultaten levert.

Methodologie: GPCT (Generalised Pretrained Cytometry Transformer)

De auteurs stellen GPCT voor, een interpreteerbaar framework dat gebaseerd is op transformer-architecturen en speciaal is ontworpen voor flowcytometrie-data.

1. Architectuur en Invoer:

• UCEM Embedding (Universal Cellular Embedding of Marker expression): Dit is een kerninnovatie. Omdat niet elk experiment dezelfde markers meet, projecteert UCEM variabele markerpanelen naar een vaste dimensie. Het doet dit door een celvector te construeren die bestaat uit:
  • Een one-hot indicator van welke markers wel/niet gemeten zijn.
  • Een sparse vector van de gemeten expressiewaarden.
  • Leerbare "masking values" voor niet-gemeten markers.
    Dit zorgt ervoor dat het model onderscheid maakt tussen "niet gemeten" en "niet tot expressie gebracht".
• Encoder-Decoder Transformer:
  • Encoder: Gebruikt zelf-attention om contextuele patronen binnen een steekproef van cellen te leren. Er wordt geen positionele encoding gebruikt omdat cellen geen inherente volgorde hebben (permutatie-invariantie).
  • Decoder: Gebruikt cross-attention om een taak-specifiek voorspellingstoken te genereren op basis van de gecodeerde celrepresentaties. Dit maakt sample-level voorspellingen mogelijk (bijv. geslacht of ziektestatus) vanuit single-cell inputs.

2. Trainingsstrategie:
Het model wordt in twee fasen getraind:

• Fase 1: Zelftoezicht Pretraining (Self-Supervised Pretraining):
  • Het model wordt getraind op grote hoeveelheden ongelabelde data.
  • Taak: Masked prediction. De model moet gemaskeerde markerwaarden voorspellen.
  • Doelwetten: Naast het voorspellen van ruwe expressiewaarden, voorspelt het model ook de percentielrang en de lokale dichtheid van elke cel binnen de steekproef. Dit dwingt het model om robuuste, sample-brede patronen te leren die minder gevoelig zijn voor batch-effecten en technische variatie.
  • Er worden twee maskeringpatronen gebruikt: uniform random (per cel) en marker-wise (voor alle cellen tegelijk), om zowel inter-cel als inter-marker correlaties te leren.
• Fase 2: Downstream Training:
  • De UCEM embedding en de Encoder worden "bevroren" (frozen) om de geleerde robuuste representaties te behouden.
  • Alleen de Decoder en de voorspellingskop worden getraind op de specifieke taak (bijv. classificatie) met gelabelde data.

3. Interpreteerbaarheid:

• De attention-weights van de decoder worden gebruikt om de bijdrage van individuele cellen aan de uiteindelijke voorspelling te kwantificeren. Dit maakt het mogelijk om te zien welke specifieke celsubsets (bijv. NK-cellen of B-cellen) het meest invloedrijk waren voor de voorspelling.

Belangrijkste Resultaten

Het model werd getest op twee onafhankelijke datasets van muizen (een groot longitudinaal dataset en een kleinere dataset met gen-knockouts).

1. Pretraining verbetert prestaties aanzienlijk:

   • GPCT met een voorgetrainde encoder bereikte 87% nauwkeurigheid en een AUC van 0,938 voor het voorspellen van biologisch geslacht, wat significant beter is dan modellen zonder pretraining of alleen een decoder.
   • Het model is robuust tegen variatie in markerpanelen. Zelfs bij het "leave-one-panel-out" scenario (trainen op panelen A, testen op panel B) daalde de prestatie met minder dan 8% ten opzichte van het geval waarin het testpanel ook in de training zat.

2. Generalisatie en Transfer Learning:

   • Cross-dataset generalisatie: Een model dat voorgetraind was op een combinatie van twee zeer verschillende datasets, presteerde beter op een kleine dataset dan een model dat alleen op die kleine dataset was getraind.
   • Few-shot learning: Bij het voorspellen van gen-knockouts (waar slechts 10-20 samples per variant beschikbaar zijn), presteerde het model met een generieke voorgetrainde encoder aanzienlijk beter dan state-of-the-art methoden zoals CellCnn. Zelfs met slechts één sample per klasse ("1-shot") behaalde het model betere resultaten dan willekeurige voorspellingen, terwijl andere modellen faalden.

3. Biologische Interpreteerbaarheid:

   • De attention-maps toonden aan dat het model biologisch relevante celpopulaties identificeerde. Bij geslachtsvoorspelling waren bijvoorbeeld specifieke B-cel- en NK-cel-subpopulaties sterk geattendeerd, wat overeenkomt met bekende biologische verschillen.
   • Het model kon subtiele, verspreide signalen over meerdere celtypen detecteren die voor handmatige analyse moeilijk te onderscheiden zijn.

Bijdragen en Significatie

• Eerste Foundation Model voor Cytometrie: Dit werk introduceert het eerste foundation model dat specifiek is ontworpen voor flowcytometrie, wat een paradigmaverschuiving betekent van model-specifieke oplossingen naar een universeel, transferable framework.
• Omgaan met Heterogeniteit: Door de UCEM embedding en het zelftoezicht pretraining, kan het model direct werken met datasets die verschillende markerpanelen gebruiken, wat de integratie van historische en nieuwe data mogelijk maakt zonder complexe normalisatie.
• Oplossing voor Data-Schaarste: De resultaten tonen aan dat pretraining op grote, ongelabelde datasets cruciaal is voor succesvolle analyse van kleine datasets (zoals in klinische studies of bij zeldzame mutaties).
• Interpreteerbaarheid en Validatie: Het vermogen om de beslissingen terug te koppelen naar specifieke cellen biedt een data-gedreven basis om traditionele gating-strategieën te verfijnen en nieuwe biologische inzichten te genereren.

Conclusie:
GPCT bewijst dat transformer-architecturen, gecombineerd met een zorgvuldig ontworpen pretrainingstrategie, de barrières van marker-variabiliteit en data-schaarste in de flowcytometrie kunnen doorbreken. Het legt de basis voor een schaalbaar, interpreteerbaar en universeel systeem voor immuunprofilering, met grote potentie voor zowel fundamenteel onderzoek als klinische toepassingen.