🤖 machine learning

MapPFN: Learning Causal Perturbation Maps in Context

Het artikel introduceert MapPFN, een prior-data-fitted netwerk dat door middel van in-context learning causaliteitskaarten leert om effecten van biologische ingrepen te voorspellen en zich aan te passen aan nieuwe contexten, zelfs wanneer trainingsdata beperkt is.

Oorspronkelijke auteurs: Marvin Sextro, Weronika Kłos, Gabriel Dernbach

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Marvin Sextro, Weronika Kłos, Gabriel Dernbach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel complexe stad wilt begrijpen, waar elke straat een gen is en elke auto een cel. Als je in die stad een brug afsluit (een gen-knockout of ingreep), wat gebeurt er dan met het verkeer? Verandert het gedrag van de auto's?

Normaal gesproken moeten wetenschappers dit soort experimenten fysiek uitvoeren in het lab. Ze moeten duizenden cellen "knippen" en meten. Dit is duur, tijdrovend en je kunt niet elke mogelijke combinatie van straten en auto's testen.

Deze paper introduceert MapPFN, een slimme computer die dit probleem oplost door te leren zoals een mens dat doet: door context en ervaring.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gouden Kooi"

Stel je voor dat je een simulator bouwt om verkeer te voorspellen. Je hebt data over hoe het verkeer reageert als je de brug in het noorden afsluit. Maar nu wil je weten wat er gebeurt als je de brug in het zuiden afsluit, in een heel andere stad (een andere biologische context).

Oude methoden waren als een stijve robot: ze hadden de exacte blauwdruk van de stad nodig om te kunnen voorspellen. Als de stad anders was dan waar ze voor getraind waren, faalden ze. Ze konden niet "leren" van een paar nieuwe voorbeelden.

2. De Oplossing: MapPFN als de "Super-Leraar"

MapPFN is anders. Het werkt als een super-intelligente leraar die eerst duizenden virtuele steden heeft bestudeerd.

De Synthetische Oefening (Pre-training): Voordat MapPFN naar de echte wereld gaat, heeft het geoefend op miljoenen uitvinden steden (synthetische data). Het heeft geleerd: "Als je hier een brug afsluit, stroomt het verkeer daarheen." Het heeft geen echte cellen nodig om dit te leren, alleen wiskundige regels over hoe steden werken.
De "In-Context" Leerkracht (In-Context Learning): Dit is het magische deel. Als MapPFN nu naar een nieuwe, echte stad wordt gestuurd, hoeft het niet opnieuw te leren. Je geeft het gewoon een paar voorbeelden: "Kijk, hier is wat er gebeurde toen we brug A afsloten, en hier wat er gebeurde bij brug B."
- MapPFN kijkt naar deze voorbeelden (de context) en zegt direct: "Ah, ik heb dit patroon al gezien in mijn virtuele oefeningen! Als we brug C afsluiten, zal het verkeer waarschijnlijk zo reageren."
- Het past zich direct aan, zonder dat je de hele computer opnieuw hoeft te programmeren.

3. De Analogie van de "Reisgids"

Stel je voor dat je een reisgids hebt die alleen reist op basis van een boek (oude methoden). Als je naar een land gaat dat niet in het boek staat, weet hij het niet.

MapPFN is als een reisgids die een wereldreis heeft gemaakt in zijn hoofd (synthetische training). Als je hem nu vraagt: "Ik ga naar een klein dorpje in Peru, en ik heb net gezien wat er gebeurt als het regent (context), wat denk je dat er gebeurt als de zon schijnt?"
Hij hoeft niet het hele dorp te verkennen. Hij gebruikt zijn enorme ervaring en de kleine hint die je gaf, om direct een goed antwoord te geven.

4. Waarom is dit belangrijk?

Snelheid en Kosten: In plaats van jarenlang cellen te knippen in het lab, kunnen we nu duizenden scenario's in seconden simuleren.
Flexibiliteit: Het werkt voor elke combinatie van genen, zelfs die waar we nog nooit data over hebben gehad.
Betrouwbaarheid: De auteurs hebben getest of het werkt op echte data (zoals melanoom- en leukemie-cellen). Het bleek dat MapPFN, zelfs zonder extra training op die specifieke ziekten, precies kon voorspellen welke genen belangrijk waren. Na een korte "finetuning" (een snelle opfriscursus) was het zelfs beter dan alle bestaande methoden.

Samenvattend

MapPFN is een AI-model dat eerst "droomt" van duizenden virtuele cellen om de regels van het leven te leren. Vervolgens gebruikt het die kennis om, met slechts een paar echte voorbeelden, te voorspellen wat er gebeurt als we in de echte wereld ingrijpen. Het is alsof je een piloot bent die eerst in een simulator heeft gevlogen en nu, met een paar hints van de luchtverkeersleider, direct een nieuw vliegtuig kan besturen.

Dit opent de deur naar een toekomst waar we medicijnen en behandelingen veel sneller en goedkoper kunnen ontwerpen, omdat we eerst kunnen "simuleren" wat er in het lichaam gaat gebeuren.

Titel: MapPFN: Learning Causal Perturbation Maps in Context

Auteurs: Marvin Sextro, Weronika Kłos, Gabriel Dernbach
Publicatie: Preprint (arXiv:2601.21092v2), 2026

1. Probleemstelling

Het begrijpen van de causale afhankelijkheden in biologische systemen, zoals genregulatienetwerken (GRN's), vereist vaak experimentele interventies (bijv. CRISPR-knockouts). Hoewel single-cell perturbation data (zoals Perturb-Seq) de "gouden standaard" vormt, zijn er twee fundamentele beperkingen:

Data-schaarste: Experimentele datasets dekken slechts een handvol biologische contexten (bijv. specifieke cellijnen) en beperkte sets van genen. Het experimenteel afbeelden van de volledige ruimte van mogelijke celtoestanden en interventies is onhaalbaar.
Gebrek aan adaptatie: Bestaande methoden (zoals CPA, CellOT, STATE) kunnen hun voorspellingen niet aanpassen aan nieuwe, ongezette biologische contexten tijdens de inferentie (testtijd). Ze zijn vaak beperkt tot de contexten waarin ze zijn getraind en kunnen geen gebruik maken van een kleine set nieuwe observaties om zich aan te passen.

Het doel is een model te ontwikkelen dat de verdeling van genexpressie na een interventie kan voorspellen op basis van een observatieverdeling en een kleine set van reeds uitgevoerde interventies in de huidige context, zonder het onderliggende causale model expliciet te hoeven reconstrueren.

2. Methodologie: MapPFN

MapPFN (Prior-Data Fitted Network) is een nieuw raamwerk dat in-context learning (ICL) toepast op het probleem van perturbation prediction. Het benadert het probleem als het leren van een kaart tussen verdelingen (distribution mapping) in plaats van het leren van een vaste functie voor een specifieke dataset.

Kernconcepten:

Prior-Data Fitted Networks (PFN): In plaats van te trainen op een specifieke dataset, wordt het model vooraf getraind (pre-trained) op een enorme hoeveelheid synthetische data gegenereerd uit een prior over mogelijke causale structuren. Het model leert hierdoor hoe het moet redeneren over causale effecten in het algemeen.
In-Context Learning (ICL): Tijdens de inferentie (testtijd) krijgt het model een "context" mee bestaande uit:
1. Een observatieverdeling ( $Y_{obs}$ ).
2. Een set van interventie-experimenten ( $C = \{(t_k, Y_{int}^k)\}$ ) in de huidige context.
3. Een query-interventie ( $t_q$ ) waarvan het resultaat moet worden voorspeld.
  Het model past zich direct aan deze specifieke context aan zonder retraining.

Architectuur en Training:

Model: MapPFN gebruikt een aangepaste versie van de Multimodal Diffusion Transformer (MMDiT) architectuur.
- Cellen worden behandeld als "tokens".
- Er zijn drie modale stromen: ruis, celtoestanden (observatie/interventie) en treatments (one-hot encoded).
- Cross-modal interacties worden mogelijk gemaakt via gezamenlijke attention (joint attention).
- Positieve encoding is verwijderd omdat de input een ongeordende set van cellen is; invariantheid wordt bereikt via attention.
Pre-training:
- Het model wordt getraind op synthetische data gegenereerd uit Structural Causal Models (SCM's).
- Er worden twee priors gebruikt:
  1. Lineaire SCM's: Eenvoudige lineaire additieve ruismodellen voor gecontroleerde benchmarks.
  2. Synthetisch Biologisch Prior: Geavanceerde simulaties met SERGIO, die realistische genregulatienetwerken (GRN's) met modulariteit, sparsiteit en niet-lineariteiten (Hill-functies) nabootst, inclusief technische ruis van single-cell RNA-seq.
- Doel: Het model leert de posterior predictive distribution $p(y_{int} | do(t), Y_{obs}, C)$ te benaderen door inferentie te "amortiseren" over duizenden verschillende causale structuren.
Objectief: Conditional Flow Matching (CFM), waarbij het model een snelheidsveld leert dat ruis transporteert naar de voorspelde post-perturbatie verdeling.

3. Belangrijkste Bijdragen

Eerste PFN voor Perturbation Prediction: MapPFN is het eerste model dat PFN's toepast op het voorspellen van celresponsen, waardoor het mogelijk is om te generaliseren naar ongezette biologische contexten en willekeurige genensets via in-context learning.
Unieke Conditionering: In tegenstelling tot bestaande methoden die alleen conditioneren op covariaten of observatieverdelingen, conditioneert MapPFN op interventie-data van de huidige context. Dit verbetert de identificeerbaarheid van de causale structuur.
Synthetische Pre-training: Het model wordt uitsluitend getraind op synthetische data (in silico knockouts) en kan toch prestaties leveren die vergelijkbaar zijn met modellen die op echte data zijn getraind.
Zero-shot en Fine-tuning Capabilities: Het model kan direct (zero-shot) differentieel tot expressie gekomen genen (DEGs) identificeren in nieuwe contexten en presteert nog beter na een korte fine-tuning op de specifieke dataset.

4. Resultaten

De auteurs evalueren MapPFN op synthetische data (lineaire SCM's) en twee echte single-cell datasets (Melanoom en Leukemie).

Synthetische Benchmark (Lineaire SCM's):
- MapPFN presteert consistent beter dan state-of-the-art baselines (zoals CondOT, MFM, CPA) op alle metrieken, waaronder Wasserstein-afstand (W2), Maximum Mean Discrepancy (MMD) en RMSE.
- Het vermijdt "identity collapse" (waarbij het model simpelweg de observatieverdeling teruggeeft), wat een veelvoorkomend probleem is bij baselines.
- De Magnitude Ratio (MR) is dicht bij 1.0, wat aangeeft dat het model de grootte van het causale effect correct herstelt.
Echte Single-Cell Data (Melanoom & Leukemie):
- Zero-shot: Zelfs zonder fine-tuning op de echte data, herstelt MapPFN differentieel tot expressie gekomen genen (gemeten via AUPRC) op een niveau dat vergelijkbaar is met baselines die volledig op de echte data zijn getraind.
- Fine-tuning: Na een korte fine-tuning (3000 iteraties, ~10 minuten op één GPU) overtreft MapPFN alle baselines consistent op alle datasets en metrieken.
- Ablatie-studies:
  - Het toevoegen van een interventie-context (in plaats van alleen observatie-data) verbetert de prestaties aanzienlijk.
  - Het gebruik van een counterfactual paired prior (waarbij dezelfde initiële celtoestand wordt gebruikt voor verschillende behandelingen in de synthetische training) leidt tot betere convergentie en hogere prestaties dan een unpaired prior.
Schalbaarheid:
- MapPFN kan zich aanpassen aan grotere genensets dan tijdens de training (bijv. 100 genen in plaats van 50) via Test-Time Augmentation (TTA), waarbij voorspellingen worden geaggregeerd over overlappende subsets.
- De prestaties verbeteren monotoon met het aantal beschikbare interventie-experimenten in de context en het aantal cellen per interventie.

5. Betekenis en Impact

MapPFN vertegenwoordigt een paradigmaswitch in het modelleren van biologische interventies:

Van Data-afhankelijk naar Context-afhankelijk: Het verlegt de focus van het trainen van specifieke modellen voor elke nieuwe celtype of genenset naar het bouwen van een fundamenteel model dat zich dynamisch aanpast aan de context via in-context learning.
Kostenreductie: Door te kunnen voorspellen op basis van synthetische prioren en zich snel aan te passen aan beperkte experimentele data, kan MapPFN de kosten en tijd van drug discovery en wetenschappelijk onderzoek verlagen door hypothesen te prioriteren voordat dure natte-lab experimenten worden uitgevoerd.
Causale Identificeerbaarheid: Door gebruik te maken van interventie-data in de context, helpt het model de Markov-equivalentieklasse van onderliggende causale mechanismen te verkleinen, wat leidt tot robuustere voorspellingen dan methoden die alleen observationele data gebruiken.

Kortom, MapPFN biedt een schaalbare route naar context-adaptieve "virtual cell" foundation models, die essentieel zijn voor het begrijpen van complexe biologische systemen in diverse en ongezette omgevingen.