🤖 machine learning

MapPFN: Learning Causal Perturbation Maps in Context

Die Arbeit stellt MapPFN vor, ein auf synthetischen Daten vortrainiertes Prior-Data-Fitted Network, das durch In-Context-Learning kausale Störungseffekte in biologischen Systemen vorhersagt und dabei sowohl mit als auch ohne Feinabstimmung bestehende Methoden zur Identifizierung differentiell exprimierter Gene übertrifft.

Ursprüngliche Autoren: Marvin Sextro, Weronika Kłos, Gabriel Dernbach

Veröffentlicht 2026-04-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marvin Sextro, Weronika Kłos, Gabriel Dernbach

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein Gärtner, der verstehen will, wie Pflanzen auf verschiedene Düngemittel reagieren. Normalerweise müsstest du für jede neue Pflanzensorte (z. B. eine Rose, eine Tomate oder eine Orchidee) und für jeden neuen Dünger tausende von Experimenten durchführen: Du sprühst den Dünger auf, wartest ab und misst, was passiert. Das ist teuer, dauert lange und zerstört dabei oft die Pflanzen (da man sie für die Analyse aufschneiden muss).

Die Forscher in diesem Papier haben eine Lösung namens MapPFN entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Zu wenig Erfahrung, zu viele Fragen

In der Biologie gibt es unzählige Kombinationen aus Zellen (Pflanzen) und Eingriffen (Düngern). Wir können unmöglich jede einzelne Kombination im Labor testen. Bisherige Computermodelle waren wie Schüler, die nur gelernt haben, wie eine bestimmte Rose auf einen bestimmten Dünger reagiert. Wenn man ihnen eine neue Pflanze oder einen neuen Dünger zeigte, waren sie ratlos. Sie konnten ihr Wissen nicht auf neue Situationen übertragen.

2. Die Lösung: Ein "Super-Lern-Modell" (MapPFN)

MapPFN ist wie ein genialer Biologie-Tutor, der nicht im Labor, sondern in einer virtuellen Welt trainiert wurde.

Der virtuelle Garten (Synthetische Daten): Bevor MapPFN echte Daten sieht, hat er Millionen von simulierten Experimenten in einem Computer durchgespielt. Der Computer hat zufällige "Regeln" für das Pflanzenwachstum erfunden (z. B. "Wenn Dünger A gegeben wird, wachsen die Blätter schneller, aber die Wurzeln werden schwächer"). MapPFN hat gelernt, wie diese Regeln funktionieren, indem er Tausende von verschiedenen virtuellen Gärten durchlaufen hat.
Das Lernen aus dem Kontext (In-Context Learning): Das ist der magische Teil. Stell dir vor, du bringst MapPFN zu einer echten, unbekannten Pflanze. Du sagst ihm: "Schau mal, hier ist diese Pflanze ohne Dünger. Und hier sind drei kleine Experimente, die wir gerade gemacht haben: Bei Dünger X wurden die Blätter gelb, bei Dünger Y sind sie gewachsen."
MapPFN nutzt diese kleinen Beispiele als Hinweise. Er denkt: "Aha! Diese Pflanze verhält sich ähnlich wie die virtuellen Gärten, die ich kennengelernt habe, bei denen die Regeln so und so waren." Daraufhin sagt er sofort voraus, was passieren wird, wenn man einen vierten, neuen Dünger gibt – ohne dass er diesen Dünger je vorher gesehen hat.

3. Warum ist das so besonders?

Frühere Modelle waren wie Rezeptbücher. Wenn du ein Rezept für eine Tomate hast, hilft dir das nicht bei einer Orchidee. Du musst ein neues Buch schreiben (ein neues Modell trainieren).

MapPFN ist wie ein erfahrener Koch, der das Prinzip des Kochens verstanden hat. Wenn er eine neue Zutat bekommt und sieht, wie drei andere Zutaten reagiert haben, kann er sofort erraten, wie die vierte Zutat schmecken wird. Er muss nicht jedes Mal von vorne anfangen.

Der Vorteil: Man kann MapPFN auf völlig neue Zelltypen oder neue Medikamente anwenden, ohne Monate an Trainingszeit zu verlieren.
Die Genauigkeit: Selbst wenn MapPFN nur mit virtuellen Daten trainiert wurde, sagt er in echten Labor-Experimenten oft genauso gut voraus, welche Gene aktiv werden, wie Modelle, die nur mit echten Labor-Daten trainiert wurden. Und wenn man ihn kurz mit echten Daten "nachjustiert" (Fine-Tuning), schlägt er alle anderen Methoden.

4. Die Analogie des "Schattenpuzzles"

Stell dir vor, du hast ein Puzzle, bei dem die Teile (die Zellen) durcheinander geworfen wurden und du nicht weißt, welches Teil zu welchem gehört (da die Zellen bei der Messung zerstört werden).

Alte Methoden versuchen, das Puzzle für jeden neuen Fall neu zu lösen.
MapPFN hat gelernt, wie die Schatten der Puzzle-Teile aussehen, wenn man sie in verschiedenen Lichtverhältnissen (verschiedenen biologischen Kontexten) betrachtet. Wenn man ihm nun ein paar neue Schatten zeigt, erkennt er sofort das Muster und kann das ganze Bild rekonstruieren.

Zusammenfassung

MapPFN ist ein KI-Modell, das durch das Studium von Millionen simulierten biologischen Experimenten gelernt hat, wie das Leben auf Eingriffe reagiert. Es nutzt kleine Hinweise aus der aktuellen Situation, um vorherzusagen, was bei neuen, unbekannten Eingriffen passieren wird.

Das ist ein riesiger Schritt, um virtuelle Zellen zu bauen, die uns helfen können, Medikamente schneller zu entwickeln und teure Laborexperimente zu sparen. Es ist, als würde man einem Computer beibringen, die "Sprache des Lebens" zu verstehen, statt nur einzelne Wörter auswendig zu lernen.

1. Problemstellung

Das Ziel der Arbeit ist die Vorhersage von zellulären Reaktionen auf genetische Interventionen (z. B. CRISPR-Knockouts) in biologischen Systemen.

Herausforderung: Um kausale Abhängigkeiten in Genregulationsnetzwerken (GRNs) zu verstehen, sind experimentelle Störungsdaten (Perturbation Data) notwendig. Da Sequenzierungsmethoden einzelne Zellen zerstören, liegen die Daten als unpaarige Verteilungen vor (vor der Störung vs. nach der Störung).
Limitationen bestehender Methoden:
- Existierende Modelle (z. B. CPA, CellOT) sind oft auf die Trainingsdaten beschränkt und können sich nicht an neue biologische Kontexte anpassen, die nicht im Training vorkamen.
- Sie nutzen meist nur Beobachtungsdaten oder Kovariaten, aber keine experimentellen Störungsdaten aus dem Zielkontext zur Anpassung (In-Context Learning).
- Die Extrapolation auf neue Gen-Sets oder Zelllinien erfordert oft ein komplettes Neutrainieren.
Ziel: Ein Modell zu entwickeln, das In-Context Learning (ICL) nutzt, um aus einer kleinen Menge beobachteter Störungsexperimente im Zielkontext die Verteilung für eine neue, unbekannte Störung vorherzusagen, ohne die zugrunde liegende kausale Struktur explizit rekonstruieren zu müssen.

2. Methodik: MapPFN

MapPFN (Prior-Data Fitted Network for Perturbation) ist ein Prior-Data Fitted Network (PFN), das auf synthetischen Daten vortrainiert wurde und dann per In-Context Learning auf reale Daten angewendet wird.

A. Grundlegende Architektur und Ansatz

Modellarchitektur: MapPFN basiert auf dem Multimodal Diffusion Transformer (MMDiT).
- Zellen werden als „Tokens" behandelt.
- Drei Modalitäten werden als separate Streams verarbeitet: Rauschen (Noise), Zellzustände (State) und Behandlungen (Treatment, one-hot encoded).
- Die Modalitäten interagieren über Joint Attention.
- Da Zellmengen ungeordnet sind, werden sinusförmige Positionscodings entfernt; stattdessen werden lernbare Embeddings verwendet, um Modalitäten und Kontext (Query vs. Context) zu unterscheiden.
Lernziel: Das Modell lernt einen Flow-Matching-Prozess (Conditional Flow Matching). Es lernt ein Geschwindigkeitsfeld ( $v_\theta$ ), das Rauschen in die vorhergesagte Post-Perturbation-Verteilung transformiert.
In-Context Learning: Das Modell erhält als Eingabe:
1. Eine Beobachtungsverteilung ( $Y_{obs}$ ).
2. Einen Kontextsatz von Störungsexperimenten ( $C = \{(t_k, Y^k_{int})\}$ ).
3. Eine Query-Störung ( $t_q$ ).
  Es soll die Verteilung $Y^q_{int}$ für $t_q$ vorhersagen.

B. Vortraining (Synthetischer Prior)

Da reale Störungsdaten teuer und begrenzt sind, wird MapPFN auf synthetischen Daten vortrainiert:

Synthetischer Prior: Es werden diverse Strukturelle Kausale Modelle (SCMs) und Genregulationsnetzwerke (GRNs) generiert (unter Verwendung von SERGIO-Simulatoren und realistischen Sparsity-Eigenschaften).
Prozess: Für jedes Trainings-Beispiel wird ein SCM $\psi$ gezogen, daraus Beobachtungsdaten und Kontext-Störungen generiert. Das Modell lernt, die Mapping-Funktion zwischen $Y_{obs}$ und $Y_{int}$ über tausende verschiedener kausaler Strukturen hinweg zu generalisieren.
Unterscheidung: Im Gegensatz zu klassischen PFNs, die oft univariate Ergebnisse vorhersagen, sagt MapPFN Verteilungen von Vektoren (ganze Zellpopulationen) vorher.

C. Identifizierbarkeit und Kausalität

Ein theoretischer Vorteil von MapPFN ist die Nutzung von interventionsbedingtem Kontext. Durch das Bedingen auf bereits beobachtete Störungen ( $C$ ) wird die Menge der konsistenten kausalen Strukturen (Markov-Äquivalenzklasse) eingeschränkt. Dies ermöglicht dem Modell, spezifische kausale Effekte besser zu lernen als Modelle, die nur auf Beobachtungsdaten basieren.

3. Wichtige Beiträge

Neue Problemformulierung: Die Vorhersage von Störungen wird als Verteilungs-Mapping mit Testzeit-Kontext formuliert, was es einem einzigen vortrainierten Modell ermöglicht, sich an unbekannte biologische Kontexte und beliebige Gen-Sets anzupassen.
Erstes PFN für Perturbation: MapPFN ist das erste Prior-Data Fitted Network für diese Aufgabe. Es nutzt synthetische In-silico-Knockouts für das Vortraining, um nicht von der Verfügbarkeit großer experimenteller Datensätze abhängig zu sein.
Leistungsnachweis: In synthetischen Benchmarks (lineare SCMs) und auf realen Single-Cell-Datensätzen (Melanome, Leukämie) übertrifft MapPFN bestehende Baselines.
Zero-Shot und Fine-Tuning:
- Zero-Shot: Auf rein synthetisch vortrainiertem Modell werden differentially expressed genes (DEGs) auf dem Niveau von Modellen erkannt, die von Grund auf auf realen Daten trainiert wurden.
- Fine-Tuning: Nach Feinabstimmung auf reale Daten übertrifft MapPFN konsistent alle Baselines.

4. Ergebnisse

Die Evaluation erfolgte auf synthetischen linearen SCMs und zwei realen Datensätzen (Frangieh et al., 2021 – Melanom; Papalexi et al., 2021 – Leukämie).

Synthetische SCMs: MapPFN erreichte die beste Leistung über alle Metriken (Wasserstein-Distanz, MMD, RMSE, PDS). Besonders hervorzuheben ist der Magnitude Ratio (MR): Während Baselines oft nahe bei 0 lagen (Identitäts-Kollaps, d.h. keine Vorhersage der Störung), lag MapPFN nahe bei 1,0 (perfekte Wiederherstellung des Effekts).
Reale Daten (Zero-Shot): Das rein synthetisch vortrainierte Modell erkannte differentially expressed genes (gemessen durch AUPRC) genauso gut wie Modelle, die von Null auf realen Daten trainiert wurden.
Reale Daten (Fine-Tuned): Nach Feinabstimmung auf reale Daten übertraf MapPFN alle Baselines (CPA, CondOT, MFM, CellFlow, STATE) in fast allen Metriken, einschließlich der Unterscheidbarkeit von Störungen (PDS) und der Genauigkeit der Verteilungsvorhersage.
Ablationsstudien:
- Interventionskontext: Das Hinzufügen von Störungsdaten zum Kontext ( $C$ ) verbesserte die Leistung signifikant gegenüber reinen Beobachtungsdaten.
- Counterfactual Prior: Das Vortraining mit gepaarten (counterfactualen) Daten (gleiche initiale Zelle, unterschiedliche Störung) führte zu einer schnelleren Konvergenz und besseren Leistung als mit ungepaarten Daten.
Skalierbarkeit: MapPFN kann durch Test-Time Augmentation (TTA) auf größere Gen-Sets skaliert werden, indem Vorhersagen über überlappende Teilmengen aggregiert werden. Die Leistung verbessert sich zudem mit mehr Zellen im Kontext, was die Fähigkeit zum In-Context Learning unterstreicht.

5. Bedeutung und Ausblick

Paradigmenwechsel: MapPFN verschiebt den Fokus vom reinen Training auf spezifische Datensätze hin zu einem metabasierten Ansatz, der kausale Mechanismen aus synthetischen Daten lernt und diese auf reale Szenarien überträgt.
Kosteneffizienz: Durch die Nutzung synthetischer Daten für das Vortraining wird die Abhängigkeit von teuren und limitierten experimentellen Screens reduziert.
Anwendbarkeit: Das Modell ist flexibel für beliebige Gen-Sets und Zelllinien anwendbar, ohne neu trainiert werden zu müssen (nur Feinabstimmung oder Zero-Shot).
Zukunft: Die Autoren sehen Potenzial in der Skalierung der Modellkapazität und der Erweiterung des synthetischen Priors auf komplexere Regulationsmechanismen und kombinatorische Störungen (z. B. Medikamente).

Fazit: MapPFN demonstriert erfolgreich, dass In-Context Learning auf Basis von Prior-Data Fitted Networks ein leistungsfähiger Weg ist, um virtuelle Zellmodelle zu erstellen, die sich an neue biologische Kontexte anpassen und kausale Störungseffekte präzise vorhersagen können.