Technische Samenvatting: PerturbPFN

Probleemstelling

Het voorspellen van cellulaire reacties op ongeziene chemische perturbaties is een centrale uitdaging in de ontdekking van geneesmiddelen. In tegen tegenstelling tot discrete genetische edities (bijv. CRISPR), introduceren kleine moleculen complexe interventies waarbij het doelwit, het pad en het mechanisme vaak onbekend, contextafhankelijk of slechts gedeeltelijk gevangen zijn door perturbatie-covariaten. Huidige voorspellende modellen worden geconfronteerd met drie primaire hindernissen:

1. Onbekende Mechanismen: De noodzaak om latente atomaire doelwitten en mechanismen te extraheren uit geobserveerde responsdata, in plaats van te vertrouwen op vooraf gedefinieerde doelwitten.
2. Generalisatie: De theoretische ontwerpplek van kleine moleculen overstijgt de fysieke screeningscapaciteiten ruimschoots, wat modellen vereist die generaliseren naar ongeziene perturbaties in plaats van enkel te interpoleren tussen bekende medicijnen.
3. Beperkingen van Bestaande Paradigma's:
   • Ongestructureerde black-box modellen leren statistische verschuivingen maar missen interpreteerbaarheid.
   • Gestructureerde mechanistische modellen bieden interpreteerbaarheid maar vertrouwen vaak op instantie-specifieke optimalisatie of dataset-specifieke fitting, wat hun vermogen beperkt om kennis te amotiseren over heterogene contexten (bijv. verschillende cellijnen of batches).
   • Foundation models die zijn voorgetraind op massale real-world data (bijv. scGPT, GenePT) leren robuuste representaties, maar modelleren mogelijk niet expliciet de causale propagatie van interventies.

Methodologie

De auteurs stellen PerturbPFN voor, een framework in de stijl van een Prior-Data Fitted Network (PFN) dat is ontworpen voor de geamortiseerde inferentie van perturbatie-effecten onder een hiërarchische synthetische Structurele Causale Model (SCM) prior.

1. Theoretisch Kader

De aanpak modelleert het systeem als een SCM $\mathcal{M} = \{G, \theta\}$, waarbij $G$ een Directed Acyclic Graph (DAG) is die gen-regulerende relaties vertegenwoordigt, en $\theta$ de lokale mechanismen parametriseert.

• Shift Interventies: In plaats van harde interventies (het verwijderen van ouder-afhankelijkheid), modelleert PerturbPFN perturbaties als additieve verschuivingen aan lokale mechanismen: $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$, waarbij $\psi_i$ de interventiekracht is voor de doelwitten $I$.
• Episodische Voorspelling: De taak is gedefinieerd als het voorspellen van de posterior predictive distributie $p(x_j | \gamma_j, D_{ctx})$ voor een query-regime $\gamma_j, gegeven context-observaties$D_{ctx}$. Het model benadert dit door punt-schattingen te extraheren van de latente graaf $G$, de interventie-doelwitten $I$ en de sterkte $\psi$.

2. Hiërarchische Synthetische Prior

PerturbPFN wordt volledig getraind op prior-predictieve synthetische episodes, waardoor de noodzaak voor echte perturbatie-responsen tijdens de training wordt vermeden.

• Graph Generator: Samplet gen-regulerende netwerken (GRNs) met modulaire structuren om heterogene, scale-free topologieën te induceren.
• Perturbation Generator: Beschrijvers $\gamma$ genereren ijle atomaire doelwitten vanuit een afgekappte geometrische distributie. Interventie-sterktes volgen Hill-type dosis-responsfuncties.
• Observation Model: Synthetische data wordt gesampled uit een zero-inflated log-normaal expressiemodel met SERGIO-ruisinjectie.
• Counterfactual Supervision: Exogene ruis wordt hergebruikt over de feitelijke en geïntervenieerde rollouts om ervoor te zorgen dat gepaarde verschillen reflecties zijn van interventie-geïnduceerde veranderingen.

3. Modelarchitectuur

Het model maakt gebruik van een transformer-gebaseerde geamortiseerde voorspeller met een gestructureerde bottleneck:

• Context Interventie Geheugen: Een gedeelde encoder verwerkt context-paren $(\gamma_i, x_i)$ om node-representaties en regime-samenvattingen te produceren. Target en sterkte-heads voorspellen $\hat{I}_i$ en $\hat{\psi}_i$ voor context-regimes, die worden gecodeerd in interventie-geheugen tokens.
• Structure Branch: Een set-to-graph encoder combineert context-respons statistieken met geïnferred interventies om het systeem-graf $\hat{G}$ te schatten. Het gebruikt een NOTEARS-stijl penalty ($L_{dag}$) om acycliciteit af te dwingen en een greedy projectie om de edge-densiteit te kalibreren.
• Query Inferentie: Het query-regime is geconditioneerd op het context-geheugen. Het model voorspelt query-specifieke doelwitten $\hat{I}_j$ en sterktes $\hat{\psi}_j$.
• SCM Decoder: Een geïntervenieerde SCM decoder voert de effecten uit. Het gebruikt een hard geprojecteerde graaf $\hat{G}$ en de voorspelde interventies om verschuivingen door het latente systeem te propageren, en geeft een zero-inflated log-normale predictieve distributie uit.

4. Training en Inferentie

• Training Objective: Een multi-task loss combineert graafverlies ($L_G$), targetverlies ($L_I$), sterkteverlies ($L_\psi$), observatie-likelihood ($L_{obs}$) en een acycliciteitspenaliteit ($A_{dag}$).
• Inferentie: Tijdens testtijd voert PerturbPFN een enkele forward pass uit zonder gradiënt-updates. Het zet continue edge-scores om in een harde DAG en voert de decoder uit om effecten te voorspellen.

Belangrijkste Bijdragen

1. Framework: Introductie van PerturbPFN, een PFN-stijl framework dat de inferentie van perturbatie-effecten amotiseert met behulp van een hiërarchische synthetische SCM prior. Het voorspelt expliciet latente grafen, ijle targets en sterktes voordat de responsen worden gedecodeerd, in plaats van direct hoge-dimensie outputs te regresseren.
2. Efficiëntie en Generalisatie: Demonstreert competitieve effect-voorspelling op echte single-cell data via een enkele in-context forward pass, waardoor dataset-specifieke optimalisatie tijdens testtijd wordt geëlimineerd.
3. Interpreteerbaarheid: Biedt gestructureerde tussenliggende schattingen (doelwitten, sterktes, systeemstructuur) die mechanistische inzichten bieden, in contrast met black-box latente ruimte voorspellingen.
4. Evaluatie: Uitgebreide beoordeling over in-prior latente recovery, real-world effect-voorspelling (Sci-Plex dataset) en regulatoire structuurontdekking (GeneRNIB benchmark).

Resultaten

In-Prior Latent Recovery

Op 1.024 synthetische episodes slaagde PerturbPFN erin latente variabelen te herstellen zonder instorting:

• Graph Recovery: AUROC van 0.8133 en AUPRC van 0.2980 (significant boven de 0.0363 edge prevalentie).
• Target Identificatie: AUROC van 0.9330 en F1 van 0.7649.
• Sterkte Schatting: Gemiddelde absolute sterkte-ratio van 0.9386.
• Respons Voorspelling: Hoge cosine similarity (0.7437) tussen voorspelde en ware interventie-richtingen.

Perturbatie Effect Voorspelling (Sci-Plex)

Geëvalueerd op de 12-protocol hoogste-dosering holdout benchmark:

• Prestaties: PerturbPFN behaalde de beste genormaliseerde Wasserstein-2 ($W_2$) score (0.9183) en rangschikte tweede overall (0.8394 gemiddelde score), direct achter de RF X-Learner.
• Efficiëntie: Eenmaal voorgetraind, vereist het 1.11 seconden per protocol voor inferentie. Dit is aanzienlijk sneller dan GIM (4495s) en CondOT (7266s). Zelfs met de kosten van amotiseerde pretraining blijft het substantieel sneller dan complexe baselines.
• Trade-off: Het biedt een gunstige balans tussen voorspellende prestaties, gestructureerde interpreteerbaarheid en lage inferentiekosten.

GRN Structuur Ontdekking (GeneRNIB)

Geëvalueerd op de 300BCG benchmark om geleerde structuur over te dragen naar echte biologische data:

• Prestaties: PerturbPFN behaalde de beste GS-F1 (0.6410), wat duidt op een sterke uitlijning met actieve pathways, en een competitieve TFB-F1 (0.1146).
• Beperkingen: Het presteerde niet beter dan toegewijde GRN-baselines (bijv. GRNBoost2, PORTIA) op R-Precision, R-Recall of Virtual Cell (VC) metrieken. De auteurs merken op dat dit verwacht is, aangezien PerturbPFN is geoptimaliseerd voor causale propagatie onder een synthetische prior, en niet voor het reproduceren van statische gecureerde GRN-annotaties.

Betekenis en Claims

Het artikel positioneert PerturbPFN als een stap richting gestructureerde foundation models voor biologie. De primaire betekenis ligt in het aantonen dat:

1. Synthetische Pretraining Levensvatbaar is: Een model kan worden voorgetraind op grootschalige synthetische taken om de inferentie van complexe latente variabelen (grafen, doelwitten, mechanismen) te amotiseren zonder dat er echte gelabelde perturbatie-data voor training nodig is.
2. Geamortiseerde Inverse Problemen: De transformer amotiseert effectief een inverse probleem — het afleiden welke latente graaf en mechanisme-veranderingen geobserveerde contexten verklaren — en past deze procedure toe op nieuwe taken zonder gradiënt-gebaseerde adaptatie.
3. Gestructureerde Bottleneck: De gestructureerde bottleneck dient een dubbel doel: het fungeert als een architecturale beperking voor efficiëntie en legt inspecteerbare hypothesen bloot over hoe perturbaties werken en propageren.

De auteurs houden een bescheiden standpunt aan door te erkennen dat de betekenis van latente variabelen verbonden is aan de synthetische prior, en dat het herstellen van hen in-prior niet garandeert dat biologische mechanismen uniek identificeerbaar zijn. Ze suggereren dat toekomstig werk zich moet richten op rijkere simulators, posterior onzekerheid kwantificering en opschaling naar volledige transcriptomen.