Foundation Models Improve Perturbation Response Prediction

Deze studie toont aan dat bepaalde foundation-modellen, vooral bij voldoende data en door integratie van meerdere modellen, de voorspelling van cellulaire responsen op genetische en chemische verstoringen aanzienlijk kunnen verbeteren ten opzichte van simpele basismodellen.

De kern

Titel: Hoe slimme computers de reactie van cellen voorspellen: Een reis door de 'Foundation Models'

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken over hoe levende cellen werken. In deze bibliotheek staan de verhalen over wat er gebeurt als je een gen uitschakelt (zoals een knop op een schakelbord) of als je een chemische stof toevoegt (zoals een medicijn).

Vroeger was het voor wetenschappers heel moeilijk om te voorspellen wat er zou gebeuren als je een nieuwe knop indrukte of een nieuw medicijn gaf. Ze moesten alles in het lab uitproberen, wat tijd en geld kost.

Nu zijn er Foundation Models (FMs) gekomen. Dit zijn super-slimme computersystemen die zijn getraind op enorme hoeveelheden data. Ze zijn als een meesterkok die duizenden recepten heeft geproefd en nu kan voorspellen hoe een nieuw gerecht zal smaken, zelfs als hij het nog nooit heeft gemaakt.

Maar hier is de twist: sommige wetenschappers zeiden: "Die slimme computers werken niet beter dan simpele rekenregels!" Anderen zeiden: "Jawel, ze zijn fantastisch!"

De auteurs van dit paper (een team van GenBio AI) hebben besloten om de waarheid te achterhalen. Ze hebben 600 verschillende modellen getest om te kijken wie er echt de beste voorspellingen doet. Hier is wat ze ontdekten, vertaald in begrijpelijke taal:

1. Niet alle slimme computers zijn even slim

Stel je voor dat je een groep detectives hebt om een misdaad op te lossen. Sommige detectives kijken alleen naar de vingerafdrukken (DNA), anderen kijken alleen naar de kleding (eiwitten), en weer anderen lezen de krant over het incident (tekst).

Het team ontdekte dat:

• De slechte detectives: Sommige modellen, die alleen kijken naar het DNA of de structuur van eiwitten, deden niet beter dan een simpele gok. Ze waren als detectives die alleen naar de weerkaart kijken om een moord te verklaren.
• De super-detectives: Andere modellen, die kijken naar interacties (wie praat met wie in de cel?), waren veel beter. Ze wisten precies wat er zou gebeuren. Het is alsof deze detectives niet alleen naar de vingerafdruk kijken, maar ook weten wie met wie bevriend is en wie ruzie heeft.

De les: Als je wilt weten wat een medicijn of gen-uitval doet, is het belangrijk om te kijken naar de netwerken en relaties in de cel, niet alleen naar de losse onderdelen.

2. Het is niet altijd nodig om ze opnieuw te leren

Soms denken mensen dat je deze slimme computers moet "hertrainen" (fine-tuning) om ze goed te laten werken voor een specifieke taak. Het is alsof je een meesterkok opnieuw moet leren hoe je een ei kookt.

Het team ontdekte dat dit vaak te riskant is. Omdat de datasets in de biologie vaak klein zijn, gaan de computers dan "overleren" (overfitting). Ze onthouden de oude vragen uit het examen, maar kunnen de nieuwe niet beantwoorden.

• Conclusie: Het is vaak beter om de slimme computer gewoon te gebruiken zoals hij is (met zijn bestaande kennis), in plaats van te proberen hem opnieuw te trainen op kleine datasets.

3. De kracht van het team (Fusie)

Dit is misschien wel het coolste deel. Stel je voor dat je één detective hebt die goed is in DNA, één die goed is in eiwitten, en één die goed is in teksten. Als je ze apart laat werken, is de ene misschien goed, maar niet perfect.

Maar wat als je ze samen in een team zet?
Het team ontwikkelde een manier om deze verschillende "denkers" samen te laten werken. Ze gebruikten een aandachtsmechanisme (zoals een regisseur die luistert naar de beste suggestie van elke detective).

• Resultaat: Door alle informatie samen te voegen, konden ze de voorspellingen zo nauwkeurig maken dat ze bijna de grens bereikten van wat menselijk experimenteel mogelijk is. Het was alsof ze de foutmarge van het laboratorium zelf hadden bereikt.

4. Genen vs. Medicijnen

Het was makkelijker om te voorspellen wat er gebeurt als je een gen uitschakelt (zoals een specifieke knop op een bord) dan wat er gebeurt met een chemisch medicijn.

• Genen: Zijn als een specifieke sleutel die in één slot past.
• Medicijnen: Zijn als een magneet die aan honderden verschillende metalen objecten kan plakken. Ze zijn chaotischer en hebben meer "bijwerkingen". De computers hadden het hier lastiger mee, vooral omdat we minder weten over hoe medicijnen precies in het lichaam werken.

Samenvatting in één zin

Dit paper laat zien dat slimme computers (Foundation Models) wél kunnen helpen om te voorspellen hoe cellen reageren op medicijnen of gen-wijzigingen, mits je de juiste modellen kiest (die kijken naar netwerken) en je ze slim combineert in plaats van ze alleen te gebruiken.

Het is een grote stap vooruit in het ontwerpen van nieuwe medicijnen en het begrijpen van ziektes, omdat we nu minder in het lab hoeven te experimenteren en meer op de computer kunnen simuleren.

Technische samenvatting

Titel: Foundation Models Verbeteren de Voorspelling van Respons op Perturbaties

Auteurs: Elijah Cole et al. (GenBio AI, Stanford University, CMU, etc.)
Publicatie: bioRxiv preprint (2026)

---

1. Probleemstelling

Het voorspellen van de celulaire respons op genetische (bijv. gen-knockouts, overexpressie) of chemische perturbaties (bijv. blootstelling aan kleine moleculen) is een langdurige uitdaging in de moleculaire biologie. Dergelijke voorspellingen zijn cruciaal voor:

• Het begrijpen van onderliggende moleculaire netwerken.
• Versnelling van het geneesmiddelenontwikkelingsproces (identificatie van nieuwe interventies en bijwerkingen).

Er bestaat echter een tegenstrijdigheid in de recente literatuur. Sommige studies claimen dat Foundation Models (FM's) – grote, vooraf getrainde modellen – geen significant voordeel bieden ten opzichte van simpele baselines (zoals lineaire modellen op PCA-embeddings). Anderen beweren dat FM's wel degelijk superieure prestaties leveren. Het doel van dit onderzoek is om deze kwestie op te helderen door een uitgebreide, systematische evaluatie uit te voeren.

2. Methodologie

De auteurs hebben een uitgebreide benchmark uitgevoerd met meer dan 600 verschillende modellen over diverse voorspellingstaken en datasets.

Datasets:

• Genetische perturbaties: Norman (K562 cellen), Essential (4 cellijnen, ~2000 perturbaties per lijn).
• Chemische perturbaties: Tahoe-100M (50 cellijnen, 379 drugs), SciPlex-3 (3 cellijnen, 188 drugs).

Aanpak:

1. Embedding-centric perspectief: In plaats van alleen het trainen van nieuwe modellen, gebruiken de auteurs embeddings gegenereerd door bestaande Foundation Models als input voor voorspellende modellen (voornamelijk kNN-regressie).
2. Categorieën van Embeddings:
   • Expressie-gebaseerd: Modellen getraind op scRNA-seq data (bijv. AIDO.Cell, scGPT, Geneformer, scPRINT).
   • Prior Knowledge: Embeddings gebaseerd op interactomen (proteïne-proteïne interacties), gen-functie annotaties (GO), en tekstuele beschrijvingen (GenePT).
   • DNA/Proteïne: Sequentie- en structuurmodellen (bijv. ESM2, AIDO.DNA, AIDO.StructureTokenizer).
   • Chemische: SMILES-gebaseerde modellen, vingerafdrukken (fingerprints) en target-gebaseerde embeddings.
3. Voorspellende Taken:
   • LFC-regressie: Voorspellen van de gemiddelde Log Fold Change (verandering in genexpressie).
   • DEG-classificatie: Voorspellen of genen significant up- of downregulated zijn.
4. Fusie en Fine-tuning:
   • Evaluatie van fine-tuning van FM's op specifieke perturbatietaken.
   • Ontwikkeling van een attention-based fusion model om embeddings van verschillende modaliteiten te integreren.
5. Baselines en Vergelijking:
   • Vergelijking met simpele baselines (Train Mean, No Change, PCA, Random Embeddings).
   • Vergelijking met geavanceerde methoden zoals Latent Diffusion, Flow Matching, Schrödinger Bridge en STATE.
   • Bepaling van een "experimentele foutgrens" via bootstrapping om de theoretische bovengrens van prestaties te schatten.

3. Belangrijkste Resultaten

A. Genetische Perturbaties:

• Modale afhankelijkheid: De prestaties van embeddings variëren sterk en worden primair bepaald door de bronmodaliteit.
• Superioriteit van Interactomen: Embeddings gebaseerd op prior knowledge (vooral interactomen zoals STRING WaveGC, GenotypeVAE, en tekstuele beschrijvingen zoals GenePT) presteren significant beter dan simpele baselines (PCA) en veel expressie-gebaseerde FM's.
• Prestatiegrens: De beste embeddings (gecombineerd met een simpele kNN-regressor) sluiten tot 77% van de kloof tussen de trainingsgemiddelde en de geschatte experimentele foutgrens.
• Fine-tuning: Fine-tuning van FM's leidt tot wisselende resultaten. Voor sommige modellen (zoals AIDO.Cell met In-Silico KO) verbetert het de prestaties aanzienlijk, maar voor andere (zoals STRING GNN) leidt het tot overfitting en prestatieverlies, waarschijnlijk door de beperkte grootte van perturbatiedatasets.
• Fusie: Het integreren van embeddings uit diverse bronnen via een attention-based fusion model leidt tot de beste resultaten. Voor twee cellijnen (Jurkat, K-562) bereikt de fusie de geschatte experimentele foutgrens, wat impliceert dat het model de fundamentele limiet van voorspelbaarheid bereikt.

B. Chemische Perturbaties:

• Moeilijkere taak: Het voorspellen van chemische perturbaties is aanzienlijk moeilijker dan genetische, waarschijnlijk door de lagere specificiteit van kleine moleculen (multitarget effecten) en de enorme zoekruimte.
• Resultaten: In de LFC-regressie taak presteren de meeste embeddings niet beter dan negatieve controles. Echter, in de DEG-classificatie taak presteren target-gebaseerde embeddings (waarbij het doelwit van het molecuul wordt geëmbed) het best.
• Fusie: Fusie van FM's voor chemische perturbaties leverde geen verbetering op, waarschijnlijk vanwege de zwakke prestaties van individuele embeddings en overfitting bij complexe fusiemodellen.

C. Vergelijking met Geavanceerde Methoden:

• Complexe generatieve methoden (Latent Diffusion, Flow Matching, Schrödinger Bridge) presteerden niet significant beter dan een simpele kNN-regressor gecombineerd met een sterke embedding. Deze methoden zijn computatiever en moeilijker te tunen zonder extra winst.

4. Kernbijdragen

1. Systematische Benchmark: De meest uitgebreide analyse tot nu toe van FM's voor perturbatievoorspelling, met >600 modellen en meerdere datasets.
2. Modale Inzicht: Het aantonen dat de keuze van de embeddingbron (vooral interactomen) belangrijker is dan de complexiteit van het model zelf.
3. Fusie-architectuur: De introductie en validatie van een attention-based fusiemodel dat multimodale informatie combineert om de voorspellingsgrenzen te bereiken.
4. Praktische Richtlijnen: Het identificeren dat simpele regressiemethoden (kNN) vaak voldoende zijn als de embedding van hoge kwaliteit is, en dat complexe generatieve modellen voor deze specifieke taak momenteel niet noodzakelijk zijn.

5. Betekenis en Conclusie

De studie weerlegt het idee dat Foundation Models nutteloos zijn voor perturbatievoorspelling. Integendeel, ze tonen aan dat goede Foundation Models, vooral die gebaseerd op interactomen en prior knowledge, de staat van de kunst aanzienlijk verbeteren en zelfs de fundamentele limieten van voorspelbaarheid (bepaald door experimentele ruis) kunnen benaderen.

Implicaties voor de toekomst:

• Voor het ontwikkelen van "virtuele cellen" is het verzamelen van data over interacties (in verschillende contexten) belangrijker dan alleen scRNA-seq expressiedata.
• Er is een gebrek aan een standaard Foundation Model voor kleine moleculen dat biologische functie goed weergeeft; huidige chemische modellen zijn vaak te gericht op chemische eigenschappen.
• De combinatie van diverse FM's via fusie is een veelbelovende richting om de nauwkeurigheid verder te maximaliseren.

Samenvattend: Foundation models kunnen de simulatie van celulaire respons aanzienlijk verbeteren, mits de juiste embeddings (vooral interactome-gebaseerd) en integratiestrategieën worden gebruikt.