GRASP: Gene-relation adaptive soft prompt for scalable and generalizable gene network inference with large language models

Het paper introduceert GRASP, een parameter-efficiënt raamwerk dat trainbare 'soft prompts' gebruikt om grote taalmodellen te sturen bij het schaalbaar en generaliseerbaar afleiden van gennetwerken door rekening te houden met specifieke genparen en interactietypes.

De kern

GRASP: De Slimme "Vertaler" voor Genen-netwerken

Stel je voor dat je een enorme bibliotheek hebt, vol met boeken over hoe het menselijk lichaam werkt. Deze boeken bevatten de geheimen van genen: hoe ze met elkaar praten, wie vrienden zijn en wie vijanden. Wetenschappers willen graag een kaart maken van al deze relaties, een zogenaamd "genen-netwerk". Maar het probleem is dat er miljarden mogelijke combinaties zijn en de taal van de wetenschap (de teksten in die boeken) is ontzettend complex.

Hier komt GRASP (Gene-Relation Adaptive Soft Prompt) in beeld. Het is een slimme nieuwe manier om kunstmatige intelligentie (AI) te helpen deze kaarten te tekenen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eén-grootte-voor-alleden" aanpak werkt niet

Stel je voor dat je een AI vraagt om te raden of twee mensen vrienden zijn.

• De oude manier: Je geeft de AI voor elke paar mensen exact dezelfde instructie: "Zijn deze twee vrienden?" De AI moet dan zelf raden wat ze belangrijk vinden.
• De nieuwe (maar nog steeds saaie) manier: Je plakt een heel lang stuk tekst achter de vraag, met een biografie van beide mensen. Maar dit werkt vaak slecht. De AI raakt overweldigd door de details en vergeet het belangrijkste: de relatie tussen hen.

Het probleem is dat elke paar genen uniek is. Gen A en Gen B hebben een heel ander verhaal dan Gen C en Gen D. Een vaste instructie werkt niet voor iedereen.

2. De Oplossing: GRASP als een Slimme Vertaler

GRASP is als een slimme tolk die voor elk paar genen even snel een persoonlijke samenvatting maakt voordat hij de AI iets vraagt.

In plaats van een lang verhaal te schrijven, doet GRASP drie dingen:

1. Het leest het profiel: Het kijkt naar Gen A en Gen B en maakt een korte, krachtige samenvatting van wie ze zijn (bijvoorbeeld: "Gen A is een bouwmeester, Gen B is een elektricien").
2. Het maakt een 'geheime code': In plaats van die samenvatting als tekst te plakken, verandert GRASP het in een heel kort, digitaal signaal (een "soft prompt"). Denk hierbij aan een geheime handdruk of een speciale sleutel die precies past bij die twee genen.
3. Het combineert: GRASP maakt drie van deze geheime handdrukken: één voor Gen A, één voor Gen B, en één die speciaal kijkt naar wat ze verschilt (bijvoorbeeld: "Hoe passen de bouwmeester en de elektricien bij elkaar?").

De AI krijgt dan niet een lang verhaal, maar deze drie slimme, korte signalen. Hierdoor kan de AI zich veel beter focussen op de relatie tussen de twee genen.

3. Waarom is dit zo goed? (De Analoge Vergelijking)

Stel je voor dat je een detective bent die moet oplossen wie met wie heeft samengewerkt in een groot bedrijf.

• Andere methoden geven je een dossier van 50 pagina's voor elke verdachte. Je leest het, maar je bent moe en mist de details.
• GRASP geeft je een drie-kaartjes systeem. Op kaartje 1 staat in één zin wie de verdachte is. Op kaartje 2 staat wie de partner is. Op kaartje 3 staat de "chemie" tussen hen.
  • Omdat het zo kort en specifiek is, ziet de detective (de AI) direct de connectie die hij eerder over het hoofd zag.

4. Wat heeft GRASP bewezen?

De onderzoekers hebben GRASP getest op drie moeilijke puzzels:

• Proteïne-vrienden: Het kon veel beter voorspellen welke eiwitten fysiek met elkaar werken dan eerdere methoden.
• Cellen onder druk: Zelfs zonder te kijken naar complexe meetgegevens van cellen (alleen op basis van tekstkennis), kon het voorspellen welke genen elkaar beïnvloeden als een cel ziek wordt.
• Nieuwe ontdekkingen: Dit is het coolste deel. GRASP kon relaties vinden die nog niet in de boeken staan. Het kon zeggen: "Deze twee genen werken waarschijnlijk samen, ook al hebben we het nog nooit gezien." Het was zelfs zo goed dat het "verkeerde" antwoorden (genen die niet samenwerken) duidelijk onderscheidde van "verborgen" waarheden.

Conclusie

GRASP is als een slimme tolk die weet dat elk gesprek uniek is. Het vertaalt de complexe wereld van genen naar een korte, krachtige boodschap die een AI perfect kan begrijpen. Hierdoor kunnen we sneller nieuwe ziekte-mechanismen ontdekken en beter begrijpen hoe ons lichaam in elkaar zit, zonder dat we miljoenen pagina's hoeven te lezen.

Kortom: GRASP maakt de AI slimmer door haar te leren hoe ze moet luisteren, in plaats van alleen maar te praten.

Technische samenvatting

Probleemstelling

Genenetwerken (GN's) coderen diverse moleculaire relaties die essentieel zijn voor het begrijpen van celprocessen en ziektemechanismen. Bestaande computationele methoden voor het afleiden van deze netwerken zijn vaak gespecialiseerd voor specifieke datatypen (zoals sequentie-gebaseerde modellen voor eiwitinteracties of expressie-gebaseerde methoden voor regulatoire netwerken), wat leidt tot een gebrek aan uniformiteit.

Grote Taalmodellen (LLM's) bieden een veelbelovende, taalgebaseerde aanpak door biologische kennis uit grote tekstcorpora te benutten. Echter, de effectiviteit van LLM's in de biomedische domeinen is zeer gevoelig voor prompt-ontwerp.

• Vaste prompts bieden dezelfde context voor alle genparen, wat de heterogeniteit van genfuncties en interacties niet kan vangen.
• Naïeve toevoeging van beschrijvende tekst kan contraproductief zijn door irrelevante context die het relationele signaal verstoort.
• Standaard soft prompts leren één gedeelde embedding per taak, wat beperkt is in het vastleggen van variabiliteit op het niveau van individuele voorbeelden (instance-level).

De kernuitdaging is dus: hoe kan men LLM-based inferentie robuust en parameter-efficiënt conditioneren op de specifieke context van een genpaar?

Methodologie: GRASP

De auteurs introduceren GRASP (Gene-Relation Adaptive Soft Prompt), een framework dat inferentie conditioneert op elk genpaar via slechts drie virtuele tokens. Het werkt als volgt:

1. Voortgezette Pretraining (CPT): De gebruikte LLM's (Gemma-3-4B en Llama-3.1-8B) zijn eerst voortgezet getraind (Continual Pretraining) op een corpus van 6,3 miljoen PubMed-titels en -abstracts om domeinspecifieke kennis te versterken.
2. Gen-vector Encoding: Voor elk gen genereert het LLM een beknopte tekstuele samenvatting. Deze tekst wordt gecodeerd tot een vast vectorvoorstelling ($s_g$) via mean-pooling van de laatste laag van het LLM. Deze vectoren worden vooraf berekend en opgeslagen.
3. Factorized Soft Prompt Synthese:
   • Voor een genpaar $(a, b)$ worden drie contextvectoren geconstrueerd: één voor gen $a$, één voor gen $b$, en één die het elementsgewijze absolute verschil ($|s_a - s_b|$) encodeert om relationele kenmerken vast te leggen.
   • Elke contextvector wordt omgezet in een soft prompt-token via een gefactoriseerde formulering:
     $$P(z) = C(z)B(z)$$
     • $C(z)$: Een gen-specifiek coëfficiëntenmatrix (lineaire projectie) die paar-specifieke signalen vangt.
     • $B(z)$: Een gedeelde prototype-matrix, een convexe combinatie van een klein aantal leerbare basisvectoren ($K$), die gemeenschappelijke interactiepatronen vertegenwoordigt.
   • Dit resulteert in precies drie adaptieve virtuele tokens per genpaar (twee voor de individuele genen, één voor de relatie), die als suffix aan de input-prompt worden toegevoegd.
4. Training: Alleen de classificatiekop en de soft-prompt parameters worden gefinetuned; de LLM-backbone blijft bevroren.

Belangrijkste Bijdragen

• Instance-Adaptiviteit: In tegenstelling tot traditionele soft prompts die één set tokens delen voor alle inputs, past GRASP de prompts dynamisch aan op basis van de specifieke genen in het paar.
• Parameter-efficiëntie: Het framework voegt slechts drie virtuele tokens toe per voorbeeld, wat schaalbaarheid garandeert voor netwerken met miljoenen interacties.
• Decoupling van Kennis en Predictie: Het framework scheidt het extraheren van gen-specifieke kennis (via samenvattingen) van het voorspellen van interacties, waardoor het model beter kan generaliseren.
• Vermijden van "Noise": Door genbeschrijvingen te comprimeren tot latente vectoren in plaats van ze direct als tekst toe te voegen, vermijdt GRASP de ruis die vaak ontstaat bij het toevoegen van lange, irrelevante teksten aan prompts.

Resultaten

GRASP werd getest op drie verschillende benchmarks en presteerde consequent beter dan alternatieven (Few-shot, vaste prompts met/zonder biologische context, en taak-specifieke soft prompts):

1. Grootschalige Eiwit-Eiwit Interacties (PPI):

   • Op een dataset van >2 miljoen menselijke genparen behaalde GRASP de beste precisie-recall trade-off en de hoogste ROC-AUC (tot 0,937).
   • Het verbeterde vooral de voorspellingen voor genen met een hoge connectiviteit (high-degree genes) en herstelde biologisch coherente lokale netwerkbouwen.
   • Cross-species transfer: GRASP toonde sterkere generalisatie naar kip, koe en hond dan andere methoden, zelfs wanneer overlap met het menselijke trainingsset was verwijderd.

2. Single-cell Perturbatie Benchmarks (CausalBench):

   • In een zero-shot setting (zonder gebruik van expressiedata, alleen tekstuele representatie) behaalde GRASP de hoogste biologische F1-scores voor het voorspellen van regulatoire relaties in K562 en RPE1 cellijnen.
   • Het concurreerde met expressie-gebaseerde methoden (zoals GRNBoost) ondanks het ontbreken van experimentele expressie-input.

3. Fosforylatie Netwerken:

   • Bij het voorspellen van kinase-substraat relaties (een gespecialiseerde, kleinere dataset) presteerde GRASP het beste.
   • Opmerkelijk: bij deze taak presteerden prompts met extra genbeschrijvingen slechter dan symbol-only prompts, wat aantoont dat GRASP's compressie-mechanisme cruciaal is voor het filteren van irrelevante informatie.

4. Herstel van Ongeannoteerde Interacties:

   • GRASP was in staat om "verborgen" positieve interacties te identificeren die in de negatieve trainingsset zaten (maar experimenteel gevalideerd waren in externe databases).
   • De scheiding tussen deze verborgen positieven en echte negatieven was zeer groot (Cohen's d ≈ 1,88), wat suggereert dat het model onderliggende biologische signalen heeft geleerd die verder gaan dan de annotaties in de trainingsdata.
   • Voorbeelden van herkende interacties (zoals INSR-PTPRF) werden ondersteund door logische redeneringen gegenereerd door het LLM over insuline-signaleringspaden.

Betekenis en Conclusie

GRASP bewijst dat instance-adaptieve prompt-conditioning een krachtige strategie is voor biologische voorspellingen met LLM's. Het framework overbrugt de kloof tussen de flexibiliteit van taalmodellen en de specifieke eisen van biologische netwerkinferentie.

• Schalbaarheid: Het is geschikt voor netwerken met miljoenen kandidaat-interacties door de lage overhead van slechts drie tokens.
• Generaliseerbaarheid: Het werkt effectief over verschillende soorten netwerken (PPI, regulatoir, fosforylatie) en tussen soorten.
• Biologische Ontdekking: Het vermogen om ongeannoteerde, biologisch zinvolle relaties te voorspellen, maakt GRASP een waardevol hulpmiddel voor het prioriteren van experimentele validatie en het uitbreiden van bestaande interactiedatabases.

De auteurs benadrukken dat hoewel GRASP sterk is, het nog beperkt is tot de kennis in het LLM (bias naar goed bestudeerde genen) en momenteel geen richtingsinformatie of experimentele data (zoals expressieprofielen) integreert. Toekomstig werk zou zich kunnen richten op hybride frameworks die adaptieve prompting combineren met structurele of experimentele data.