Technische Samenvatting: Plausibiliteit is geen Voorspelling: Contrastieve Bewijsvoering voor LLM-gebaseerde Cellulaire Perturbatie-redenering

Probleemdefinitie en Motivatie

Perturbatie-experimenten, zoals medicijnbehandelingen en genetische bewerking, zijn fundamenteel voor het begrijpen van cellulaire mechanismen maar blijven kostbaar en schaars. Deze beperking motiveert de voorspelling van genexpressie-responsen voor niet-geobserveerde condities. Hoewel recent werk heeft voorgesteld om Large Language Models (LLMs) te gebruiken als "virtuele cel"-simulatoren om stapsgewijze, op kennis gebaseerde mechanistische redenering uit te voeren voor differentieel expressie (DE) voorspelling, identificeert dit artikel een kritieke foutmodus: plausibiliteit is geen voorspelling.

Bestaande LLM-gebaseerde methoden (bijv. VCWorld, SUMMER) evalueren perturbatie–gen paren doorgaans in isolatie. Ze vragen modellen om biologisch plausibele rationales te genereren voor of een gen differentieel tot expressie komt gegeven een perturbatie. De auteurs demonstreren echter dat deze methoden systematisch falen om perturbatie-specifieke effecten te vangen. In plaats van te redeneren over de specifieke interventie, vertrouwen modellen op intrinsieke gen-respons-tendensen (gen-frequentie priors). Dit leidt tot drie empirische foutmodi:

1. Systematische Overschatting: Modellen vertonen een sterke bias naar het voorspellen van "ja" (differentieel expressie), waarbij ze vaak positieve uitkomsten voorspellen voor de meerderheid van de queries, zelfs wanneer de empirische positieve ratio laag is (bijv. "ja" voorspellen voor 92,1% van de queries wanneer de werkelijke ratio 29,0% is).
2. Verwarrende Geaggregeerde Metrieken: Hoge geaggregeerde prestaties (AUROC/AUPRC) worden vaak bereikt door de marginale frequentie van gen-responsen te exploiteren (sommige genen worden zelden tot expressie gebracht, andere vaak), in plaats van te leren onderscheid te maken tussen verschillende perturbaties voor hetzelfde gen.
3. Kansniveau Per-Gen Discriminatie: Wanneer geëvalueerd op een macro-per-gen basis (waarbij vereist is dat het model verschillende perturbaties voor een vast gen rangschikt), stort geïsoleerde LLM-redenering in tot prestaties op kansniveau, wat wijst op een gebrek aan echte perturbatie-specifieke redenering.

Het kernprobleem dat wordt geïdentificeerd is de organisatie van bewijsvoering. Bestaande methoden presenteren queries in isolatie zonder bloot te leggen hoe gerelateerde perturbaties verschillen in hun effecten op hetzelfde doelgen. Zonder contrastieve signalen kunnen modellen perturbatie-specifieke uitkomsten niet onderscheiden van algemene biologische plausibiliteit.

Methodologie: CORE

Om deze beperkingen aan te pakken, stellen de auteurs CORE (Contrastive Organization of Relational Evidence) voor, een framework dat perturbatie-voorspelling herformuleert als een vergelijkingstaak.

1. ReasonKG: Een Geharmoniseerde Biomedische Knowledge Graph

CORE leunt op ReasonKG, een nieuw geconstrueerde knowledge graph die vijf biomedische bronnen (VCWorld, PrimeKG, HetioNet, PertKGE en BioKG) harmoniseert. ReasonKG integreert 667.920 canonieke knopen en meer dan 27 miljoen gerichte randen, waardoor een dichte, overdraagbare grafische ruimte ontstaat die medicijnen, genen, pathways en ziekten verbindt. Deze integratie lost connectiviteitskloven op die in individuele grafen voorkomen (bijv. de geïsoleerde drug-gen paren van VCWorld), wat robuuste retrieval van biologisch gerelateerde perturbaties mogelijk maakt.

2. Constructie van Contrastieve Bewijsvoering

Voor een helder uitgehouden query $(p, g)$ (perturbatie $p$, gen $g$), voert CORE de volgende stappen uit:

• Retrieval: Het haalt ondersteunende perturbaties $p'$ op die biologisch gerelateerd zijn aan $p$ met behulp van KG-afgeleide signaturen (gebaseerd op kortste-pad afstanden naar gegrondde genen).
• Contrastieve Organisatie: Het verzamelt de geobserveerde DE-labels voor deze gerelateerde perturbaties op hetzelfde doelgen $g$.
• Partitionering: De opgehaalde bewijsvoering wordt gepartitioneerd in:
  • Positieve Ondersteuningsset ($H^+$): Gerelateerde perturbaties die differentiële expressie in $g$ veroorzaakten.
  • Negatieve Ondersteuningsset ($H^-$): Gerelateerde perturbaties die geen differentiële expressie in $g$ veroorzaakten.
• Scoring: De bewijsvoering wordt samengevat in stemmassa's ($V^+, V^-$) op basis van gelijdigheidsgewichten, wat een contrastscore ($s_{contrast}$) genereert die de proportie positieve bewijsvoering reflecteert.

3. Framework Instantiaties

CORE wordt geïnstantieerd in twee complementaire settings om het nut van contrastieve bewijsvoering te valideren:

• CORE-Voting (Niet-LLM): Een deterministische aggregator die een gewogen combinatie berekent van de dezelfde-gen contrastscore en een gen-anker gesmoothde score (waarbij bewijs wordt geleend van genen met vergelijkbare respons-profielen). Dit test of de contrastieve signal zelf perturbatie-specifieke informatie bevat, onafhankelijk van LLM-redenering.
• CORE-Reasoning (LLM-gebaseerd):: Dit herformuleert het gestructureerde bewijspakket (inclusief contrastscores, positieve/negatieve ondersteuningssets, KG-paden en gen-anker scores) tot een prompt voor een LLM. De LLM krijgt de taak om de kwaliteit van de bewijsvoering te beoordelen (bijv. het onderscheiden van specifieke mechanistische paden van generieke connectiviteit) en de uiteindelijke voorspelling te kalibreren, in plaats van onbeperkte plausibiliteit te genereren.

Belangrijkste Resultaten

De auteurs evalueren CORE op twee benchmarkfamilies: Tahoe100M (medicijn-perturbaties in C32 melanoomcellen) en PerturbQA (CRISPRi gen-perturbaties in K562, HepG2, Jurkat, en RPE1 cellen).

1. Kalibratie en Bias Correctie

• Reductie van "Ja"-bias: Standaard VCWorld-stijl prompts voorspellen vaak "ja" voor >80% van de queries. CORE-Reasoning vermindert deze bias aanzienlijk en brengt de voorspelde positieve ratio dicht bij de empirische prevalentie (bijv. het reduceren van de "ja"-rate van Mistral-7B van 92,1% naar 26,1% op C32).
• Verbeterde Kalibratie: CORE-Reasoning verbetert de geaggregeerde AUROC, nauwkeurigheid en F1-scores over diverse LLM backbones (Mistral, Llama, DeepSeek, Qwen3.5, GPT-5.4). Op C32 verbetert CORE-Reasoning met Qwen3.5-9B bijvoorbeeld de geaggregeerde AUROC met 26,0%, de nauwkeurigheid met 19,8% en de F1 met 28,6% vergeleken met standaard prompting.

2. Perturbatie-Specifieke Discriminatie

• Per-Gen Prestaties: De meest significante winst zit in de macro-per-gen metrieken, die het vermogen meten om perturbaties voor een vast gen te onderscheiden.
  • CORE-Voting: Zonder LLM verbetert CORE-Voting de macro-per-gen AUROC van 0,500 (kans) naar 0,574 (vast budget) en 0,627 (volledige ondersteuning) op C32, en naar 0,711 op PerturbQA K562.
  • CORE-Reasoning: LLM's die gebruikmaken van contrastieve bewijsvoering laten ook substantiële per-gen verbeteringen zien, wat bevestigt dat de structuur van de bewijsvoering betere discriminatie mogelijk maakt dan geïsoleerde redenering.

3. Vergelijking met Baselines

• Tegenover Gen-Prior Voting: Hoewel eenvoudige gen-frequentie baselines goed presteren op geaggregeerde metrieken, falen ze volledig op per-gen discriminatie (AUROC = 0,500). CORE presteert beter dan deze baselines op per-gen metrieken terwijl het concurrerende geaggregeerde prestaties behoudt.
• Tegenover State-of-the-Art: CORE-Reasoning presteert beter dan recente state-of-the-art single-cell perturbatie modellen (bijv. STATE, PerturbDiff) en eerdere LLM-gebaseerde methoden (VCWorld, SUMMER) op de meeste metrieken, met name in de uitdagende out-of-distribution setting waar test-perturbaties buiten de training vallen.

Betekenis en Claims

Het artikel claimt dat contrastieve organisatie van bewijsvoering essentieel is voor betrouwbare LLM-gebaseerde perturbatie-redenering. De centrale bevinding is dat biologische plausibiliteit alleen onvoldoende is voor voorspelling; modellen hebben empirisch contrast nodig — specifiek bewijs dat laat zien hoe vergelijkbare perturbaties verschillende uitkomsten opleveren voor hetzelfde gen — om perturbatie-specifieke effecten te leren.

Door bewijsvoering te organiseren in positieve en negatieve ondersteuningssets voor hetzelfde doelgen, verschuift CORE het paradigma van "het genereren van een plausibel verhaal" naar "gegronde vergelijking". Deze aanpak:

1. Ontkoppelt Plausibiliteit van Voorspelling: Het voorkomt dat modellen elk biologisch verbonden pad als voldoende bewijs voor differentiële expressie behandelen.
2. Verbetert Kalibratie: Het corrigeert de systematische overschatting van positieve uitkomsten die gebruikelijk is bij geïsoleerde LLM-prompting.
3. Maakt Transfer Mogelijk: Het framework verbetert de prestaties over verschillende cellijnen en perturbatietypen (drugs en genetische bewerkingen), wat suggereert dat de bruikbaarheid van contrastieve organisatie verder reikt dan specifieke datasets.

De auteurs concluderen dat betrouwbare "virtuele cel"-redenering evenzeer afhangt van de structuur van de bewijsvoering als van de dekking van biologische kennis, waarbij zij benadrukken dat de bottleneck in huidige LLM-gebaseerde benaderingen niet de modelcapaciteit of kennisretrieval is, maar het gebrek aan de contrastieve signalen die vereist zijn voor specifieke redenering.