Technische Samenvatting: AssayBench

Probleemstelling

De visie van een "virtuele cel"—een computationeel model dat in staat is om cellulaire responsen te voorspellen over diverse verstoringen, contexten en uitkomsten—belooft aanzienlijke vooruitgang voor het versnellen van vroege geneesmiddelenontdekking. Een kritieke toepassing van deze visie is in silico fenotypische screening, waarbij modellen voorspellen welke genetische of chemische verstoringen een specifiek fenotype van belang zullen moduleren (bijvoorbeeld celsurvival, medicijnresistentie of infectiedruk). In tegenstelling tot taken die gericht zijn op het reconstrueren van moleculaire toestanden (zoals single-cell transcriptomics), werkt fenotypische screening op het niveau van assay-eindpunten, wat direct aansluit bij besluitvorming in geneesmiddelenontwikkelingspijplijnen.

Echter, vooruitgang op dit gebied is gehinderd door het ontbreken van een standaard benchmark. Bestaande benchmarks voor verstooringsmodellering richten zich voornamelijk op moleculaire uitkomsten (bijvoorbeeld genexpressie) en worden vaak getraind op specifieke modaliteiten met gestructureerde invoer. Ze slagen er niet in om de heterogeniteit van real-world fenotypische screens te vangen, die sterk variëren in experimentele condities, uitkomsttypes en significantiecriteria. Bijgevolg bestaat er geen gevestigd kader om te evalueren of Large Language Models (LLM's) of agentische systemen biologische context effectief kunnen integreren om experimenteel gemeten fenotypische uitkomsten te voorspellen.

Methodologie

Datasetconstructie (ASSAYBENCH)

De auteurs hebben ASSAYBENCH geconstrueerd, een benchmark bestaande uit 1.920 publiek beschikbare CRISPR-screens afgeleid van de BioGRID ORCS-database en recente literatuur. Het curatieproces omvatte:

1. Harmonisatie: Normaliseren van gensymbolen naar HGNC-nomenclatuur en samenvoegen van technische replicaten.
2. Fenotypeclassificatie: Gebruik van door LLM's ondersteunde curatie om gedetailleerde fenotypebeschrijvingen en effectrichtingen (toename/afname) te extraheren, waarbij screens worden gegroepeerd in vijf brede categorieën:
   • Fitness/Proliferatie/Viabiliteit
   • Chemische/Environmentele Respons
   • Gastheer-Pathogeen/Infectierespons
   • Moleculaire Output/Rapporteur/Padactiviteit
   • Trafficking/Lokalisatie/Structurele Fenotypes
3. Scoren: Het omzetten van heterogene significantiecriteria (bijvoorbeeld p-waarden, fold-changes) in een continue relevantiescore voor elk gen. Genen die voldoen aan het significantiecriterium ontvangen positieve scores; die geassocieerd met de tegenovergestelde fenotyperichting ontvangen negatieve scores; niet-hits ontvangen nul.
4. Temporale splitsing: Om een realistische distributieverandering te induceren en datalekken uit pretraining-corpora te voorkomen, werden screens gesplitst op publicatiejaar:
   • Train: Gepubliceerd voor 2021 (1.349 screens).
   • Validatie: Gepubliceerd in 2021 (218 screens).
   • Test: Gepubliceerd na 2021 (334 screens).
   • LaTest: Een subset van 19 zeer recente screens (na september 2025) om generalisatie naar onbekende literatuur te toetsen.

Taalformulering

De taak wordt geformuleerd als een gen-rangschikkingsprobleem. Gegeven een vrije tekstbeschrijving van het screen (inclusief celijn, bibliotheek, behandeling en significantiecriteria), moet een model een gerangschikte lijst van de top 100 kandidaat-genen uitvoeren. Deze formulering weerspiegelt real-world workflows waarbij wetenschappers een korte lijst van kandidaten prioriteren voor validatie, in plaats van elk gen individueel te scoren.

Evaluatiemetrieken

Om de heterogeniteit van assays en de variërende moeilijkheidsgraad van screens te hanteren, introduceerden de auteurs Adjusted normalized Discounted Cumulative Gain (AnDCG@k):

• Condensatie: Niet-geteste genen in de voorspellingslijst worden genegeerd in plaats van bestraft als vals-positieven.
• Aanpassing: Een screenspecifieke willekeurige baseline wordt afgetrokken om prestaties te normaliseren over assays met verschillende inherente moeilijkheidsgraden.
• Directionaliteit: De metriek houdt rekening met negatieve relevantiescores (genen geassocieerd met het tegenovergestelde fenotype).
• Complementaire metrieken: Precision@k en directionele False Discovery Rate (dFDR@k) worden ook gerapporteerd.

Belangrijkste Bijdragen

1. Eerste Groot-Schalige Fenotypische Benchmark: Introductie van ASSAYBENCH, de eerste benchmark specifiek ontworpen voor fenotypische screenvoorspelling, die 1.920 screens over vijf fenotypeklassen bestrijkt.
2. Taakformalisatie: Het probleem neerleggen als screenspecifieke genrangschikking onder een temporale splitsing, gebruikmakend van een continu relevantiescoresysteem dat diverse experimentele criteria harmoniseert.
3. Nieuwe Metriek: Voorstel van AnDCG, een metriek op maat gemaakt voor heterogene assays die corrigeert voor screenspecifieke willekeurige baselines, waardoor eerlijke cross-assay vergelijking mogelijk wordt.
4. Uitgebreide Empirische Studie: Een uitgebreide evaluatie van frontier generalistische LLM's, biologie-specifieke modellen, trainbare neurale predictors en retrieval-baselines.

Resultaten

Modelprestaties

• Frontier LLM's Leiden: Zero-shot generalistische LLM's (bijvoorbeeld Gemini 3 Pro, GPT-5.4) presteerden beter dan biologie-specifieke LLM's (bijvoorbeeld C2S-Scale, Biomni), trainbare neurale gen-relevantiepredictors en eenvoudige retrieval-baselines (Embedding kNN) op de testset.
• Optimalisatiewinst: Technieken zoals Supervised Fine-Tuning (SFT), Reinforcement Learning (GRPO) en prompt-optimalisatie (GEPA) leverden marginale verbeteringen op voor sommige modellen. Een automatisch ontdekt ensemble van LLM-voorspellingen behaalde echter de hoogste testprestatie (AnDCG@100 ≈ 0,163), wat individuele modellen overtrof.
• Prestatieplafond: Ondanks deze vooruitgang blijven alle modellen ver verwijderd van het empirische prestatieplafond.
  • Een "Oracle kNN" (perfecte retrieval van het meest vergelijkbare trainingsscreen) behaalde een AnDCG@100 van ~0,29, ongeveer 86% hoger dan de beste LLM.
  • Een predictor die technische replicaten gebruikte (het voorspellen van één replicate op basis van een andere) verdubbelde bijna de prestatie van de beste LLM, wat aangeeft dat huidige modellen de onderliggende biologische stochasticiteit nog niet onder de knie hebben.

Generalisatie en Memoratie

• Temporale Verschuiving: De prestatie daalde op de LaTest-splits (zeer recente screens), wat suggereert dat een deel van het voordeel van frontier LLM's op oudere screens kan worden gedreven door memoratie van literatuur die aanwezig is in hun pretraining-data. Regressieanalyse bevestigde een sterke correlatie tussen het citatieaantal van een screen en de modelprestatie.
• Schaaltrends: Grotere modellen binnen de Qwen-familie toonden over het algemeen betere prestaties, hoewel winsten plateauerden, mogelijk door de Mixture-of-Experts (MoE)-architectuur die het aantal actieve parameters verlaagt.
• Fenotypevariatie: De prestatie varieerde aanzienlijk per fenotype. Modellen presteerden het beste op "Fitness/Proliferatie/Viabiliteit"-screens (waarschijnlijk vanwege geconserveerde essentiële genen) en hadden meer moeite met contextspecifieke fenotypes zoals Gastheer-Pathogeen-responsen.

Biologische Bias

Analyse onthulde systematische biases in modelvoorspellingen: GPT-modellen neigden tot oververtegenwoordiging van celcyclusgenen, terwijl Gemini-modellen oververtegenwoordiging toonden van ontwikkelingsbiologiegenen, waarschijnlijk als reflectie van de distributie van deze onderwerpen in hun training-corpora.

Betekenis en Claims

Het artikel positioneert ASSAYBENCH als een praktische testomgeving voor het meten van vooruitgang richting in silico fenotypische screening en, breder, virtuele celmodellen. De auteurs beweren dat:

• Haalbaarheid: Sterke generalistische LLM's al concurrerend zijn voor assay-niveau fenotypische hitvoorspelling zonder expliciete training voor de taak, wat suggereert dat het integreren van biologische context in taalmodellen een levensvatbare weg vooruit is.
• Kloof met Realiteit: Huidige methoden staan ver van het oplossen van de taak, zoals blijkt uit de grote kloof tussen modelprestatie en het empirische plafond afgeleid van technische replicaten.
• Toekomstrichtingen: De benchmark ondersteunt toekomstig onderzoek in het optimaliseren van LLM's voor biologie (via fine-tuning, ensembling en prompt engineering) en benadrukt de behoefte aan aanvullende taken (bijvoorbeeld redeneren over verstoringen) en grotere datasets om de kloof te overbruggen tussen huidige capaciteiten en de vereisten van een ware virtuele cel.
• Benchmarkgebruik: De auteurs benadrukken het belang van de temporale splitsing en de LaTest-set in het onderscheiden tussen memoratie en echte generalisatie, met plannen om de benchmark kwartaals bij te werken om haar bruikbaarheid te behouden naarmate modellen verbeteren.