DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

Dit paper introduceert DrugPlayGround, een raamwerk voor het objectief beoordelen en benchmarken van de prestaties van grote taalmodellen in de geneesmiddelenontdekking, met name voor het genereren van betekenisvolle beschrijvingen en het onderbouwen van chemische en biologische redeneringen.

De kern

Stel je voor dat het vinden van een nieuw medicijn een gigantische zoektocht is in een enorme bibliotheek. Tot nu toe moesten onderzoekers duizenden boeken (wetenschappelijke artikelen) en chemische formules met de hand doorbladeren om te zien welke stofjes ziektes kunnen bestrijden. Dit kost jaren en miljarden euro's.

Recent zijn er Grote Taalmodellen (LLMs) opgekomen. Denk hierbij aan slimme robots die alles wat ze ooit hebben gelezen kunnen onthouden en in begrijpelijke taal kunnen samenvatten. De vraag is: kunnen deze robots ons helpen bij het vinden van medicijnen, of zijn ze alleen maar goed in het schrijven van verhalen?

De auteurs van dit paper hebben DrugPlayGround bedacht. Dit is een soort "speeltuin" of testbaan om te kijken hoe goed deze slimme robots echt zijn in de wereld van medicijnen. Ze hebben de robots op vier belangrijke proeven gezet, alsof je een nieuwe werknemer een proefwerk laat doen.

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. Het Samenvatten van Medicijnen (De "Vertaler")

De proef: De robots kregen de naam van een medicijn en moesten een korte, duidelijke beschrijving schrijven over wat het is, hoe het werkt en wat het doet met het lichaam.
Het resultaat:

• Niet alle robots zijn even goed. Sommige (zoals GPT-4o) schrijven als een ervaren apotheker: helder, accuraat en zonder onzin.
• Andere robots maken fouten. Ze kunnen soms "hallucineren", wat betekent dat ze dingen verzinnen alsof het waar is (bijvoorbeeld: "Dit medicijn weegt 500 gram" terwijl het er maar 100 is).
• De les: Als je de robot vraagt om te denken als een "farmaceutisch expert" (een slimme prompt), maakt hij veel minder fouten. Het is alsof je een student vraagt: "Schrijf dit als een proefwerk" in plaats van "Schrijf iets leuks".

2. Het Voorspellen van Medicijn-Combinaties (De "Smaaktest")

De proef: Soms werken twee medicijnen samen beter dan apart (net als koffie en suiker). De robots moesten voorspellen of twee medicijnen samen zouden werken.
Het resultaat:

• De robots die de medicijnen in een soort "digitale vingerafdruk" (embeddings) omzetten, waren verrassend goed. Ze vonden combinaties die zelfs voor menselijke experts moeilijk te zien waren.
• De les: Het werkt het beste als de cellen waar de medicijnen op werken, simpel en voorspelbaar zijn (zoals een rustig dorpje). Als de cellen heel chaotisch en complex zijn (zoals een drukke stad met veel verkeer), raken de robots de draad kwijt.

3. Het Koppelen van Medicijn aan Doelwit (De "Slot en Sleutel")

De proef: Elk medicijn moet op een specifiek eiwit in het lichaam werken (zoals een sleutel in een slot). Moesten de robots voorspellen welk medicijn bij welk slot past.
Het resultaat:

• De robots waren hierin heel sterk, vaak beter dan oude methoden. Ze konden aan de tekstuele beschrijving van een medicijn "ruiken" welk slot het zou openen.
• De les: Als de beschrijving van het medicijn vaag is (bijvoorbeeld: "dit is een zure stof"), weten de robots het niet. Maar als er duidelijke details staan (zoals "dit blokkeert een specifiek enzym"), vinden ze de sleutel snel.

4. Het Voorspellen van Bijwerkingen (De "Proefkonijn")

De proef: Wat gebeurt er in een cel als je een medicijn toevoegt? Verandert het gedrag van de cel?
Het resultaat:

• Hier deden de robots het ook goed, maar het kwam erop aan hoe je de medicijnen beschreef.
• Als de beschrijving volstond met biologische details (bijvoorbeeld: "dit is een antibioticum dat bacteriën doodt"), was de voorspelling perfect.
• Als de beschrijving alleen maar chemische cijfers bevatte zonder context, raakten de robots de draad kwijt.
• De les: De robot heeft context nodig. Hij moet niet alleen de cijfers zien, maar ook begrijpen waarom het medicijn bestaat.

De Grootste Leerlessen (De "Menselijke" Tips)

1. De robot is niet perfect: Ze kunnen soms dingen verzinnen (hallucineren), vooral over specifieke getallen zoals het gewicht van een molecuul. Je kunt ze niet blindelings vertrouwen; je moet altijd een menselijke expert erbij halen om te controleren.
2. De vraag is belangrijker dan de robot: Het maakt niet uit welke robot je gebruikt als je de vraag (prompt) niet goed stelt. Als je vraagt: "Leg uit als een expert", krijgen je veel betere antwoorden dan als je gewoon vraagt: "Wat is dit?".
3. Geen één robot voor alles: Voor het schrijven van teksten is de ene robot de beste, voor het voorspellen van medicijncombinaties is een andere robot weer beter. Het is alsof je voor een auto een goede chauffeur wilt, maar voor een vliegtuig een goede piloot. Je moet de juiste tool kiezen voor de juiste taak.

Conclusie:
DrugPlayGround laat zien dat deze slimme taalmodellen een enorme kans zijn voor de geneeskunde. Ze kunnen de zoektocht naar nieuwe medicijnen versnellen en goedkoper maken. Maar ze zijn nog geen vervanging voor de menselijke onderzoeker. Ze zijn meer als een super-snelle assistent die alles weet, maar die je soms moet corrigeren als hij een beetje begint te dromen. Als we ze slim gebruiken, kunnen we sneller medicijnen vinden die mensen helpen.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) en Foundation Models (FMs) veelbelovend zijn voor de geneesmiddelenontwikkeling (bijvoorbeeld voor het genereren van moleculen of het voorspellen van interacties), ontbreekt er momenteel een objectief benchmarkkader om hun prestaties te evalueren. Er is onzekerheid over de betrouwbaarheid van LLMs in de farmaceutische sector, aangezien ze vatbaar kunnen zijn voor "hallucinaties" (onrealistische chemie), misinformatie, en inconsistenties in het genereren van chemische structuren of eigenschappen. Bestaande tools zijn vaak gespecialiseerd, maar er is geen unified platform dat systematisch de bruikbaarheid van LLMs voor tekstuele beschrijvingen én vectorrepresentaties (embeddings) van geneesmiddelen test tegen traditionele methoden.

Methodologie: DrugPlayGround

Het auteurs hebben DrugPlayGround ontwikkeld, een unificerend benchmarkplatform dat LLMs evalueert op vier representatieve taken binnen de geneesmiddelenontdekking:

1. Analyse van geneesmiddelfunctie: Het genereren van nauwkeurige tekstuele beschrijvingen van fysisch-chemische eigenschappen.
2. Voorspelling van drug-doelwit interacties (DPI): Het voorspellen van bindingsaffiniteiten.
3. Voorspelling van synergie: Het identificeren van geneesmiddelencombinaties met een versterkend therapeutisch effect.
4. Voorspelling van verstoringen (Perturbation): Het voorspellen van cellulaire responsen (genexpressie) op geneesmiddelen.

Data en Setup:

• Datasets: Het platform gebruikt diverse datasets, waaronder MolTextNet (voor tekstuele beschrijvingen), TDC (voor drug-target data), BAITSAO (voor synergie), en Tahoe 100M (voor single-cell RNA-seq verstoringen).
• Modellen: Er werden meerdere LLMs getest, waaronder GPT-4o, DeepSeek-v3, Gemini-1.5-pro, Claude-sonnet4, Mistral-large-2411, en diverse embedding-modellen (text-embedding-3-large, Gemma, Qwen3, etc.).
• Experimentele Variabelen:
  • Temperatuur: Gevarieerd van 0.0 tot 1.0 om stabiliteit en creativiteit te testen.
  • Prompt-strategieën: Drie types prompts werden vergeleken: Standaard (Normal), Chain-of-Thought (CoT), en Meta-cognitie (Meta, waarbij de LLM wordt gepositioneerd als een farmaceutisch chemie-expert).
  • Evaluatie-metrics: Voor tekst werden metrics zoals BLEU, ROUGE, en BERT-score gebruikt. Voor embeddings werden cosine-similariteit, AUROC, Accuracy, PCC en R² gebruikt in downstream taken.
• Expert Validatie: Chemici en biologen werden betrokken om de kwalitatieve kwaliteit van de gegenereerde beschrijvingen en de mechanistische verklaringen van voorspellingen te beoordelen.

Belangrijkste Resultaten

1. Kwaliteit van gegenereerde tekst (Drug Descriptions)

• Modelprestaties: GPT-4o presteerde consistent het beste in het genereren van accurate beschrijvingen, gevolgd door Mistral-large-2411. DeepSeek-v3 scoorde het laagst.
• Temperatuur: Lagere temperaturen (0.0 - 0.4) leidden over het algemeen tot betere en stabielere resultaten voor de meeste modellen.
• Prompt Engineering: De Meta-prompt (die de rol van een expert definieert) leverde de hoogste scores op en verbeterde de kwaliteit aanzienlijk ten opzichte van standaard prompts. Chain-of-Thought (CoT) prompts presteerden echter slechter; ze introduceerden vaak redundantie en hallucinaties zonder de nauwkeurigheid te verhogen.
• Hallucinaties: LLMs neigden tot fouten in specifieke numerieke waarden (zoals molecuulmassa) en chemische formules, vooral bij complexe of minder bekende moleculen.

2. Embeddings voor Drug Representatie

• Embeddings gegenereerd door LLMs op basis van tekstuele beschrijvingen presteerden over het algemeen beter dan embeddings die puur op moleculaire structuren waren gebaseerd (zoals UniMol), omdat ze semantische en contextuele informatie bevatten.
• Mistral-Emb en Gemini-Emb toonden de hoogste cosine-similariteit met de ground-truth beschrijvingen.

3. Downstream Taken

• Synergievoorspelling: LLM-embeddings (vooral van Gemini en Mistral) presteerden beter dan traditionele methoden en directe LLM-inferentie. De voorspelbaarheid bleek sterk afhankelijk van de biologische homogeniteit van de doelcellen; cellijnen met duidelijke signaalroutes (zoals VCaP) waren makkelijker te voorspellen dan heterogene cellijnen.
• Drug-Protein Interactie (DPI): LLM-embeddings presteerden superieur aan domeinspecifieke modellen. De prestaties waren echter dataset-afhankelijk: GPT-Emb was het beste voor menselijke data, terwijl Gemini en Mistral beter scoorden op gestructureerde databases zoals DrugBank.
• Chemische Verstoringen (Perturbation): Voor het voorspellen van genexpressie-veranderingen presteerde de combinatie van Qwen3-Emb met beschrijvingen gegenereerd door GPT-4o (bij temperatuur 0.4) het beste. Beschrijvingen met rijke biologische context (bijv. classificatie als antibioticum) leidden tot betere voorspellingen dan beschrijvingen die zich enkel richtten op fysisch-chemische eigenschappen.

Bijdragen en Significatie

1. Eerste Unified Benchmark: DrugPlayGround is het eerste uitgebreide platform dat LLMs systematisch evalueert op zowel tekstuele generatie als vectorrepresentaties voor geneesmiddelenontdekking.
2. Inzicht in Prompt Engineering: Het paper demonstreert dat het aanpassen van de prompt (Meta-prompt) cruciaal is voor de kwaliteit van chemische beschrijvingen, terwijl CoT-prompting in dit domein vaak contraproductief is.
3. Aanbevelingen voor Praktijk:
   • Gebruik GPT-4o met een Meta-prompt voor het genereren van betrouwbare drug-beschrijvingen.
   • Gebruik Gemini-Emb of Mistral-Emb voor synergie- en interactievoorspellingen.
   • Gebruik Qwen3-Emb voor complexe biologische verstoringstaken.
4. Identificatie van Beperkingen: Het onderzoek benadrukt dat LLMs nog niet volledig betrouwbaar zijn voor het genereren van exacte numerieke chemische data of 2D-structuren, wat wijst op de noodzaak van hybride modellen die structurele informatie integreren.

Conclusie:
Het paper biedt een kritische, datagedreven basis voor het gebruik van LLMs in de farmaceutische industrie. Het toont aan dat LLMs waardevolle hulpmiddelen zijn voor het versnellen van de geneesmiddelenontdekking, mits ze worden ingezet binnen een zorgvuldig ontworpen benchmarkkader dat rekening houdt met de specifieke beperkingen en sterke punten van elk model. De bevindingen helpen onderzoekers bij het selecteren van het juiste model en de juiste configuratie voor hun specifieke fase in het ontwikkelproces.