Do LLM Proposers Improve Budgeted Search for Ionizable Lipids?

In de race om levensreddende medicijnen in het menselijk lichaam te krijgen, vertrouwen wetenschappers op piepkleine, vetachtige bellen die lipidenanodeeltjes worden genoemd. Deze bellen fungeren als beschermende voertuigen die kwetsbare genetische instructies naar de cellen brengen die ze nodig hebben. De sleutel tot het laten werken van deze voertuigen ligt in een specifiek ingrediënt: ioniseerbare lipiden. Dit zijn speciale vetmoleculen die hun elektrische lading kunnen veranderen afhankelijk van hun omgeving, waardoor ze kunnen openen en hun lading kunnen vrijgeven zodra ze in een cel zijn. Het ontwerpen van deze lipiden is een complexe puzzel. Chemici kunnen verschillende chemische bouwstenen combineren en afwisselen om miljoenen potentiële kandidaten te creëren, maar het testen van elk van hen in een laboratorium is traag, duur en beperkt door het aantal experimenten dat tegelijkertijd kan worden uitgevoerd. De centrale uitdaging is niet alleen het vinden van een goede lipide, maar het vinden van de beste voordat het budget op is.

Jarenlang hoopten onderzoekers dat kunstmatige intelligentie, specif kind aan grote taalmodellen, deze puzzel sneller kon oplossen dan traditionele methoden. Deze computerprogramma's, getraind op enorme hoeveelheden tekst en data, zijn uitstekend in het herkennen van patronen en het genereren van nieuwe ideeën. Het idee was dat een AI een creatieve partner zou kunnen zijn die nieuwe lipidenstructuren voorstelt die een mens misschien nooit zou bedenken, waardoor de ontdekking van betere medicijnen wordt versneld. Tot nu toe was er echter geen rigoureuze manier om te testen of deze AI-systemen daadwerkelijk beter waren in de specifieke taak van het zoeken naar nieuwe moleculen onder strikte tijd- en middelenlimieten. Een nieuw onderzoek introduceert een raamwerk genaamd LEAF om deze vraag direct te beantwoorden, waarbij kunstmatige intelligentie wordt afgezet tegen gevestigde computeralgoritmen in een gecontroleerd, eerlijk gevecht om te zien wie als eerste de meest effectieve lipiden kan vinden.

De onderzoekers richtten een digitaal laboratorium in om het ontdekkingsproces te simuleren. Ze creëerden een enorme virtuele ruimte met meer dan 30.000 mogelijke lipidenstructuren, opgebouwd uit een specifieke set chemische bouwstenen. Om de werkelijke kosten van testen na te bootsen, stelden ze een strikt budget op: de zoektocht mocht slechts 40 kandidaten "vragen" naar hun prestaties. In deze simulatie werd de werkelijke prestatie van elke lipide bepaald door een bevroren computermodel dat getraind is op echte experimentele data, dat fungeerde als een perfecte, onveranderlijke rechter. Het doel was om te zien welke methode—kunstmatige intelligentie of klassieke computerzoektocht—de hoogst presterende lipiden kon identificeren binnen die 40 pogingen. De studie testte vier verschillende grote taalmodellen, variërend van kleinere tot grotere formaten, en vergeleek deze met twee standaard baselines: een willekeurige zoektocht (random search), die kandidaten bij toeval kiest, en een genetisch algoritme, een klassieke computerechniek die oplossingen evolueert in de loop van de tijd door de beste kandidaten die tot nu toe zijn gevonden te mengen en te muteren.

De resultaten waren duidelijk en onverwacht. Ondanks de hype rondom kunstmatige intelligentie, presteerden geen van de taalmodellen beter dan de traditionele methoden. Sterker nog, de AI-modellen hadden aanzienlijk moeite met een specifieke inefficiëntie: ze bleven lipiden voorstellen die al eerder waren getest of die bijna identiek waren aan de moleculen in hun geheugen. Voor een van de kleinere modellen waren bijna 80% van de suggesties exacte duplicaten van moleculen die het al had gezien. Dit betekende dat een groot deel van het kostbare budget werd verspild aan het herhalen van hetzelfde werk. Zelfs toen de onderzoekers probeerden dit op te lossen door de modellen te dwingen duplicaten te vermijden, slaagde de AI er nog steeds niet in om betere oplossingen te vinden dan het simpelere genetische algoritme of de willekeurige zoektocht. De grotere modellen maakten minder fouten met duplicaten, maar werden niet beter in het vinden van de beste lipiden; ze stopten simpelweg met het herhalen van zichzelf zonder dat dit een echt voordeel opleverde.

Het onderzoek ging dieper in om te begrijpen waarom de AI faalde. De onderzoekers controleerden of de modellen daadwerkelijk de informatie gebruikten die aan hen werd verstrekt, zoals de prestatiescores van eerdere lipiden, om hun volgende suggesties te sturen. Ze ontdekten dat hoewel de modellen geprompt konden worden om naar deze gegevens te kijken, dit de zoekresultaten niet verbeterde. In sommige tests werd de AI voorzien van valse informatie over welke lipiden goed waren, en ze slaagden er nog steeds niet in om hun strategie effectief aan te passen. De AI leek de data op een oppervlakkige manier te verwerken, waarbij het intelligente redeneringen genereerde die slim leken, maar die niet vertaalden in betere chemische ontdekkingen. De studie onderzocht ook de beste lipiden die door elke methode werden gevonden. Hoewel de AI enkele veelbelovende structuren vond, waren deze niet consistent beter dan de structuren die door de oudere, eenvoudigere algoritmen werden gevonden. Het genetische algoritme en de willekeurige zoektocht waren net zo goed in het vinden van hoogpresterende lipiden binnen het krappe budget.

Dit onderzoek suggereert niet dat kunstmatige intelligentie geen plaats heeft in de chemie, maar het biedt een concrete diagnose van waar de huidige zero-shot modellen tekortschieten in deze specifieke taak. Het falen was niet te wijten aan een gebrek aan intelligentie in de modellen, maar aan een gebrek aan efficiëntie in hoe zij hun beperkte middelen gebruikten. De studie benadrukt dat in een vakgebied waar elke experiment telt, het hebben van een krachtige AI alleen niet genoeg is; het systeem moet in staat zijn om werkelijk nieuwe ideeën voor te stellen zonder tijd te verspillen aan herhalingen. De onderzoekers concludeerden dat onder gecontroleerde omstandigheden met een vast budget, de geteste taalmodellen geen verbetering boden ten opzichte van klassieke methoden. De meest efficiënte weg naar het vinden van betere lipiden blijft, althans voor nu, de bewezen, traditionele algoritmen die decennialang zijn verfijnd, in plaats van de nieuwste generatie generatieve AI.