PG-LLM: Benchmarking General-Purpose Language Models for Protein Variant Ranking

Stel je voor dat je een meesterkok bent die een nieuw recept probeert uit te vinden. Je hebt een basisgerecht (een eiwit) dat goed werkt, maar je wilt de ingrediënten (de aminozuren) aanpassen om het nog lekkerder te maken, langer houdbaar te maken, of om in een andere keuken te laten werken. In de wereld van de biologie wordt dit eiwitengineering genoemd. Jarenlang hebben wetenschappers gespecialiseerde computerprogramma's gebruikt—zoals een team van deskundige voedselcritici die elk ooit geschreven recept uit hun hoofd kennen—om te raden welke aanpassingen zullen werken. Deze experts kijken naar de familiegeschiedenis van het gerecht (evolutionaire data) en de fysieke vorm van de pan (eiwitstructuur) om hun voorspellingen te doen.

Onlangs is er een nieuw type "kok" de keuken binnengekomen: General-Purpose Language Models (LLM's). Dit zijn dezelfde AI-hersenen die gedichten kunnen schrijven, wiskundeproblemen kunnen oplossen en over geschiedenis kunnen chatten. Ze zijn ongelooflijk slim in het begrijpen van taal en patronen. De grote vraag die wetenschappers hebben gesteld is: kunnen deze algemene AI-koks, die niet specifiek zijn opgeleid tot voedselcritici, naar een recept en een lijst met ingrediëntenwissels kijken en ons vertellen welke nieuwe versie de beste zal zijn? Ze hebben geen familiegeschiedenisboeken of 3D-modellen van de pannen; ze hebben alleen de tekst van het recept en hun eigen enorme kennis van hoe woorden (in dit geval aminozuren) bij elkaar passen.

Dit artikel, getiteld "PG-LLM," zet een enorme smaaktest op om uit te zoeken of dit zo is. De onderzoekers hebben een benchmark gecreëerd genaamd PG-LLM, wat lijkt op een gigantische kookwedstrijd. Ze namen 217 verschillende "recepten" (eiwitten) en vroegen dertien verschillende AI-koks om 50 verschillende versies van elk recept te rangschikken van "best" naar "slechtst" op basis van hoe goed ze zouden werken in een echt experiment. De crux? De AI-koks mochten geen speciale eiwittools, evolutionaire kaarten of 3D-structuren gebruiken. Ze moesten alleen vertrouwen op hun algemene intelligentie.

De resultaten zijn een mix van "wow" en "nog niet helemaal daar". De beste AI-kok, Claude Opus 5, behaalde een score van 0,406 (op een schaal waarbij 1,0 perfect is). Dat is een behoorlijk goede score! Het betekent dat de AI eigenlijk best goed is in het raden welke eiwitaanpassingen zullen werken, waarmee het 49 andere gespecialiseerde computerprogramma's verslaat die al jaren bestaan. Sterker nog, het presteerde beter dan bijna alle "sequence-only" experts (degenen die alleen naar de lijst met ingrediënten kijken zonder 3D-modellen).

Echter, de AI-koks wonnen de hele wedstrijd niet. De allerbeste gespecialiseerde eiwitexperts, zoals een programma genaamd VenusREM, scoorden nog steeds hoger met 0,523. Het is also option van een zeer getalenteerde thuiskok die kan raden wie de winnaar van een bakwedstrijd wordt, maar de professionele banketbakker met decennia aan specifieke training nog steeds de geheimen beter kent.

Het artikel ontdekte ook enkele interessante eigenaardigheden over hoe deze AI-koks denken. Wanneer de onderzoekers de AI harder en langer lieten nadenken (meer "test-time compute" gaven), werden de scores beter, maar ze liepen uiteindelijk tegen een muur aan. De AI had ook meer moeite wanneer de lijst met 50 recepten te lang werd om in zijn geest te kunnen ordenen, terwijl de gespecialiseerde experts niet om de lengte van de lijst gaven. Interessant genoeg veranderde de prestaties van de AI niet veel of het eiwit nu een diepe of een ondiepe familiegeschiedenis had, wat suggereert dat de AI een ander soort logica gebruikt dan de evolutionaire experts.

Ten slotte, om er zeker van te zijn dat de AI niet simpelweg antwoorden uit het internet had onthouden, testten de onderzoekers hen op gloednieuwe recepten die na de trainingsdata-cutoff van de AI waren gepubliceerd. De resultaten waren vergelijkbaar: de AI kon nog steeds redeneren over de nieuwe recepten, wat bewijst dat de AI daadwerkelijk de regels van het spel leert, in plaats van alleen oude antwoorden te reciteren.

Kortom, dit artikel laat zien dat algemene AI een verrassend capabele "biologische redeneerder" aan het worden is. Het kan al veel gevestigde tools overtreffen en komt dicht in de buurt van de top specialisten. Maar voorlopig heeft het de gespecialiseerde, op eiwitten gerichte experts nog niet vervangen. Het is een krachtig nieuw instrument in het laboratorium, maar de meesterkoks zijn nog steeds in de wedstrijd.