Unlocking Multimodal Protein Language Models at Inference Time

Eiwitten zijn de moleculaire machines die het leven draaiende houden, waarbij ze zich vouwen in complexe driedimensionale vormen om het essentiële werk binnen elke cel uit te voeren. De instructies voor het bouwen van deze machines zijn geschreven in een eenvoudige keten van twintig verschillende aminozuren, maar de relatie tussen die lineaire code en de uiteindelijke, functionele vorm is een van de meest diepgaande puzzels in de biologie. Decennialang hebben wetenschappers vertrouwd op complexe computermodellen om te voorspellen hoe een reeks aminozuren zal vouwen of om geheel nieuwe eiwitten vanaf nul te ontwerpen. Onlangs is er een nieuwe generatie kunstmatige intelligentiemodellen opgekomen die zowel de sequentie van letters als de 3D-structuur als één enkele, verenigde taal behandelt. Deze modellen kunnen nieuwe eiwitten genereren, maar tot nu toe hebben onderzoekers zich grotendeels gericht op hoe ze deze moeten trainen, uitgaande van de aanname dat de manier waarop de computer zijn eigen antwoorden "leest" tijdens de uiteindelijke generatiestap een vaststaand feit was.

Een team onderzoekers uit Hong Kong heeft ontdekt dat deze aanname onjuist is. Ze ontdekten dat de methode die wordt gebruikt om een definitief eiwitontwerp uit deze krachtige modellen te extraheren, net zo cruciaal is als de training zelf. Door systematisch verschillende manieren te testen om het besluitvormingsproces van de computer tijdens de generatiefase te sturen, toonde het team aan dat ze de kwaliteit van de geproduceerde eiwitten drastisch konden verbeteren zonder de onderliggende code van de modellen te veranderen. Hun werk onthult dat de standaardinstellingen die door deze modellen worden gebruikt vaak leiden tot suboptimale resultaten, maar dat door aan te passen hoe de computer mogelijkheden verkent versus hoe hij zich vastlegt op een specifiek pad, zij een prestatie konden ontsluiten die die van gespecialiseerde tools voor enkelvoudige taken evenaart of zelfs overtreft.

De onderzoekers begonnen met het onderzoeken van de huidige werking van deze modellen. Stel je een model voor dat probeert een eiwit te bouwen als een proces van het geleidelijk invullen van een leeg canvas, waarbij het begint met een volledig gemaskeerde afbeelding en stap voor stap de aminozuren en hun posities onthult. Het team testte drie verschillende modellen voor vier fundamentele taken: het creëren van geheel nieuwe eiwitten, het ontwerpen van eiwitten die rond specifieke functionele delen passen, het voorspellen van de vorm van een eiwit vanuit zijn sequentie, en het ontwerpen van een sequentie die zich zal vouwen in een gegeven vorm. Ze keken eerst naar de basisinstellingen, oftewel de "vanilla"-instellingen, die de standaard, direct bruikbare instructies zijn die de modellen gebruiken om deze beslissingen te nemen. Ze ontdekten dat de standaardinstellingen vaak slecht afgestemd waren op de specifieke taak. Bijvoorbeeld, wanneer gevraagd werd om een volledig nieuw eiwit te ontwerpen, had het model een breed scala aan mogelijkheden nodig met een hoge mate van willekeur om een stabiele structuur te vinden. Echter, wanneer gevraagd werd om de vorm van een bekend eiwit te voorspellen, moest het model veel nauwkeuriger en deterministisch zijn, en strikt vasthouden aan de bekende beperkingen.

Door duizenden variaties van deze basisinstellingen uit te voeren, identificeerde het team het optimale "recept" voor elke taak. Ze ontdekten dat simpelweg overstappen van een rigide, stapsgewijze aanpak naar een flexibelere, simultane aanpak, de modellen in staat stelde om veel meer levensvatbare eiwitten te genereren. In één specifieke casus betreffende de creatie van nieuwe eiwitten, produceerde een model dat voorheen als zwak werd beschouwd onder zijn standaardinstellingen, plotseling bijna drie keer zoveel functionele ontwerpen toen de bemonsteringsstrategie werd aangepast. Deze bevinding daagde de heersende opvatting uit dat sommige modellen inherent inferieur waren, en suggereerde in plaats daarvan dat ze simpelweg werden gebruikt met de verkeerde instrumenten voor de klus.

Vervolgens gingen de onderzoekers over naar een tweede laag van controle, waarbij ze een techniek introduceerden die werkt als een zachte duw om het model in de richting van betere resultaten te sturen. In de context van eiwitontwerp betekent dit het vergelijken van de gok van het model voor een eiwit met een specifiek doel tegenover een gok die zonder dat doel is gemaakt, en vervolgens het verschil te vergroten om het resultaat dichter bij de gewenste uitkomst te duwen. Deze methode, bekend als classifier-free guidance, bleek een krachtige hendel te zijn. Voor de taak van het ontwerpen van nieuwe eiwitten vanaf nul, hielp deze sturing het model om repetitieve, onnatuurlijke patronen te vermijden en produceerde het structuren die aanzienlijk stabieler en diverser waren. De verbetering was zo uitgesproken dat een model dat voorheen als een baseline-performer werd beschouwd, plotseling zijn concurrenten onder de standaardinstellingen overtrof, hoewel het achterbleef bij gespecialiseerde systemen totdat verdere optimalisatie plaatsvond.

Ten slotte verkende het team een derde strategie die naar het grote plaatje keek in plaats van alleen naar de volgende stap. In plaats van één enkel pad naar een oplossing te volgen, instrueerden zij de computer om gelijktijdig meerdere verschillende versies van het eiwit te genereren, zoals het openhouden van verschillende mogelijke routes op een kaart. Op regelmatige intervallen zou het systeem evalueren welke van deze paden het meest veelbelovend leken op basis van de algehele kwaliteit van de structuur en vervolgens de zwakkere opties weg te snijden, om alleen met de beste kandidaten verder te gaan. Deze "beam search"-aanpak stelde de modellen in staat om lokale vallen te vermijden waar ze wellicht genoegen hadden genomen met een middelmatige oplossing. Wanneer toegepast op het meest capabele model, bracht deze strategie de prestaties naar nieuwe hoogten, waarbij succespercentages en ontwerpkwaliteiten werden bereikt die zelfs de eerder als superieur beschouwde gespecialiseerde systemen overtroffen, en dat alles zonder extra training of externe data.

De studie concludeert dat de manier waarop deze modellen op het moment van generatie worden gebruikt, een verborgen variabele is die grotendeels is over het hoofd gezien. De onderzoekers hebben aangetoond dat door zorgvuldig de balans af te stemmen tussen het verkennen van nieuwe mogelijkheden en het benutten van bekende goede oplossingen, zij de prestaties van deze modellen consistent konden verhogen. Dit werk suggereert dat het potentieel van de huidige eiwit-taalmodellen is onderschat, niet omdat de modellen zelf gebrekkig zijn, maar omdat de methoden die worden gebruikt om hun antwoorden te ontsluiten niet geoptimaliseerd waren. Door deze inferentiestrategieën te verfijnen, kunnen wetenschappers nu aanzienlijk meer uit de instrumenten halen die ze al hebben, wat de ontdekking van nieuwe medicijnen en biologische materialen potentieel kan versnellen zonder de noodzaak om geheel nieuwe modellen vanaf de grond op te bouwen.