How to make the most of your masked language model for protein engineering

Deze paper introduceert een flexibele steekproefmethode met stochastische beam search voor gemaskeerde taalkundige modellen die, zoals blijkt uit uitgebreide in silico en in vitro tests op antilichamen, minstens zo belangrijk is voor het optimaliseren van biologische eigenschappen als de keuze van het model zelf.

De kern

Stel je voor dat je een recept voor een heel specifiek gerecht hebt, bijvoorbeeld een perfecte soep die je oma altijd maakte. Je wilt deze soep een beetje verbeteren: misschien iets minder zout, of een extra kruidje voor een betere smaak, maar je wilt niet dat de soep ineens naar rubber smaakt of dat je er ziek van wordt.

In de wereld van medicijnen doen wetenschappers precies hetzelfde, maar dan met eiwitten (zoals antilichamen) in plaats van soep. Deze eiwitten zijn de "soldaten" van ons immuunsysteem die ziektes bestrijden. Soms moeten we ze een beetje "herschrijven" om ze sterker of veiliger te maken.

Het probleem is dat er ontzettend veel manieren zijn om een eiwit te herschrijven. Het is alsof je een zin van 100 woorden hebt en je wilt weten welke van de 20 mogelijke letters op elke plek het beste werkt. Dat zijn meer combinaties dan er sterren aan de hemel staan.

Hier komt dit nieuwe onderzoek om de hoek kijken. Het team van BigHat Biosciences heeft een nieuwe manier bedacht om de beste "recepten" te vinden, zonder dat ze elke optie in het laboratorium hoeven te testen (wat duur en langzaam is).

Hier is de uitleg in simpele taal:

1. De oude manier: "Gokken en hopen"

Vroeger (en bij veel andere methoden) deden ze het zo:
Ze namen een goed eiwit en veranderden één letter op één plek. Dan keken ze of het goed was. Vervolgens veranderden ze nog één letter, en nog één...

• De analogie: Dit is alsof je een slot probeert te openen door één voor één de cijfers te draaien. "Is 1 goed? Nee. Is 2 goed? Nee."
• Het nadeel: Het is traag, en je mist vaak de beste combinatie omdat je te gefocust bent op kleine stapjes.

2. De nieuwe manier: "De Super-Keukenchef"

De auteurs van dit paper zeggen: "Wacht even, we hebben een slimme AI (een taalmodel) die al miljoenen eiwitten heeft gelezen. Laten we die gebruiken om hele nieuwe recepten in één keer te beoordelen."

Ze gebruiken een methode die ze "Stochastic Beam Search" noemen.

• De analogie: Stel je voor dat je een chef-kok hebt die 100 verschillende versies van je soep tegelijk kan proeven. In plaats van één voor één te koken, maakt hij 100 potten tegelijk (maar slimme potten, die lijken op je originele recept).
• Hij kijkt naar alle 100 potten, ruikt ze, proeft ze, en kiest de 10 beste. Dan neemt hij die 10, maakt er weer 100 nieuwe varianten van, en kiest weer de beste.
• Het geheim: Ze gebruiken een trucje waardoor de computer heel snel kan rekenen welke varianten het beste zijn, zonder dat het duurt als een eeuwigheid.

3. De "Burger" en de "Weg"

Een ander belangrijk punt in het onderzoek is dat het niet uitmaakt welke chef-kok (AI-model) je gebruikt, maar hoe je de opdracht geeft.

• Soms denken mensen: "We moeten de allerduurste, slimste AI kopen."
• Dit onderzoek zegt: "Nee! Als je de verkeerde manier gebruikt om te zoeken (zoals het oude 'één voor één' gokken), helpt de slimste AI je niet. Maar als je de juiste zoekmethode gebruikt (zoals onze 'Super-Keukenchef'), werkt zelfs een simpelere AI wonderbaarlijk goed."

4. Meerdere doelen tegelijk

Soms wil je niet alleen dat de soep lekker is, maar ook dat hij gezond is en lang goed blijft.

• De nieuwe methode kan meerdere doelen tegelijk bewaken. Ze kunnen zeggen: "Zoek een variant die niet alleen sterk is, maar ook veilig voor mensen en stabiel."
• Ze gebruiken een slimme "score" die alle deze wensen in één getal combineert, zodat de AI precies weet wat ze moeten zoeken.

Wat hebben ze bewezen?

Ze hebben dit niet alleen op de computer getest, maar ook in het echte laboratorium met echte medicijnen.

• Ze hebben verschillende methoden tegen elkaar laten strijden.
• Het resultaat: De nieuwe methode (de "Super-Keukenchef" met de slimme zoekstrategie) leverde veel meer succesvolle medicijnen op dan de oude methoden.
• Zelfs een AI die niet specifiek voor medicijnen was getraind (maar voor alle eiwitten), deed het fantastisch goed zolang ze de juiste zoekmethode gebruikten.

Conclusie in één zin

Dit paper leert ons dat als je op zoek bent naar de perfecte medicijn-eiwit, het niet gaat om het hebben van de duurste computer, maar om het hebben van de slimste manier om te zoeken in de enorme wereld van mogelijkheden. Ze hebben een nieuwe "GPS" bedacht die je direct naar de beste oplossingen leidt, in plaats van je te laten dwalen in een doolhof.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "How to Make the Most of Your Masked Language Model for Protein Engineering", gepubliceerd bij de GEM-workshop van ICLR 2026.

Probleemstelling

Hoewel er de afgelopen jaren een overvloed aan taalmodellen voor eiwitten (Protein Language Models of PLMs) is vrijgegeven, is er weinig onderzoek gedaan naar de optimale manier om deze modellen te samplen (proberen) om gewenste biologische eigenschappen te maximaliseren. Bestaande methoden voor het genereren van mutaties in eiwitten, specifiek voor antilichamen, hebben twee belangrijke beperkingen:

1. Inefficiëntie en kwaliteit: De huidige "mutatie-centric" methoden (zoals Gibbs-sampling of denoising sampling) zijn computatief duur en hebben de neiging om onwaarschijnlijke, niet-functionele sequenties te genereren. Ze benaderen het probleem als een sequentiële generatie (token-per-token), wat niet optimaal is voor Masked Language Models (MLMs).
2. Moeilijkheid bij multi-objective optimalisatie: Het integreren van extra scorefuncties (zoals immunogeniciteit, stabiliteit of binding) is lastig. Veel bestaande methoden vereisen dat de scorefunctie werkt op gedeeltelijk gemaskeerde sequenties of dat de functie differentieerbaar is. In de praktijk zijn veel belangrijke scores (zoals de OASis-percentiel voor immunogeniciteit of het isoelektrisch punt) echter niet-differentieerbaar en vereisen ze een volledig "schone" sequentie.

Methodologie

De auteurs stellen een nieuwe, sequentie-centric aanpak voor die het probleem herschrijft van een generatie-taak naar een zoekprobleem in de sequentieruimte.

1. Stochastische Beam Search (SBS) met MLM-evaluatie
In plaats van het MLM te vragen om mutaties te genereren, vragen ze het model om volledige sequenties te evalueren via hun pseudo-log-likelihood (PLL).

• Efficiëntie: Hoewel het berekenen van de PLL voor één sequentie $O(L^3)$ kost (waarbij $L$ de lengte is), kunnen de benaderde PLL-waarden voor alle sequenties die slechts één substitutie verwijderd zijn van een template, vrijwel "gratis" worden berekend. Dit wordt gedaan door gebruik te maken van de "wild-type marginal approximation".
• Zoekalgoritme: Ze gebruiken Stochastic Beam Search (gebaseerd op Kool et al., 2019). Dit algoritme voegt Gumbel-ruis toe aan de ranking om een balans te vinden tussen de waarschijnlijkheid van de sequentie (volgens het MLM) en de diversiteit van de gegenereerde set.
• Voordeel: Dit biedt een enorme snelheidswinst ($20EL \times$ sneller dan mutatie-centric sampling) en zorgt ervoor dat het model sequenties selecteert die het meest waarschijnlijk zijn volgens zijn eigen verdeling.

2. Multi-Objective Optimization (MOO) met Gradiëntvrije Geleiding
Het framework behandelt zowel het MLM als optionele scorefuncties als "black boxes".

• Scalarisatie: Ze gebruiken Smooth Tchebycheff Scalarization (STS) in plaats van de gebruikelijke Pareto non-dominated sorting (NDS). STS probeert de prestaties van alle doelen tegelijkertijd te verbeteren, wat effectiever blijkt te zijn voor het vinden van sequenties die aan meerdere criteria voldoen.
• Gradiëntvrij: Omdat de methode geen gradients vereist, kunnen niet-differentieerbare en dure scorefuncties (zoals OASis of isoelektrisch punt) direct worden toegepast op volledig gegenereerde sequenties.

Belangrijkste Bijdragen

1. Nieuwe Sampling Methode: Introductie van een efficiënte, sequentie-centric beam search voor MLMs die de zoekruimte effectief doorzoekt zonder de beperkingen van traditionele mutatie-centric sampling.
2. Systematische Evaluatie: Een uitgebreide benchmarking van zowel in silico (computersimulatie) als in vitro (labexperimenten) op echte antilichaam-therapeutische campagnes.
3. Insight in Sampling vs. Model: De bevinding dat de keuze van het sampling-algoritme minstens zo belangrijk is voor het succes als de keuze van het taalmodel zelf.
4. Praktische Validatie: Demonstratie dat een model getraind op generieke eiwitsequenties (ESM-2) zeer effectief kan zijn voor antilichaam-optimalisatie, en dat specifieke antilichaam-modellen (zoals AbLang2) uitstekende resultaten leveren.

Resultaten

De auteurs evalueerden negen MLMs en drie CLMs (Causal Language Models) op real-world data.

• In Silico Resultaten:

  • De voorgestelde Beam Search presteerde consistent beter dan Gibbs-sampling en denoising sampling op criteria zoals voorspelde synthesiseerbaarheid en diversiteit.
  • Modellen AbLang2 en ESM2-650M onderscheidden zich met de beste metrics.
  • Beam Search genereerde sequenties met hogere kwaliteit en betere diversiteit dan bestaande methoden.

• In Vitro Resultaten (Labexperimenten):

  • In een campagne met 289 monsters over 13 methoden, behaalde de combinatie van AbLang2 met Stochastic Beam Search en STS-guidance een perfecte succesrate van 100% voor het passeren van synthesiseerbaarheid en bindingskwaliteit (QC).
  • De keuze van het sampling-algoritme bleek cruciaal: Beam Search overtrof Gibbs op alle geteste modellen.
  • Supervisie: Het gebruik van een gesuperviseerd model voor ranking en geleiding (naast het MLM) verbeterde de succesrate aanzienlijk.
  • Eigenschappen: Methoden met hogere succesrates produceerden ook sterkere binders (lagere $K_D$). De geleide methoden reduceerden de variatie in opbrengst (yield) en elimineerden het genereren van zeer zwakke binders.
  • Opmerkelijke bevinding: Hoewel AbLang2 getraind is op menselijke sequenties, produceerde het minder "menselijke" antilichamen dan ESM2-650M (dat op generieke eiwitten is getraind), wat suggereert dat de training data niet altijd direct vertaalt naar de gewenste eigenschappen zonder de juiste sampling-strategie.

Significantie en Conclusie

Dit paper biedt een paradigmaverschuiving in hoe taalmodellen voor eiwitten worden gebruikt voor engineering. De belangrijkste conclusies zijn:

1. Sampling is koning: De optimalisatie van het sampling-algoritme is even belangrijk als het kiezen van het juiste model.
2. Sequentie-centric is superieur: Het evalueren van volledige sequenties via beam search is efficiënter en effectiever dan iteratieve mutatie-centric sampling.
3. Flexibiliteit: De methode maakt het mogelijk om complexe, niet-differentieerbare biologische constraints direct in het generatieproces te integreren.
4. Aanbevelingen: De auteurs adviseren het gebruik van ESM2-650M of AbLang2 in combinatie met Stochastic Beam Search en, waar mogelijk, gesuperviseerde geleiding (zoals STS) voor de beste resultaten in antilichaam-engineering.

Deze bevindingen openen de weg voor snellere en betrouwbaardere ontdekking van therapeutische antilichamen door de efficiëntie van machine learning-gestuurde iteratieve design te maximaliseren.