PRIZM: Combining Low-N Data and Zero-shot Models to Design Enhanced Protein Variants

PRIZM is een tweefasige workflow die een kleine dataset van ongeveer 20 gemerkte varianten gebruikt om de meest geschikte zero-shot foundation model te selecteren voor het prioriteren van eiwitvarianten, waardoor efficiënter eiwitontwerp mogelijk wordt met minimale experimentele data.

De kern

PRIZM: De Slimme Gids voor het Ontwerpen van Beter Werkende Eiwitten

Stel je voor dat je een kok bent die een nieuwe, superkrachtige soep wil maken. Je hebt een recept (het eiwit), maar je wilt weten welke ingrediënten (aminozuren) je kunt vervangen om de soep nog lekkerder of sterker te maken. In het verleden moest je dit doen door duizenden proefjes te doen in het lab: "Wat als ik zout door suiker vervang? En wat als ik peper door chili vervang?" Dit kostte jaren, veel geld en ontzettend veel tijd.

Vandaag de dag hebben we computers en kunstmatige intelligentie (AI) die ons kunnen helpen. Maar hier zit een probleem: er zijn niet één, maar veel verschillende AI-modellen die elk een andere manier hebben om te voorspellen welke ingrediënten het beste werken. Het is alsof je twintig verschillende kokken hebt, maar je weet niet welke van hen de beste soep kan bedenken voor jouw specifieke recept. Als je de verkeerde kok kiest, maak je een smakeloze soep.

Wat is PRIZM?
De onderzoekers hebben PRIZM bedacht. Dit is een slimme, tweestaps-methode die je helpt de juiste "kok" (AI-model) te vinden, zelfs als je maar heel weinig proefresultaten hebt.

Hier is hoe het werkt, vertaald in alledaagse termen:

Stap 1: De "Proefkeuring" (Het kiezen van de beste kok)

Stel, je hebt al een klein lijstje met 20 proefjes gedaan. Je weet bijvoorbeeld dat variant A iets lekkerder was en variant B iets minder.

• Het oude probleem: Je zou nu een AI kunnen trainen op die 20 proefjes, maar dat is als proberen een meesterkok te worden door slechts één recept te lezen. De computer raakt dan in de war en leert de verkeerde dingen.
• De PRIZM-oplossing: In plaats van de AI te laten "leren", laat je alle 25 verschillende AI-koks hun voorspellingen doen voor die 20 proefjes.
  • Kijk je naar de voorspellingen van Kok X? Die lijkt heel goed te matchen met jouw echte proefresultaten.
  • Kijk je naar Kok Y? Die voorspelt het totaal verkeerd.
  • Het resultaat: PRIZM kijkt naar die 20 proefjes en zegt: "Oké, voor dit specifieke recept is Kok X de beste gids. Kok Y kun je vergeten."

Stap 2: De "Grote Ontdekking" (Het kiezen van de winnaars)

Nu je weet welke AI-kok de beste is, laat je die ene kok een virtuele bibliotheek van miljoenen mogelijke nieuwe recepten doorzoeken.

• Omdat je nu weet dat deze kok goed is voor jouw soep, kun je vertrouwen op zijn lijstje met de top 10 beste nieuwe combinaties.
• Je hoeft niet meer duizenden proefjes te doen. Je pakt gewoon de top 3 of 5 van die lijst en test die in het lab.

Waarom is dit zo speciaal?

1. Je hebt weinig data nodig: Je hebt maar ongeveer 20 proefjes nodig om de juiste AI te vinden. Dat is alsof je met slechts 20 woorden al kunt zeggen welke vertaler de beste is voor een specifieke taal.
2. Het werkt voor alles: Of je nu een eiwit wilt maken dat hitte beter verdraagt (zoals een soep die niet kookt) of een eiwit dat sneller werkt (zoals een snellere blender), PRIZM vindt de juiste gids.
3. Geen AI-expert nodig: Je hoeft niet te weten hoe de AI werkt. PRIZM doet het zware werk voor je.

De Bewijzen uit de Studie

De onderzoekers hebben dit getest op twee echte voorbeelden:

• Succes 1 (Hittebestendigheid): Ze wilden een enzym (een biologische machine) maken dat niet kapotgaat bij hoge temperaturen. Met behulp van PRIZM vonden ze een variant die 3 graden warmer kon aan dan de originele. Alsof je een auto hebt die normaal bij 80°C smelt, maar nu tot 83°C blijft rijden.
• Succes 2 (Snelheid): Ze wilden een enzym sneller laten werken. Met slechts 8 proefjes als startpunt, vond PRIZM een variant die 20% sneller was dan het origineel.

De Metafoor in het Kort

Stel je voor dat je op zoek bent naar de beste route naar een onbekende stad.

• De oude manier: Je probeert zelf elke weg uit, of je vraagt een willekeurige toerist om een kaart.
• De PRIZM-methode: Je hebt een klein stukje van de route al gelopen (je 20 proefjes). Je vraagt nu aan 25 verschillende GPS-systemen: "Wie heeft de beste route voor dit stukje?" Zodra je weet welke GPS het meest accuraat is voor dit stukje weg, laat je die GPS de rest van de reis voor je plannen.

Conclusie:
PRIZM is een brug tussen de kracht van grote, slimme computers en de beperkte tijd en geld die onderzoekers hebben. Het maakt het ontwerpen van betere medicijnen, brandstoffen en materialen toegankelijker, sneller en goedkoper voor iedereen, niet alleen voor computer-experts.

Technische samenvatting

Probleemstelling

Proteïne-engineering, het ontwerpen van eiwitten met verbeterde functies, wordt steeds vaker ondersteund door machine learning (ML). Echter, twee bestaande benaderingen hebben aanzienlijke beperkingen, vooral voor niet-experts:

1. Supervised Learning (MLDE): Methoden die op toezicht gebaseerd zijn, vereisen doorgaans grote hoeveelheden hoogwaardige trainingsdata en diepgaande ML-expertise. Bij kleine datasets (Low-N) is het risico op overfitting groot en is een betrouwbare train-test splitsing vaak onmogelijk. Bovendien moeten deze modellen vaak opnieuw worden ontworpen en getraind voor elke nieuwe taak.
2. Zero-shot Modelling: Grote, vooraf getrainde "foundation models" kunnen mutatie-effecten voorspellen zonder specifieke trainingsdata. Het probleem hierbij is echter dat er honderden modellen beschikbaar zijn en het niet duidelijk is welk model het beste presteert voor een specifieke proteïne-eigenschap. Er ontbreekt een gestructureerde methode om de juiste predictor te selecteren zonder experimentele data te gebruiken.

Er is dus behoefte aan een aanpak die de generaliteit van foundation modellen combineert met specifieke experimentele inzichten, zonder complexe modeltraining of grote datasets te vereisen.

Methodologie: PRIZM Workflow

De auteurs introduceren PRIZM (Protein Ranking using Informed Zero-shot Modelling), een tweefasen-workflow die geen modeltraining vereist, maar wel gebruikmaakt van bestaande zero-shot modellen.

Fase 1: Model Ranking (Selectie)

• Input: Een kleine dataset van experimenteel geteste varianten (Low-N, typisch ~20-50 mutaties) en de wildtype (WT) sequentie, structuur (bijv. AlphaFold3) en Multiple Sequence Alignment (MSA).
• Proces: Een collectie van 25 vooraf getrainde zero-shot modellen (uit de ProteinGym-bibliotheek, variërend in inputtype: sequentie, MSA, structuur, of combinaties) genereert scores voor de varianten in de Low-N dataset.
• Selectie: De voorspellingen van elk model worden vergeleken met de experimentele waarden. De prestatie wordt gemeten aan de hand van:
  • De absolute Spearman-correlatie (rangschikking).
  • De gemiddelde precisie (AP) voor het classificeren van varianten boven een bepaalde drempel (bijv. WT-prestatie).
• Output: De modellen met de hoogste correlatie en precisie worden geselecteerd als de beste predictors voor de specifieke proteïne-eigenschap.

Fase 2: Variant Ranking (Selectie)

• Proces: De beste geselecteerde modellen worden toegepast op een in silico bibliotheek van alle mogelijke mutaties (bijv. single-point mutagenese).
• Output: De varianten worden gerangschikt op basis van hun voorspelde scores. Onderzoekers kunnen vervolgens een "greedy Top K" selectie maken of expertkennis combineren met de ranking om kandidaten voor experimentele validatie te kiezen.

Belangrijkste Bijdragen

1. Data-efficiëntie: PRIZM maakt het mogelijk om foundation modellen effectief te gebruiken met slechts een handvol experimentele data (~20 varianten), waardoor de kosten en tijd voor data-generatie drastisch worden verlaagd.
2. Geen training vereist: Het systeem omzeilt de noodzaak van modeltraining, overfitting en complexe hyperparameter-tuning, wat het toegankelijk maakt voor biologen zonder ML-achtergrond.
3. Model-agnostisch: PRIZM is niet gebonden aan één specifiek model, maar fungeert als een filter om het meest geschikte model uit een breed scala te selecteren op basis van de specifieke eigenschap van het doelwit.
4. Hergebruik van data: De methode maakt het mogelijk om bestaande, kleine datasets uit eerdere onderzoeken te benutten voor nieuwe engineering-campagnes, in plaats van altijd nieuwe datasets te genereren.

Resultaten

• Validatie op Benchmark Datasets: PRIZM werd getest op 10 Deep Mutational Scanning (DMS) datasets met diverse eigenschappen (thermostabiliteit, enzymactiviteit, fluorescentie, etc.).
  • Met slechts 20 gelabelde varianten kon PRIZM betrouwbaar onderscheid maken tussen goed en slecht presterende modellen (Cohen's d > 0,5).
  • Met 50 varianten werd de prestatie van de geselecteerde modellen vergelijkbaar met de beste modellen op de volledige datasets.
  • PRIZM presteerde beter dan de consensus-benadering van Hie et al. in 6 van de 10 gevallen.
• Case Study 1: Sucrose Synthase (GmSuSy) Thermostabiliteit:
  • Gebruikmakend van een bestaande dataset van 68 mutaties, selecteerde PRIZM drie top-modellen.
  • Dit leidde tot de identificatie van een nieuwe variant (F468I) met een ~3,0°C toename in smelttemperatuur ($T_m$) en een verbeterde kinetische stabiliteit, wat beter was dan alle varianten uit de oorspronkelijke rationele campagne.
• Case Study 2: Glycosyltransferase (TOGT1_1) Activiteit:
  • In een extreem lage-N setting (slechts 8 mutaties als input) selecteerde PRIZM het model VenusREM.
  • Dit resulteerde in een hit rate van 60% voor varianten met verbeterde activiteit. De beste variant (G401F) toonde een ~20% toename in relatieve activiteit vergeleken met het wildtype.

Significantie en Toekomstperspectief

PRIZM biedt een brug tussen de kracht van grote foundation modellen en de realiteit van beperkte experimentele data in de proteïne-engineering. Het democratiseert het gebruik van geavanceerde AI-tools door de drempel voor ML-expertise te verlagen.

• Toepassingsgebied: De methode is bijzonder waardevol wanneer budgetten beperkt zijn, wanneer er al kleine datasets beschikbaar zijn uit eerdere campagnes, of wanneer onderzoekers snel willen starten met zero-shot voorspellingen.
• Beperkingen: De methode is afhankelijk van de kwaliteit van de onderliggende zero-shot modellen. Voor eigenschappen die sterk afhankelijk zijn van synthetische interacties (zoals inhibitor-resistentie die niet in de evolutionaire geschiedenis voorkomt) of complexe epistatische effecten (meerdere mutaties), kunnen de prestaties lager zijn.
• Toekomst: PRIZM kan dienen als een eerste stap in een grotere ontwerppijplijn, bijvoorbeeld door de beste geselecteerde embedding te gebruiken als input voor een supervisie model (zoals in EVOLVEpro) of door Bayesian optimization te integreren voor een nog efficiëntere verkenning van de sequentieruimte.

Samenvattend biedt PRIZM een robuust, schaalbaar en toegankelijk kader om de ruimte van zero-shot modellen te navigeren en zo de ontwikkeling van verbeterde proteïnevarianten te versnellen.