CombinGym: a benchmark platform for machine learning-assisted design of combinatorial protein variants

Dit artikel introduceert CombinGym, een benchmarkplatform met 14 gecureerde datasets dat de prestaties van negen machine learning-algoritmes voor het ontwerpen van combinatorische proteïnevarianten evalueert en aantoont dat het gebruik van lagere-orde mutatiegegevens de voorspelling van hogere-orde eigenschappen verbetert, wat experimenteel is gevalideerd.

De kern

CombinGym: De "Trainingshal" voor het Ontwerpen van Super-Proteïnen

Stel je voor dat eiwitten (proteïnen) als LEGO-bouwwerken zijn. Een eiwit is een lange keten van blokken (aminozuren) die zich op een specifieke manier in elkaar schuiven om een taak te vervullen, zoals een sleutel die een slot opent of een machine die brandstof maakt.

In de biologie willen wetenschappers vaak deze LEGO-bouwwerken verbeteren. Ze willen bijvoorbeeld een eiwit maken dat sterker is, sneller werkt of een andere kleur licht geeft. Maar er is een groot probleem: als je één blokje verandert, werkt het eiwit misschien nog wel goed. Maar als je tien blokjes tegelijk verandert, wordt het resultaat onvoorspelbaar. De blokjes beïnvloeden elkaar op een ingewikkelde manier (dit noemen ze epistase). Het is alsof je probeert te raden hoe een bouwwerk eruitziet als je tien willekeurige blokjes vervangt, zonder het hele model te kunnen bouwen en testen.

Het Probleem: Te Veel Mogelijkheden, Te Weinig Tijd

Vroeger moesten wetenschappers duizenden varianten van een eiwit in het lab bouwen en testen. Dat is als proberen elke mogelijke combinatie van LEGO-blokjes uit te proberen. Het kost te veel tijd en geld.

Vandaag de dag gebruiken ze Kunstmatige Intelligentie (AI) om te voorspellen welke combinatie het beste werkt. Maar hier zit een addertje onder het gras: de meeste AI-modellen zijn getraind op simpele veranderingen (één blokje vervangen). Ze zijn nog nooit goed getest op complexe veranderingen (veel blokjes tegelijk). Het is alsof je een auto wilt testen op een racecircuit, maar de AI alleen heeft geoefend op een parkeerplaats.

De Oplossing: CombinGym

De auteurs van dit paper hebben CombinGym bedacht. Je kunt dit zien als een grote, digitale sportschool of een testcircuit specifiek voor complexe eiwit-ontwerpen.

Hier is wat ze hebben gedaan, vertaald naar alledaagse taal:

1. De Verzameling (De Dataset):
   Ze hebben 14 verschillende "trainingsboeken" verzameld. Deze boeken bevatten de resultaten van meer dan 400.000 experimenten met eiwitten. Het zijn niet zomaar eiwitten; het zijn eiwitten die doen aan:

   • Kleefkracht: Eiwitten die aan andere stoffen plakken (zoals een magneet).
   • Licht: Eiwitten die oplichten (zoals een gloeilamp).
   • Snelheid: Eiwitten die chemische reacties versnellen (zoals een motor).

2. De Test (De Benchmark):
   Ze hebben 9 verschillende AI-modellen (de "sporters") op dit circuit laten rennen. Ze hebben gekeken of deze AI's goed konden voorspellen wat er gebeurt als je:

   • Geen enkel blokje hebt getraind (0-vs-rest: "Zie je wel, ik gok het maar").
   • Alleen hebt getraind op één blokje verandering (1-vs-rest).
   • Getraind hebt op twee of drie blokjes verandering (2-vs-rest, 3-vs-rest).

   De grote ontdekking: De AI's werden veel beter als ze eerst hadden geoefend op de simpele veranderingen (één of twee blokjes). Het is alsof een atleet eerst sprintjes loopt voordat hij de marathon rent. De data van de simpele varianten hielp de AI om de complexe varianten te begrijpen.

3. De Stoorzenders (Ruis en Normalisatie):
   In het lab zijn metingen nooit perfect; er is altijd wat "ruis" (foutjes in de meting). De auteurs ontdekten dat hoe je de data "opkust" (normaliseert) en hoe je omgaat met die foutjes, een enorm verschil maakt in hoe goed de AI presteert. Het is alsof je een foto maakt: als je de belichting goed afstelt, zie je de details veel scherper.

4. De Proef (Van Virtueel naar Werkelijk):
   Dit is het coolste deel. Ze hebben niet alleen in de computer gekeken, maar het ook echt gedaan:

   • In de computer: Ze lieten de AI een nieuw, helderder lichtgevend eiwit ontwerpen.
   • In het lab: Ze bouwden dit nieuwe eiwit daadwerkelijk en testten het. Het werkte! Het lichtte helderder op dan het origineel.
   • Ze deden hetzelfde met een enzym (een biologische machine) en kregen een veel sterkere versie.

Waarom is dit belangrijk?

CombinGym is als een gemeenschappelijke testbaan voor de hele wetenschappelijke wereld.

• Voor onderzoekers: Het is een plek om te zien welke AI-modellen echt goed zijn en welke niet.
• Voor de toekomst: Het helpt ons sneller medicijnen te maken, betere brandstoffen te ontwikkelen of milieuvriendelijke chemicaliën te fabriceren.
• Open Source: Alles wat ze hebben gedaan (de data, de code, de resultaten) staat online op een website. Iedereen kan het gebruiken, nieuwe data toevoegen en meedoen aan de "wedstrijd".

Kortom:
CombinGym is de brug tussen de theorie (wat de computer denkt dat werkt) en de praktijk (wat in het lab echt werkt). Het leert ons dat als je AI goed wilt laten werken voor complexe taken, je eerst moet leren van de eenvoudige stappen, en dat je altijd moet controleren of je metingen schoon zijn. Het is een grote stap voorwaarts in het bouwen van de super-eiwitten van de toekomst.

Technische samenvatting

Probleemstelling

Proteïne-engineering is essentieel voor toepassingen zoals industriële katalyse, medicijnontwikkeling en landbouw. Een fundamentele uitdaging in dit veld is het voorspellen van het effect van combinatorische mutaties (meerdere gelijktijdige mutaties) op de functie van een eiwit. Dit komt door epistase: niet-lineaire interacties tussen aminozuurresten waarbij het effect van één mutatie afhangt van de aanwezigheid van andere mutaties.

Hoewel er grote benchmarks bestaan voor het voorspellen van de functie van enkele mutanten (single-mutants), ontbreekt er een gestandaardiseerd platform voor combinatorische mutagenese. Bestaande benchmarks zijn beperkt tot lage-orde mutaties en missen vaak experimentele validatie, wat het moeilijk maakt om te beoordelen of modellen overfitting vertonen of goed kunnen generaliseren naar complexe, hogere-orde varianten.

Methodologie: CombinGym Platform

De auteurs introduceren CombinGym, een benchmarkplatform dat specifiek is ontworpen om machine learning (ML) modellen te evalueren voor het voorspellen en ontwerpen van combinatorische proteïnevarianten.

1. Dataset Collectie:

• Het platform bevat 14 gecureerde Deep Mutational Scanning (DMS) datasets van 9 verschillende eiwitten.
• De datasets bestrijken diverse functionele eigenschappen:
  • Proteïne-binding: GB1, CR6261, CR9114 (antistoffen).
  • Fluorescentie: CreiLOV (zuurstofonafhankelijk), mTagBFP2, mKate2.
  • Enzymatische activiteit: SpCas9, SaCas9, HIV-1 protease, RhlA.
• In totaal zijn er meer dan 400.000 gekarakteriseerde varianten opgenomen.
• De data is genormaliseerd (min-max normalisatie) om schaalverschillen tussen verschillende experimentele assays te compenseren.

2. Benchmark Strategie (Hiërarchische splitsing):
Het kernconcept is het evalueren van modellen in hun vermogen om hogere-orde mutanten te voorspellen op basis van training met lager-orde data. Dit wordt gedaan via vier scenario's:

• 0-vs-rest: Zero-shot voorspelling (geen training op gemeten data; alleen onbewaakte modellen zoals EVmutation, ESM-1b).
• 1-vs-rest: Training op Wild Type (WT) en enkelmutanten, test op dubbel- en hogere-orde mutanten.
• 2-vs-rest: Training op WT, enkel- en dubbelmutanten, test op triple en hogere-orde mutanten.
• 3-vs-rest: Training tot en met triple mutanten, test op nog complexere combinaties.

3. Geëvalueerde Modellen:
Negen basismodellen uit vijf methodologische categorieën werden getest:

• Alignment-based: EVmutation, DeepSequence (gebaseerd op meervoudige sequentie-alignments/MSA).
• Protein Language Models: ESM-1b, ESM-1v (Transformer-modellen).
• Structure-based: GVP-Mut (Geometric Vector Perceptron, gebruikt AlphaFold3-structuren).
• Sequence-label: CNN, Ridge Regression, MAVE-NN (neuronale netwerken voor genotype-phenotype mapping).
• Substitution-based: BLOSUM62 (simpele substitutiescores).

4. Evaluatiemetrics:

• Spearman's ρ: Meet de rangordecorrelatie tussen voorspellingen en metingen (algemene prestatie).
• NDCG (Normalized Discounted Cumulative Gain): Meet hoe goed het model de top-performer varianten identificeert, wat cruciaal is voor praktisch proteïneontwerp.

Belangrijkste Bijdragen

1. Eerste benchmark voor combinatorische mutagenese: CombinGym vult een kritieke leemte op door zich te richten op hogere-orde mutaties in plaats van alleen enkelmutaties.
2. Analyse van datakwaliteit: Het onderzoek toont aan dat meetruis (biologische replicaten) en normalisatiestrategieën (bijv. log-transformatie gecombineerd met min-max) een aanzienlijke invloed hebben op de modelprestaties.
3. Validatie van "Low-to-High" generalisatie: Het platform bewijst dat het trainen op lager-orde data (enkel- en dubbelmutanten) modellen in staat stelt om hogere-orde mutanten succesvol te voorspellen, mits de juiste datastrategieën worden toegepast.
4. Integratie van in silico en wet-lab: Het platform koppelt computationele voorspellingen direct aan experimentele validatie via geautomatiseerde biofoundries.
5. Open Source Platform: Alle data, code, en resultaten zijn toegankelijk via een interactieve website (combingym.org) met een leaderboard voor community-bijdragen.

Resultaten

• Modelprestaties:
  • Supervised models (zoals MAVE-NN, GVP-Mut en Ridge) presteerden over het algemeen beter dan unsupervised modellen, vooral bij het voorspellen van hogere-orde mutaties.
  • GVP-Mut (structure-based) en MAVE-NN (genotype-phenotype mapping) behaalden de hoogste scores voor zowel voorspelling (Spearman's ρ) als ontwerp (NDCG).
  • Prestaties varieerden sterk per eigenschap: modellen presteerden het beste bij proteïne-binding, gevolgd door fluorescentie, en het minst goed bij enzymatische activiteit (vanwege de complexere, multi-staps katalytische mechanismen).
• Invloed van MSA-diepte: Voor alignment-based modellen (EVmutation, DeepSequence) bleek dat een MSA-diepte boven een bepaald minimum (10 sequenties per residu) geen verdere verbetering opleverde; de kwaliteit van de data was belangrijker dan de diepte.
• Experimentele Validatie:
  • CreiLOV (Simulatie): Modellen die waren getraind op enkel- en dubbelmutanten, slaagden erin om hogere-orde mutanten (4-15 mutaties) te voorspellen die helderder fluoresceren dan het wildtype.
  • RhlA (Experimenteel): In een companion-studie werden door MAVE-NN voorspelde hogere-orde varianten van het enzym RhlA experimenteel getest. Dit resulteerde in een aanzienlijke verbetering van de specifieke activiteit en substraatspecificiteit, wat de praktische bruikbaarheid van het platform bevestigt.

Betekenis en Impact

CombinGym biedt een cruciaal fundament voor de volgende generatie proteïne-engineering. Door de kloof tussen computationele voorspellingen en experimentele validatie te overbruggen, stelt het onderzoekers in staat om:

• Betrouwbare ML-modellen te selecteren voor specifieke toepassingen (bijv. enzymen vs. antistoffen).
• De noodzaak van data van hogere-orde mutanten (triple mutanten) te onderstrepen voor het modelleren van complexe epistatische netwerken.
• Efficiënter te werken door computergestuurde selectie van de meest veelbelovende varianten voordat dure experimenten worden uitgevoerd.

Het platform democratiseert de toegang tot hoogwaardige datasets en bevordert transparante vergelijkingen, wat essentieel is voor de snelle vooruitgang in het veld van data-gedreven proteïneontwerp.