Towards best practices in low-dimensional semi-supervised latent Bayesian optimization for the design of antimicrobial peptides

Dit onderzoek toont aan dat het gebruik van een dimensiereductie in de latente ruimte en een zorgvuldige organisatie op basis van zowel makkelijk berekenbare fysisch-chemische eigenschappen als zeldzamere, relevante eigenschappen de interpretatie en efficiëntie van Bayesiaanse optimalisatie voor het ontwerpen van antimicrobiële peptiden verbetert.

De kern

De Gids voor het Ontdekken van Superpeptiden: Een Reis door de Genetische Bibliotheek

Stel je voor dat je een enorme, ondoordringbare bibliotheek binnenstapt. Deze bibliotheek bevat niet boeken, maar miljarden mogelijke recepten voor kleine eiwitten die bacteriën kunnen doden. We noemen ze antimicrobiële peptiden. Het probleem? De bibliotheek is zo groot dat je er een heel leven voor nodig hebt om één goed recept te vinden, en we hebben ze nu hard nodig omdat bacteriën steeds sterker worden tegen onze huidige medicijnen.

De auteurs van dit artikel hebben een slimme manier bedacht om deze zoektocht te versnellen en te begrijpen wat we eigenlijk doen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Probleemstelling: De Naald in de Hooiberg

Het vinden van een nieuw medicijn is als het zoeken naar een naald in een hooiberg, maar dan met een hooiberg van astronomische grootte. Traditionele computers kunnen wel snel bladeren, maar ze kunnen niet echt creëren. Ze vinden alleen wat er al is.

De auteurs gebruiken Deep Learning (kunstmatige intelligentie) als een "fantasie-machine". Deze machine kan nieuwe, nog nooit geziene recepten bedenken. Maar hier zit een addertje onder het gras:

• De machine is een zwarte doos: we weten niet precies waarom hij bepaalde recepten bedenkt.
• De ruimte waar hij in zoekt is te groot en te rommelig om efficiënt te navigeren.

2. De Oplossing: Een Slimme Kaart (Latent Space)

Om dit op te lossen, gebruiken de auteurs een truc. In plaats van te zoeken in de enorme, chaotische bibliotheek, bouwen ze een samenvatting of een kaart van de bibliotheek.

• Ze noemen dit de "Latent Space" (Latente Ruimte).
• Analogie: Stel je voor dat je een hele stad op een plattegrond zet. In plaats van door elke straat te lopen, kijk je naar de kaart. Je ziet direct waar de drukke plekken zijn en waar de rustige hoekjes.

Deze kaart is gemaakt door een AI (een VAE genaamd) die de patronen in de bestaande recepten heeft geleerd.

3. De Uitdaging: De Kaart is nog te groot

Deze kaart is nog steeds te ingewikkeld. Het is alsof je een plattegrond van heel Europa hebt, maar je wilt alleen de beste route door één stad vinden. De computer raakt hierdoor in de war.

De grote ontdekking van dit artikel:
De auteurs hebben ontdekt dat je de kaart kunt versimpelen. Ze gebruiken een wiskundige techniek (PCA) om de kaart in te krimpen tot de belangrijkste lijnen.

• Vergelijking: Het is alsof je van een gedetailleerde 3D-kaart van de stad een simpele 2D-lijn maakt die alleen de snelste route toont.
• Resultaat: De computer vindt sneller de beste recepten op deze versimpelde kaart dan op de oorspronkelijke, rommelige kaart. Het is alsof je een GPS gebruikt in plaats van een stapel papieren kaarten.

4. De Gids: Hoe weten we welke kant op?

Om de computer te helpen, hebben we een "gids" nodig die zegt: "Dit recept is goed, dat is slecht."

• In de echte wereld is het testen van een recept duur en langzaam (je moet het in een lab doen).
• De auteurs gebruiken daarom een voorspellende gids (een "Oracle"). Dit is een slimme computer die denkt dat hij weet of een recept werkt, gebaseerd op eerdere data.
• Ze ontdekten dat het helpt als je de kaart organiseert op basis van eenvoudige eigenschappen (zoals lading of hoe vet/hydrofoob een molecuul is), zelfs als je niet veel echte testresultaten hebt.
• Analogie: Als je op zoek bent naar de beste koffie, helpt het als je de koffieschappen sorteert op "sterkte" of "zuurtegraad", zelfs als je nog niet elke kop hebt geproefd. Je vindt sneller je favoriet.

5. De Belangrijkste Leerlessen (De "Beste Praktijken")

1. Minder is meer: Het is vaak beter om te zoeken in een versimpelde, verkleinde versie van de ruimte dan in de volledige, complexe ruimte. Het is makkelijker om een pad te vinden in een smalle gang dan in een groot, leeg veld.
2. De juiste eigenschappen: Als je de kaart sorteert op de juiste eigenschappen (in dit geval: de elektrische lading van het molecuul), werkt de zoektocht het beste.
3. Weinig data is oké: Je hebt niet duizenden testresultaten nodig om een goede kaart te maken. Zelfs met heel weinig data (slechts 2% van het totaal) kan de AI een bruikbare kaart maken die leidt naar goede medicijnen.
4. Begrijpbaarheid: Door te zoeken in de versimpelde ruimte, kunnen mensen beter zien waarom de AI bepaalde keuzes maakt. Het is niet meer een mysterieuze zwarte doos, maar een duidelijke route die je kunt volgen.

Conclusie

Dit artikel is een handleiding voor wetenschappers die nieuwe medicijnen willen ontwerpen. Het zegt: "Gebruik slimme AI om een kaart te maken, versimpel die kaart tot de belangrijkste lijnen, en zoek daarop met een slimme gids."

Hierdoor kunnen we sneller nieuwe wapens vinden tegen bacteriën, zonder dat we jarenlang in het donker moeten tasten. Het is een stap in de richting van een toekomst waar we bacteriële infecties weer kunnen verslaan, zelfs als ze resistent worden tegen onze huidige medicijnen.

Technische samenvatting

Probleemstelling

De ontwikkeling van nieuwe antibiotica is urgent vanwege de toenemende antimicrobiële resistentie (AMR). Antimicrobiële peptiden (AMPs) zijn veelbelovende therapeutische kandidaten vanwege hun brede werking en het feit dat bacteriën er langzamer resistentie tegen ontwikkelen dan tegen traditionele kleine moleculen.

Het ontwerpen van nieuwe AMPs is echter een uitdaging vanwege:

1. Enorme zoekruimte: Het aantal mogelijke peptidesequenties is astronomisch groot ($\sum_{L=5}^{100} 20^L$), waardoor traditionele mutagenese-methoden ontoereikend zijn.
2. Data-schaarste: Er is slechts een beperkt aantal experimenteel gemeten waarden voor antimicrobiële activiteit (bijv. Minimum Inhibitory Concentration of MIC) beschikbaar, in tegenstelling tot de grote datasets die vaak beschikbaar zijn voor kleine moleculen.
3. Interpreteerbaarheid en optimalisatie: Generatieve deep learning-modellen (zoals Variational Autoencoders of VAEs) kunnen nieuwe sequenties genereren, maar de onderliggende "latent space" (de continue representatie van discrete sequenties) is vaak hoogdimensionaal (bijv. 64 dimensies) en moeilijk te interpreteren. Bayesian Optimization (BayesOpt) werkt inefficiënt in hoge dimensies, maar het reduceren van de dimensie kan de generatieve capaciteit van het model beschadigen.

Het artikel onderzoekt hoe men de latent space van generatieve modellen kan organiseren en optimaliseren om AMPs efficiënter te vinden, zelfs met beperkte gelabelde data.

Methodologie

De auteurs hebben een geavanceerde pipeline ontwikkeld die generatieve modellen combineert met Bayesian Optimization in een latent space.

1. Generatief Model (TransVAE):

   • Er werd een Transformer-based Variational Autoencoder (TransVAE) getraind op een dataset van ~665.000 peptidesequenties.
   • Het model heeft een encoder (sequenties naar een 64-dimensionale latent space) en een decoder (latent space terug naar sequenties).
   • Semi-supervised training: De VAE werd gezamenlijk getraind met een regressor (property predictor) die specifieke eigenschappen voorspelt. Dit dient om de latent space te "organiseren" (structureren) rondom relevante eigenschappen.
   • Organiserende eigenschappen: Er werden modellen getraind met verschillende combinaties van eigenschappen: Boman Index, lading (charge) en hydrofobiciteit. Ook werd een "Oracle" gebruikt: een Support Vector Regression (SVR) model dat MIC-waarden voorspelt op basis van fysisch-chemische descriptors.
   • Data-schaarste simulatie: Modellen werden getraind met variërende percentages aan gelabelde data (van 100% tot slechts 2%), om de prestaties in realistische, data-arme scenario's te testen.

2. Latent Bayesian Optimization (LBO):

   • In plaats van te zoeken in de discrete ruimte van sequenties, wordt BayesOpt uitgevoerd in de continue latent space van de VAE.
   • Een Gaussian Process Regressor (GPR) fungeert als surrogate model om de relatie tussen latent punten en de doelwaarde (negatieve log-MIC) te modelleren.
   • Als acquisitiefunctie werd Log Expected Improvement (LogEI) gebruikt om de volgende kandidaat te selecteren.

3. Dimensiereductie en Vergelijking:

   • De auteurs onderzochten of het uitvoeren van BayesOpt in een PCA-projectie (Principal Component Analysis) van de latent space beter werkt dan in de volledige 64-dimensionale ruimte.
   • Ze vergeleken lineaire projecties (PCA) met niet-lineaire projecties via Gaussian Process Deep Kernel Learning (GP-DKL).
   • Verschillende dimensies voor de PCA-projectie werden getest (2, 5, 10, 20, 32 dimensies).

Belangrijkste Bijdragen

1. Best Practices voor LBO: Het artikel biedt richtlijnen voor het toepassen van Latent Bayesian Optimization in peptide-ontwerp, specifiek gericht op de balans tussen dimensiereductie en behoud van informatie.
2. Effectiviteit van Semi-supervised Learning: Het bewijst dat zelfs met slechts 2% gelabelde data, het gezamenlijk trainen van een eigenschapsvoorspeller de latent space effectief organiseert rondom die eigenschappen.
3. PCA-projectie als Superior Strategie: Het toont aan dat het uitvoeren van BayesOpt in een lineair geprojecteerde ruimte (PCA) vaak beter presteert dan in de volledige hoge-dimensionale ruimte, vooral wanneer de latent space is georganiseerd door relevante eigenschappen.
4. Interpreteerbaarheid: Het benadrukt dat het werken in lagere dimensies (via PCA) niet alleen de optimalisatie-efficiëntie kan verhogen, maar ook cruciaal is voor het visualiseren en begrijpen van de zoektrajecten van het algoritme.

Resultaten

• Organisatie van de Latent Space: Joint-training met eigenschapsvoorspellers leidt tot een georganiseerde latent space waar eigenschappen zoals lading en Boman-index correleren met specifieke hoofdcomponenten. Dit blijft gelden zelfs bij zeer lage percentages gelabelde data (2%).
• Prestaties van Dimensiereductie:
  • BayesOpt in PCA-projecties (vooral 20 of 32 dimensies) presteerde vaak beter dan in de volledige 64-dimensionale ruimte.
  • In scenario's met weinig labels (2%), overtrof een 20-dimensionale PCA-projectie de directe zoektocht in de latent ruimte significant (gemiddelde score 0.896 vs 0.719).
  • Er is geen eenduidig "beste" aantal PCA-componenten, maar een reductie tot minder dan de oorspronkelijke dimensie biedt vaak een voordeel.
• Invloed van Organiserende Eigenschappen:
  • Lading (Charge) bleek de meest informatieve fysisch-chemische eigenschap voor het organiseren van de ruimte, wat leidde tot betere optimalisatieprestaties.
  • Bij zeer weinig labels (2%) presteerde het gebruik van meerdere eigenschappen (multi-property) of de Oracle (voorspelde MIC) beter dan het gebruik van een enkele eigenschap.
• Exploratie vs. Exploitatie:
  • BayesOpt in PCA-projecties toonde meer exploratie aan: het dekte een groter hypervolume van de ruimte af, had een hogere variantie in scores en vond punten die verder verwijderd waren van het trainingssetje van de oracle.
  • Er was een sterke correlatie tussen de variantie in de gesamplede scores en de uiteindelijke beste score (hogere variantie = betere resultaten), wat suggereert dat bredere exploratie in de projectie ruimte gunstig is.
• Vergelijking met GP-DKL: Lineaire PCA-projecties presteerden over het algemeen beter dan niet-lineaire Deep Kernel Learning (GP-DKL) methoden in dit specifieke data-arme scenario, waarschijnlijk omdat GP-DKL te weinig data heeft om de niet-lineaire projectie correct te leren tijdens de BayesOpt-iteraties.

Betekenis en Conclusie

Dit werk legt een cruciale basis voor biophysiek-gedreven peptide-ontwerp. De belangrijkste conclusies zijn:

1. Data-efficiëntie: Het is mogelijk om effectieve generatieve modellen en optimalisatie te bouwen met zeer beperkte experimentele data (zelfs 2%), mits de latent space correct wordt georganiseerd via semi-supervised learning.
2. Dimensiereductie is nuttig: Het reduceren van de latent space via PCA voor Bayesian Optimization is geen verlies van informatie, maar een strategie die de optimalisatie-efficiëntie en interpreteerbaarheid verhoogt. Het helpt het algoritme om de "naald in de hooiberg" sneller te vinden.
3. Relevantie van eigenschappen: De kwaliteit van de organisatie van de latent space is bepalend. Het gebruik van de meest relevante eigenschappen (zoals lading of directe activiteitsvoorspellingen) is essentieel voor succes, vooral in data-arme regimes.
4. Toepasbaarheid: Hoewel gericht op AMPs, zijn deze inzichten breed toepasbaar op elk peptide-ontwerpprobleem waar de zoekruimte groot is en data schaars, zoals het ontwerpen van cel-penetrerende peptiden of anticancer-peptiden.

De auteurs waarschuwen echter dat het blind vertrouwen op 2D-projecties voor visualisatie misleidend kan zijn; de projectie moet worden gekoppeld aan een grondige analyse van de optimalisatietrajecten om "reward hacking" (het vinden van artefacten in plaats van echte oplossingen) te voorkomen.