CVT Archives and Chemical Embedding Measures for Multi-Objective Quality Diversity in Molecular Design

Dit onderzoek toont aan dat het toepassen van Multi-Objective MAP-Elites met Centroidal Voronoi Tessellation-archieven, gebaseerd op ChemBERTa-2-inbeddingen, aanzienlijk betere resultaten oplevert bij het ontwerpen van diverse en hoogwaardige niet-lineaire optische moleculen dan traditionele roostergebaseerde methoden.

De kern

Stel je voor dat je een superchef bent die op zoek is naar het perfecte recept voor een nieuwe, magische stof. Deze stof moet heel goed zijn voor de toekomst van technologie (zoals snellere internetkabels of betere lasers). Maar er is een probleem: je moet niet één, maar vier verschillende eisen tegelijkertijd vervullen. Het recept moet bijvoorbeeld:

1. Een bepaalde kracht hebben.
2. Niet te zwaar zijn.
3. Een specifieke kleur hebben (in de chemische wereld: een bepaalde energiekloof).
4. Stabiel genoeg zijn om niet uit elkaar te vallen.

De wereld van mogelijke chemische recepten is zo enorm als een heel universum. Het is onmogelijk om ze allemaal te proberen. Vroeger gebruikten wetenschappers een simpele methode: ze maakten een groot rooster (een raster) met vakjes, zoals een kruiswoordpuzzel. Ze probeerden recepten in elk vakje te vinden.

Het probleem met de oude methode:
Dit rooster was te simpel. Het had veel vakjes voor combinaties die in de echte wereld onmogelijk zijn (zoals een molecuul met meer bindingen dan atomen, wat chemisch gezien als een huis zonder muren is). De computer waste dus tijd met het zoeken in lege, onbewoonde gebieden, terwijl hij de drukke, interessante gebieden (waar de echte goede recepten zaten) niet genoeg onderzocht.

De nieuwe oplossing: De "Slimme Kaart"
In dit artikel vertellen Dominic en Jacob over een nieuwe, slimmere manier om te zoeken, genaamd CVT-MOME.

Stel je voor dat je in plaats van een star rooster, een dynamische, intelligente kaart gebruikt.

1. De Leermeester (AI): Ze gebruiken een slimme AI (ChemBERTa) die miljoenen bekende chemische recepten heeft gelezen. Deze AI begrijpt niet alleen de letters van de recepten, maar voelt ook de "smaak" en chemische gelijkenis.
2. De Compacte Wereld (UMAP): Omdat de wereld van recepten te groot is, knijpt de AI deze samen tot een klein, overzichtelijk landschap van 10 dimensies. Denk hierbij aan het vouwen van een gigantische, ingewikkelde landkaart tot een handig formaat, waarbij gebieden die chemisch op elkaar lijken, dicht bij elkaar komen te liggen.
3. De Slimme Vakjes (CVT): In plaats van een star rooster, plaatst de computer nu zijn zoekvakjes (de "nichen") precies daar waar de AI ziet dat er echte, mogelijke recepten wonen. Het zijn als het ware dorpjes die worden gebouwd op plekken waar mensen al wonen, in plaats van in het midden van een woestijn.

Wat is het resultaat?
De onderzoekers lieten hun computerprogramma's (de chefs) aan de slag gaan om de beste moleculen te vinden.

• De oude methode (het starre rooster) vond wel veel verschillende soorten, maar veel daarvan waren niet erg goed of zaten in "lege" vakjes.
• De nieuwe methode (de slimme kaart) vond veel beter werk. Ze vonden recepten die niet alleen aan alle vier de eisen voldeden, maar dat deden ze ook nog eens in een veel grotere verscheidenheid aan chemische structuren.

De grote winst:
Het is alsof je eerder zocht in een leeg magazijn met duizenden lege kasten, en nu ineens een magazijn hebt waar elke kast vol zit met precies de juiste producten. De nieuwe methode vond veel krachtigere en diverse oplossingen dan de oude manier, omdat hij niet verspilde aan het zoeken naar dingen die chemisch onmogelijk zijn.

Kortom:
Door slimme kunstmatige intelligentie te gebruiken om de "smaak" van chemie te begrijpen, kunnen wetenschappers nu veel sneller en beter de perfecte moleculen vinden voor de technologie van de toekomst. Het is de overstap van een starre, saaie lijst naar een levendige, slimme kaart.

Technische samenvatting

Probleemstelling

Het ontwerpen van niet-lineaire optische (NLO) materialen voor fotonische technologieën (zoals elektro-optische modulatoren) vereist het balanceren van meerdere, vaak concurrerende doelen binnen een enorm chemisch zoekruimte. De auteurs identificeren een specifiek vier-dimensionaal optimalisatieprobleem waarbij de volgende eigenschappen tegelijkertijd moeten worden geoptimaliseerd:

1. Maximalisatie van de $\beta/\gamma$-verhouding: Om tweede-orde NLO-responsen te bevorderen boven derde-orde responsen.
2. Beperking van de lineaire polariseerbaarheid ($\alpha$): Moet binnen het bereik van 100–500 a.u. liggen om sterke ladingsoverdracht te garanderen zonder excessive optische verliezen.
3. Beperking van de HOMO-LUMO-gap ($\Delta E$): Moet tussen 2 en 4 eV liggen om zichtbare transparantie te combineren met NLO-activiteit.
4. Minimalisatie van de energie per atoom: Als proxy voor thermodynamische stabiliteit.

Eerdere studies (zoals [12]) toonden aan dat Multi-Objective MAP-Elites (MOME) met een rastergebaseerd archief (grid-based archive) effectief is, maar een fundamentele beperking heeft: uniforme rastercellen verspillen archiefruimte aan chemisch onhaalbare combinaties (bijv. atoom- en bindingsaantallen die geen geldig molecuul kunnen vormen) en ondermonstert gebieden met een hoge dichtheid van geldige moleculen.

Methodologie

De auteurs introduceren CVT-MOME, een verbeterde versie van MOME die een Centroidal Voronoi Tessellation (CVT)-archief gebruikt in plaats van een vast raster. De kern van de methode ligt in het definiëren van de "niches" (cellen) in het archief op basis van geleerde chemische representaties in plaats van simpele tellers.

Belangrijkste technische componenten:

• Chemische Embeddings: SMILES-strings (moleculaire structuren) worden verwerkt met ChemBERTa-2 Multi-Task Regression (MTR), een transformer-model voorvertrouwd op meer dan 10 miljoen PubChem-verbindingen. Dit levert contextuele token-embeddings op die fysisch-chemische eigenschappen vangen die verder gaan dan alleen structuur.
• Dimensiereductie: De 768-dimensionale embeddings worden gereduceerd tot een compacte 10-dimensionale variëteit (manifold) met behulp van UMAP (Uniform Manifold Approximation and Projection).
• CVT Archief: De cellen van het archief worden bepaald door $N=100$ centroiden die zijn gegenereerd via $k$-means clustering op de UMAP-embedded moleculen. Dit zorgt ervoor dat niches worden geplaatst waar moleculen daadwerkelijk clusteren in de chemische ruimte, in plaats van in lege hoeken van een uniform raster.
• Evolutionaire Strategie:
  • Mutatie: Zeven operatoren (bijv. bindingswijziging, atoom toevoegen/verwijderen) worden gebruikt op SMILES-strings.
  • Validatie: Moleculen met ongeldige SMILES of die de Kuzyk-limieten voor hyperpolariseerbaarheid schenden, worden verworpen.
  • Optimalisatie: Het algoritme zoekt naar Pareto-fronten binnen elke CVT-cel.

Belangrijkste Bijdragen

1. Overgang van Raster naar Embedding: Het paper demonstreert dat het vervangen van een vast raster (gebaseerd op atoom- en bindingsaantallen) door een CVT-archief gebaseerd op semantische chemische embeddings (via ChemBERTa en UMAP) leidt tot een efficiënter gebruik van de archiefruimte.
2. Semantisch Coherente Niches: Door niches te definiëren op basis van geleerde chemische gelijkenis, worden evolutionaire zoekprocessen geleid naar gebieden met echte chemische diversiteit, wat resulteert in betere objectieve prestaties.
3. Validatie van Multi-Objective QD: Het toont aan dat Quality Diversity (QD) methoden, wanneer gecombineerd met moderne deep learning embeddings, superieur zijn aan traditionele multi-objectieve algoritmen (zoals NSGA-II) voor moleculair ontwerp.

Resultaten

De prestaties van CVT-MOME werden vergeleken met standaard MOME (rastergebaseerd) en NSGA-II over 20 experimentele runs.

• Globale Hypervolume (HV): CVT-MOME bereikte een aanzienlijk hogere mediane globale hypervolume (0,0273) vergeleken met MOME (0,0095) en NSGA-II (0,0068). Dit duidt op een superieure kwaliteit van de gevonden Pareto-fronten.
• Multi-Objective Quality Diversity (MOQD):
  • Hoewel MOME meer cellen bezette in het traditionele 20x20 raster (vanwege zijn druk op atoom/bood-tellingen), vulde CVT-MOME 91 van de 100 native CVT-centroiden, terwijl MOME slechts 52 vulde.
  • De MOQD-score van CVT-MOME was aanzienlijk hoger dan die van de andere methoden, zowel in het raster-archief als in het CVT-archief. Dit betekent dat de cellen die CVT-MOME bezet, Pareto-fronten van veel hogere kwaliteit bevatten.
• Statistische Significantie: De verschillen waren statistisch significant (Kruskal-Wallis $p = 1,16 \times 10^{-3}$), wat bevestigt dat de verbetering niet het gevolg is van toeval.
• Efficiëntie: CVT-MOME vermijdt het verspillen van rekentijd aan chemisch onmogelijke combinaties, wat leidt tot een snellere convergentie naar hoogwaardige oplossingen.

Betekenis en Conclusie

Dit onderzoek bewijst dat het integreren van diepe leerembeddings in Quality Diversity-algoritmen een krachtige strategie is voor computatiev chemie. Door de structuur van het zoekruimte-archief aan te passen aan de werkelijke verdeling van chemisch geldige moleculen (via CVT en UMAP), kunnen onderzoekers:

• De diversiteit van ontdekte moleculen vergroten.
• De kwaliteit van de gevonden oplossingen maximaliseren.
• Rekenkracht besparen door het vermijden van onhaalbare zoekruimtes.

De auteurs concluderen dat deze aanpak veelbelovend is voor toekomstige toepassingen, zoals drug discovery, en dat het een nieuwe standaard kan worden voor multi-objectieve moleculaire optimalisatie.