🤖 machine learning

VQ-SAD: Vector Quantized Structure Aware Diffusion For Molecule Generation

VQ-SAD is een neuro-symbool diffusiemodel dat een bevroren VQ-VAE benut om atoom- en bindingssoorten te tokeniseren in discrete latente codes, waardoor de beperkingen van continue representaties worden overwonnen en state-of-the-art prestaties worden behaald op benchmarks voor het genereren van moleculen zoals QM9 en ZINC250k.

Oorspronkelijke auteurs: Farshad Noravesh, Reza Haffari, Layki Soon, Arghya Pal

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Farshad Noravesh, Reza Haffari, Layki Soon, Arghya Pal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij nieuwe, geldige chemische moleculen moet tekenen. Al geruime tijd probeerden de beste robots (AI-modellen) dit door moleculen te bekijken als simpele lijsten van ingrediënten: "Koolstof", "Oxygen", "Binding", "Geen Binding". Ze behandelden elk individueel koolstofatoom exact hetzelfde, ongeacht of het bij zuurstof of zwavel zat.

Het artikel introduceert een nieuwe, slimmere robot genaamd VQ-SAD. Denk hierbij aan een "Neuro-Symbolische" chef die niet alleen ingrediënten ziet; hij begrijpt het verhaal en de context van elk ingrediënt.

Hieronder wordt uitgelegd hoe VQ-SAD werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Eén-maat-voor-alles"-Fout

De meeste eerdere AI-modellen gebruikten een "One-Hot"-representatie. Stel je een doos LEGO-blokjes voor. Als je elke rode steen gewoon "Rood" noemt, verlies je het feit dat sommige rode stenen 2x4 zijn, sommige 2x2, en sommige speciale noppen hebben.

Het Probleem: In de chemie is een koolstofatoom naast een zuurstofatoom heel anders dan een koolstofatoom naast een zwavelatoom. Oude modellen drukten deze verschillen samen en behandelde ze als identiek.
Het Resultaat: De AI raakte in de war, wat leidde tot "botsingen" waarbij verschillende moleculen voor de computer hetzelfde leken, of het genereerde ongeldige, onmogelijke moleculen.

2. De Oplossing: De "Slimme Vertaler" (VQ-VAE)

VQ-SAD voegt een speciale vertaler toe voordat de hoofd-AI aan het werk gaat. Het gebruikt een hulpmiddel genaamd een VQ-VAE (Vector Quantized Variational Autoencoder).

De Analogie: Denk hierbij aan een woordenboek of een vertaler. In plaats van de AI een ruwe lijst van atomen te geven, zet de vertaler het molecuul om in een unieke "code" of "token".
Hoe het helpt: Als een koolstofatoom bij zuurstof zit, geeft de vertaler het Code #101. Als datzelfde koolstofatoom bij zwavel zit, krijgt het Code #102.
Het Voordeel: Dit creëert een "gebalanceerde vocabulaire". Het voorkomt dat de AI overweldigd raakt door zeldzame soorten atomen en zorgt ervoor dat elke unieke chemische context zijn eigen onderscheidende ID krijgt.

3. Het Proces: Een "Ruis-Opruim"-Spel

De kern van het model is Diffusie, wat lijkt op een spel "Telefoon" dat in omgekeerde richting wordt gespeeld.

Het Spel: Stel je voor dat je een helder, perfect molecuul neemt en er langzaam "ruis" (willekeurige statische storing) aan toevoegt totdat het een wazige rommel van willekeurige atomen wordt.
Het Doel: De taak van de AI is om te leren hoe je die wazige rommel weer schoonmaakt tot een perfect molecuul.
De Innovatie (SAD): Het artikel introduceert Structure-Aware Diffusion (Structuurbewuste Diffusie).
- Oude Manier: De AI gokte hoeveel ruis er moest worden toegevoegd of verwijderd op basis van een vast schema (zoals een metronoom die voor iedereen even snel tikt).
- VQ-SAD Manier: De AI kijkt naar de structuur van het molecuul (met behulp van iets genaamd RRWP, wat lijkt op het traceren van hoe een druppel water over de vorm van het molecuul zou stromen). Het past vervolgens het "ruisschema" dynamisch aan.
- De Metafoor: Als je een modderig raam schoonmaakt, veeg je niet het hele ding met dezelfde druk af. Je veegt de zware modderplekken harder af en de lichte plekken zachter. VQ-SAD doet dit voor moleculen: het weet precies hoeveel "schoonmaken" (denoising) elk specifiek deel van het molecuul nodig heeft, gebaseerd op zijn vorm en buren.

4. De Tweestaps-Training

VQ-SAD traint in twee distincte fases, zoals een student een onderwerp leert voordat hij een toets maakt:

Fase 1 (De Vertaler): Het traint de "Slimme Vertaler" (VQ-VAE) om moleculen om te zetten in die speciale codes. Zodra getraind, wordt deze vertaler "bevroren" (op slot gezet) zodat hij niet verandert.
Fase 2 (De Schoonmaker): Het traint de hoofd-AI (de Denoiser) om die speciale codes weer om te zetten in perfecte moleculen. Omdat de codes zo helder en gebalanceerd zijn, leert de AI veel sneller en maakt hij minder fouten.

5. De Resultaten

De auteurs testten dit op twee beroemde chemiedatasets (QM9 en ZINC250k).

Geldigheid: De moleculen die VQ-SAD creëerde, waren chemisch gezien realistischer en geldiger (zoals 97,3% geldig op QM9, wat de vorige records versloeg).
Uniciteit: Het creëerde een bredere verscheidenheid aan onderscheidende moleculen zonder dezelfde patronen te herhalen.
Minder Botsingen: Het loste het "state-clashing"-probleem op waarbij verschillende moleculen per ongeluk hetzelfde leken voor de AI.

Samenvatting

Kortom, VQ-SAD is een molecuulgenerator die stopt met het behandelen van alle atomen van hetzelfde type als identieke tweelingbroers. In plaats daarvan gebruikt het een vertaler om elk atoom een unieke ID te geven op basis van zijn buurt, en een slimme schoonmaker die zijn werk aanpast aan de specifieke vorm van het molecuul. Dit resulteert in AI die meer geldige, diverse en chemisch accurate moleculen genereert dan ooit tevoren.

1. Probleemstelling

Huidige op diffusie gebaseerde methoden voor het genereren van moleculen staan voor drie primaire beperkingen:

Verlies van Symbolische Informatie: De meeste modellen vertegenwoordigen atomen en bindingen met eenvoudige one-hot-coderingen. Dit reduceert verschillende chemische contexten (bijvoorbeeld een koolstofatoom naast zuurstof versus zwavel) tot identieke representaties, waarbij cruciale symbolische structurele regels zoals valentie en functionele groepen worden genegeerd.
Beperkingen van Vingerafdrukken: Alternatieve benaderingen die Morgan-vingerafdrukken gebruiken, lijden onder hash-botsingen (verschillende moleculen die naar dezelfde vingerafdruk mappen) en zijn moeilijk te embedden in continue ruimtes zonder informatieverlies.
Klasse-ongelijkheid en State Clashing: Realistische moleculaire datasets hebben vaak schaarse klassetypen (sommige atomen/bindingen zijn zeldzaam). Deze onbalans belemmert het vermogen van de denoiser om ondervertegenwoordigde typen te reconstrueren. Bovendien kunnen standaard diffusieprocessen last hebben van "state clashing", waarbij verschillende moleculen tijdens het forward-proces instorten naar een gemeenschappelijke staat, wat leidt tot mode-collapse en verminderde diversiteit.

2. Methodologie: VQ-SAD

De auteurs stellen VQ-SAD voor, een neuro-symbolisch raamwerk dat Vector Quantized Variational Autoencoders (VQ-VAE) integreert met Structure-Aware Diffusion (SAD). De methodologie bestaat uit twee hoofdbestanddelen:

A. Neuro-Symbolische Tokenisatie (VQ-VAE)

In plaats van atomen en bindingen te behandelen als ruwe one-hot-vectoren, gebruikt VQ-SAD een vooraf getrainde VQ-VAE als een tokenizer.

Proces: De VQ-VAE wordt eerst getraind om continue node- en edge-representaties af te beelden op een discrete latente ruimte (codeboek).
Voordeel: Dit creëert een "geleerde vocabulaire" van terugkerende structurele patronen. Elke code in het codeboek komt overeen met een symbolische entiteit, waardoor het model onderscheid kan maken tussen chemisch verschillende contexten (bijvoorbeeld verschillende koolstofomgevingen) zonder expliciete enumeratie.
Invriezen: Eenmaal getraind, worden de VQ-VAE-encoder en decoder ingevroren. De discrete codes dienen als input-tokens voor het downstream diffusiemodel, wat effectief de verdeling van atoom- en bindingstypen in evenwicht brengt.

B. Structure-Aware Diffusion (SAD)

Het diffusieproces zelf wordt verbeterd tot "structure-aware" en "leerbaar".

Structurele Embeddings: Het model maakt gebruik van Relative Random Walk Probabilities (RRWP) om de structurele context van nodes en edges te coderen. In tegenstelling tot eenvoudige graadtellingen, vangt RRWP complexe topologische kenmerken (bijvoorbeeld cycli, afstanden) op.
Adaptieve Noise Scheduling: In tegenstelling tot statische diffusieplanningen, leert VQ-SAD de parameters van het forward-proces (noise variantie $\beta_t$ $β_{t}$ en vervangingskans $\gamma_t$ $γ_{t}$ ) dynamisch.
- Een leerbaar netwerk neemt de structurele embeddings (RRWP), node-/edge-typen en tijdstappen als input.
- Het geeft specifieke noise-planningen voor elke node en edge.
- Dit voorkomt "state clashing" door ervoor te zorgen dat structureel verschillende nodes verschillende noise-planningen krijgen, waardoor hun unieke identiteiten tijdens het diffusieproces behouden blijven.
Discrete Overgang: Het forward-proces maakt gebruik van een leerbare Markov-kern met drie kansen:
1. Blijven ( $\alpha_t$ ): De node blijft onveranderd.
2. Maskeren ( $\beta_t$ ): De node wordt gemaskeerd.
3. Vervangen ( $\gamma_t$ ): De node wordt vervangen door een ander type (cruciaal voor het corrigeren van niet-gemaskeerde fouten).

C. Training en Generatie

De training volgt een tweestaps-pijplijn:

Stap 1: Train de VQ-VAE-tokenizer op de moleculaire dataset.
Stap 2: Train het diffusiemodel (Denoiser) in de discrete latente ruimte. De denoiser voorspelt de originele discrete codes uit noisy inputs, geconditioneerd op de structurele embeddings.

Verliesfunctie: Het model optimaliseert een noise-geconditioneerde loss afgeleid van de negatieve Evidence Lower Bound (NELBO), gewogen door de geleerde noise-planningen.

3. Belangrijkste Bijdragen

Neuro-Symbolisch Paradigma: Introduceert een nieuwe aanpak die atoom- en bindingcodes behandelt als latente variabelen van een VQ-VAE, en zo symbolische chemie (discrete regels) verbindt met neurale structurele informatie.
Adaptieve Structure-Aware Planning: Ontwikkelt een leerbaar forward-proces waarbij noise-planning wordt geconditioneerd op structurele kenmerken (RRWP) in plaats van alleen tijdstappen of nodetypen. Dit vermindert state clashing en verbetert de reconstructie van ondervertegenwoordigde klassen.
Gebalanceerde Generatie: Door gebruik te maken van een discrete codebook, balanceert het model op natuurlijke wijze de verdeling van atoom- en bindingstypen, wat leidt tot hogere kwaliteit en diversiteit in gegenereerde grafieken.
State-of-the-Art Prestaties: Toont superieure prestaties op standaard benchmarks aan in vergelijking met bestaande diffusiemodellen.

4. Experimentele Resultaten

Het model werd geëvalueerd op twee standaarddatasets: QM9 (kleine organische moleculen) en ZINC250k (drug-achtige moleculen).

Unconditional Generatie:
- Validiteit: VQ-SAD behaalde de hoogste validiteitsscores (97,31% op QM9, 93,84% op ZINC250k), en presteerde beter dan baselines zoals DiGress, MELD en de niet-getokeniseerde SAD.
- Uniciteit: Het genereerde de meest structureel onderscheiden moleculen (98,51% op QM9).
- Verdelingsgelijkheid: Het behaalde lagere Fréchet ChemNet Distance (FCD) en NSPDK-scores, wat aangeeft dat gegenereerde moleculen statistisch dichter bij de verdelingen van echte data liggen.
Botsingsfrequentie: VQ-SAD verminderde de "botsingsfrequentie" (waarbij verschillende moleculen naar dezelfde representatie mappen) aanzienlijk in vergelijking met MELD (0,21 versus 0,35 op QM9), wat het vermogen bewijst om contextuele verschillen te behouden.
Conditionele Generatie: Bij eigenschap-gestuurde generatie (bijvoorbeeld Warmtecapaciteit, Dipoolmoment) toonde VQ-SAD verbeterde validiteit en uniciteit, hoewel de auteurs opmerkten dat het model de neiging had in te storten op hoog-likelihood-modes, wat de diversiteit verminderde bij sterk geconditioneerde taken.

5. Betekenis

VQ-SAD vertegenwoordigt een significante verschuiving in moleculaire generatieve modellering door weg te bewegen van puur neurale representaties naar een neuro-symbolische aanpak.

Chemische Validiteit: Door symbolische beperkingen te respecteren via de VQ-VAE-tokenizer, genereert het model chemisch geldige moleculen betrouwbaarder.
Schaalbaarheid en Robuustheid: Het adaptieve planningsmechanisme lost het "state clashing"-probleem op, waardoor diffusiemodellen robuuster worden voor complexe grafieken met onbalans in klassenverdelingen.
Toekomstige Richtingen: Dit werk suggereert dat het integreren van discrete, interpreteerbare symbolische representaties met continue diffusieprocessen een veelbelovende weg is voor geneesmiddelenontwikkeling en materialenwetenschap, en een manier biedt om complexe chemische regels te coderen die moeilijk te leren zijn uitsluitend vanuit ruwe one-hot-gegevens.