🤖 machine learning

Autoregressive latent diffusion for 3D molecule generation

Het artikel introduceert KRONOS, een latent autoregressief diffusiekader dat onvoorwaardelijke en fragment-geconditioneerde 3D-molecuulgeneratie binnen één enkele architectuur verenigt, waarbij het de state-of-the-art prestaties bereikt onder autoregressieve methoden terwijl het competitief blijft met diffusiemodellen.

Oorspronkelijke auteurs: Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meester LEGO-architect bent die een nieuwe, complexe molecuul vanaf nul probeert te bouwen. Een lange tijd was de beste manier om dit te doen als een diffusiemodel: stel je een enorme, chaotische wolk voor van zwevende LEGO-steentjes en schud langzaam, magisch aan de tafel totdat de steentjes in elkaar klikken tot een perfecte vorm. Deze methode werkt ontzettend goed, maar er is een addertje onder het gras: je moet de machine precies vertellen hoeveel steentjes je wilt voordat je begint. Als je het fout raadt, stort het hele bouwwerk in.

Toen kwamen autoregressieve modellen, die meer lijken op het bouwen van een toren, steentje voor steentje. Je plaatst er één, dan de volgende, en dan de volgende. Dit is geweldig omdat je niet vooraf de uiteindelijke grootte hoeft te weten, en je kunt zelfs beginnen met een specifiek "zaadje" (zoals een bekend medicijn-scaffold) en een nieuwe structuur eromheen bouwen. Echter, deze steentje-voor-steentje bouwers hadden vaak moeite om de hoge kwaliteit van de "wolk-schuddende" diffusiemodellen te evenaren, en ze raakten soms in de war bij het bouwen rondom een specifiek zaadje.

Maak kennis met KRONOS, een nieuw framework geïntroduceerd door onderzoekers van Imperial College London. Zie KRONOS niet als een bouwer die werkt met ruwe, slordige steentjes, maar als een architect die werkt met gecomprimeerde, magische blauwdrukken.

De Magische Blauwdruk (Latente Ruimte)

In plaats van te proberen de exacte 3D-coördinaten en het chemische type van elk afzonderlijk atoom direct te voorspellen (wat is also_t proberen de kleur en textuur van elk steentje te beschrijven terwijl je het plaatst), vertaalt KRONOS de molecuul eerst naar een "latente ruimte". Stel je dit voor als een geheime, gecomprimeerde taal waar een hele molecuul wordt gerepresenteerd door een enkele, vloeiende, continue token. Het is alsof je een complex 3D-beeldhouwwerk omzet in een enkele, elegante regel code die alle vorm- en chemische informatie bevat.

KRONOS bouwt moleculen door deze gecomprimeerde tokens één voor één te voorspellen, net zoals je een zin woord voor woord leest. Maar hier komt de twist: om de volgende token te voorspellen, gebruikt het een diffusieproces. Het is alsof de architect naar de huidige blauwdruk kijkt, een lichtelijk "ruizige" of wazige versie van het volgende stukje voorstelt zich, en deze vervolgens "ontruist" (denoising) om uit te rekenen wat het precies moet zijn. Dit combineert het beste van twee werelden: de flexibiliteit van stap-voor-stap bouwen met de hoge kwaliteit van het "wolk-schudden" van diffusie.

De "Fill-in-the-Middle" Truc

Een van de coolste functies van KRONOS is hoe het omgaat met "partiële" moleculen. Stel je voor dat je een puzzel hebt en je wilt de ontbrekende stukjes invullen, maar de ontbrekende stukjes zitten niet altijd aan het einde; soms zitten ze in het midden, of wil je rondom een specifiek deel bouwen.

De onderzoekers gebruikten een strategie geïnspireerd door "Fill-in-the-Middle" (FIM). Tijdens de training leerden ze het model niet alleen om van links naar rechts te lezen. Ze leerden het model een molecuul te bekijken, deze in willekeurige stukken (fragmenten) te hakken, enkele stukken te verbergen en het model de gaten te laten invullen. Soms moet het model het hele ding vanaf nul opbouwen (onconditioneel), en soms moet het een specifiek fragment voltooien (fragment-geconditioneerd).

De paper suggereert dat KRONOS door dit te doen, een meester is geworden in beide taken zonder twee verschillende hersenen nodig te hebben. Het is alsof je een chef traint om een volledige maaltijd vanaf nul te koken én om een gerecht af te maken dat iemand anders al is begonnen, allemaal in dezelfde keuken, zonder dat de chef in de war raakt.

De Resultaten: Hoe goed is het?

Het team heeft KRONOS getest op twee belangrijke datasets: QM9 (een collectie van 97.609 kleine moleculen) en GEOM-Drugs (een enorme collectie van meer dan 1,1 miljoen medicijnachtige conformers).

Op QM9: KRONOS bereikte een 3D-validiteit van 97,3% en een 3D-AtomStable score van 99,07%. Dit betekent dat bijna elke gegenereerde molecuul chemisch correct en stabiel was. Onder alle "steentje-voor-steentje" (autoregressieve) methoden die werden getest, kwam KRONOS als beste uit de bus. Het was zelfs competitief met de zware jongens uit de "wolk-schud"-wereld (diffusie), zoals JODO, dat een score van 96,3% behaalde voor validiteit.
Op GEOM-Drugs: Dit is de moeilijkere test. KRONOS bereikte een 3D-validiteit van 94,7% en een AtomStable score van 86,45%, waarmee het andere autoregressieve modellen versloeg en concurrerend bleef met diffusiemethoden.
Fysieke Realiteitscheck: De onderzoekers controleerden niet alleen of de moleculen er goed uitzagen; ze draalden ze door een kwantumchemische simulatie genaamd GFN2-xTB om te zien of ze fysiek stabiel waren. Op QM9 hadden de gegenereerde moleculen een Mediaan RMSD (Root Mean Square Distance) van slechts 0,074 Å (Angström) vergeleken met de geoptimaliseerde, perfecte structuren. Dit suggereert dat de moleculen die KRONOS bouwt, al zeer dicht bij hun natuurlijke, stabiele vormen liggen.

Wat KRONOS NIET is

Het is belangrijk om te vermelden wat dit paper niet beweert. De auteurs geven expliciet aan dat KRONOS geen volledig "permutatie-invariant" model is zoals sommige andere geavanceerde architecturen (zoals NEAT). Dit betekent dat de volgorde waarin het de fragmenten ziet er een beetje toe doet, terwijl een echt permutatie-invariant model niet om de volgorde zou geven. De paper argumenteert echter dat de "Fill-in-the-Middle" training voldoende was om het model robuust te maken zonder die extra complexiteit.

Ook wordt de kwaliteit van KRONOS begrensd door de kwaliteit van de "magische blauwdruk" (de vooraf getrainde autoencoder die het gebruikt). Als de blauwdruk niet perfect is, kan KRONOS ook geen perfect molecuul bouwen. De auteurs suggereren dat als iemand in de toekomst een betere blauwdruk uitvindt, KRONOS automatisch ook beter wordt.

De Kernboodschap

KRONOS suggereert dat je niet hoeft te kiezen tussen het bouwen van een molecuul stukje voor stukje (flexibel, variabele lengte) en het gebruiken van een krachtig diffusieproces (hoge kwaliteit). Door te werken in een gecomprimeerde "latente" ruimte en een slimme "fill-in-the-middle" trainingsmethode te gebruiken, slaagt het erin om beide te doen. Het creëert moleculen die chemisch geldig zijn, geometrisch accuraat en die gebouwd kunnen worden rond specifieke startpunten, terwijl het de deur openhoudt voor moleculen van elke grootte. Het is een veelbelovend nieuw instrument voor medicijnontwikkeling, dat laat zien dat de beste manier om de toekomst te bouwen soms is om vanuit het midden te leren.

Technische Samenvatting: KRONOS – Autoregressieve Latente Diffusie voor 3D Molecuulgeneratie

Probleemstelling

Driemensionale (3D) molecuulgeneratie is een cruciale taak binnen drug discovery en moleculair ontwerp. De huidige state-of-the-art benaderingen vertrouwen primair op diffusiemodellen en flow matching. Hoewel deze methoden een hoge generatiekwaliteit bereiken, vereisen ze doorgaals dat de moleculaire grootte (het aantal atomen) vooraf (a priori) wordt gespecificeerd, wat hun flexibiliteit voor variabele lengtes beperkt.

Daarentegen ondersteunen autoregressieve (AR) modellen van nature generatie met variabele lengte en conditionering op gedeeltelijke moleculaire structuren (bijv. het uitwerken van bekende scaffolds), wat zeer waardevol is in de medicinale chemie. Echter, bestaande AR-modellen worden geconfronteerd met twee belangrijke uitdagingen:

Prestatiekloof: Historisch gezien zijn AR-modellen achtergebleven bij diffusiemodellen wat betreft generatiekwaliteit, met name met betrekking tot geometrische getrouwheid en chemische validiteit.
Balanceren van doelstellingen: Het bereiken van sterke prestaties in zowel onconditionele generatie (de novo design) als fragment-geconditioneerde generatie (moleculaire voltooiing) binnen één enkele architectuur blijft moeilijk. Veel AR-modellen hebben moeite om te generaliseren tussen deze paradigma's zonder architecturale aanpassingen of prestatie-afruil.

Daarnaast hebben bestaande latente moleculaire generatoren vrijwel uitsluitend vertrouwd op diffusie, waardoor het potentieel van autoregressieve generatie in de latente ruimte grotendeels onontdekt is gebleven.

Methodologie: KRONOS

De auteurs introduceren KRONOS, een latent autoregressief diffusiekader dat 3D-moleculen direct genereert in de latente ruimte van een vooraf getrainde Unified Autoencoder (UAE). De methode combineert drie kerncomponenten:

1. Latente Autoregressieve Generatie

In plaats van te opereren in de ruwe dataruimte (het gelijktijdig voorspellen van discrete atoomtypen/bindingen en continue coördinaten), opereert KRONOS in de continue latente ruimte van een vooraf getrainde UAE (Luo et al., 2025).

Representatie: Een 3D-molecuul wordt gecodeerd naar een sequentie van latente tokens $Z = \{z_1, \dots, z_n\}$ , waarbij elk token de atomaire identiteit, de bindingsomgeving en de 3D-geometrie gezamenlijk codeert.
Factorisatie: Het model leert een van links naar rechts werkende autoregressieve distributie:
$p_\theta(z_{1:n}) = \prod_{i=1}^n p_\theta(z_i | z_{<i})$
Variabele Lengte: Omdat de latente ruimte niet beschikt over een natuurlijk end-of-sequence token, gebruikt KRONOS een speciale stop-classifier (een lichtgewicht MLP) die gelijktijdig met de generator wordt getraind om de sequentiebeëindiging dynamisch te voorspellen, waardoor de noodzaak voor een vooraf gedefinieerd atoomaantal wordt geëlimineerd.

2. Diffusie-gebaseerde Tokenvoorspelling

Om de conditionele distributie van continue latente tokens $p_\theta(z_i | z_{<i})$ te modelleren, maakt KRONOS gebruik van een Diffusie Verlies-formulering (Li et al., 2024).

Een causale transformer codeert de voorgaande tokens naar een contextrepresentatie $c_i$ .
Een diffusie-denoising netwerk $\epsilon_\theta$ voorspelt de ruis die is toegevoegd aan het huidige latente token $z_i$ , geconditioneerd op $c_i$ en de diffusie-tijdstap.
Deze aanpak vervangt discrete tokenvoorspelling door een denoising-doelstelling, wat flexibele modellering van continue variabelen mogelijk maakt zonder discretisatie.

3. Gemengde Trainingsstrategie (Fragment-geconditioneerde Generatie)

Om zowel onconditionele als fragment-geconditioneerde generatie binnen één enkel model te ondersteunen, introduceren de auteurs een trainingsstrategie geïnspireerd op het Fill-in-the-Middle (FIM) paradigma.

Fragmentdecompositie: Moleculen worden gedecomposed in chemisch betekenisvolle fragmenten met behulp van een BRICS-gebaseerd schema.
Sequentieconstructie: Tijdens de training wordt elk molecuul getransformeerd in ofwel:
- Een default-order sequentie (voor onconditionele generatie).
- Een fragment-geconditioneerde sequentie waarbij een willekeurige subset van fragmenten fungeert als "seed" (context), en de resterende fragmenten het generatietarget vormen.
Mechanisme: Het model wordt getraind om de target-fragmenten autoregressief te genereren, geconditioneerd op de seed-fragmenten. Dit wordt bereikt door een enkele deterministische ordening toe te wijzen aan de fragmenten en atomen binnen hen, in plaats van te marginaliseren over alle permutaties (zoals in Order-Agnostic AR-modellen). Dit stelt het model in staat om moleculaire voltooiingscapaciteiten te leren zonder architecturale wijzigingen.

Belangrijkste Bijdragen

KRONOS Framework: Een nieuw latent autoregressief diffusiekader dat de moleculaire graaftopologie en -geometrie gezamenlijk modelleert in een verenigde latente ruimte.
Verenigde Trainingsstrategie: Een gemengde trainingsaanpak die zowel onconditionele als fragment-geconditioneerde generatie mogelijk maakt binnen één enkel links-naar-rechts autoregressief model, geïnspireerd door het FIM-paradigma.
Generatie met Variabele Lengte: Een verenigd framework dat van nature variabele lengte ondersteunt via een stop-classifier, waardoor de noodzaak voor het vooraf specificeren van de grootte wordt vermeden.
Prestaties: De demonstratie dat latente autoregressieve generatie leidende prestaties kan leveren onder autoregressieve methoden, terwijl het competitief blijft met diffusiemodellen, zonder de onconditionele kwaliteit op te offeren wanneer fragment-conditionering wordt ingeschakeld.

Experimentele Resultaten

De auteurs evalueerden KRONOS op de QM9 en GEOM-Drugs datasets.

Onconditionele Generatie

QM9: KRONOS behaalde de hoogste 3D Validiteit (97,3%) en de sterkste algemene prestaties onder de autoregressieve methoden. Het bleef competitief met toonaangevende diffusiemodellen (bijv. JODO, EDM) op metrieken zoals 3D Atom Stability, Bond Length en Bond Angle MMD.
GEOM-Drugs: KRONOS behaalde de sterkste algemene prestaties van alle geëvalueerde baselines (zowel autoregressief als diffusie).
Fysieke Plausibiliteit: Gebruikmakend van semi-empirische geometrie-optimalisatie (GFN2-xTB), vertoonden door KRONOS gegenereerde conformaties een lage Root Mean Square Distance (RMSD) en energieverschillen ( $\Delta E$ ) ten opzichte van geoptimaliseerde structuren, wat aangeeft dat ze zich dicht bij fysiek plausibele regio's van de conformationele ruimte bevinden.

Fragment-geconditioneerde Generatie

Op een dataset van ~15k molecuul-fragment paren presteerde KRONOS aanzienlijk beter dan de autoregressieve baseline QUETZAL op zowel Mean@3 als Best@3 metrieken voor validiteit en stabiliteit.
Cruciaal is dat het inschakelen van fragment-geconditioneerde generatie een verwaarloosbare impact had op de onconditionele generatieprestaties, wat aantoont dat beide paradigma's binnen één enkele architectuur kunnen worden ondersteund.

Betekenis en Claims

Het artikel beweert dat KRONOS een veelbelovend alternatief biedt voor bestaande data-ruimte autoregressieve en diffusie-gebaseerde benaderingen. De significantie ligt in:

Het overbruggen van de kloof: Het verkleint de prestatiekloof tussen autoregressieve en diffusiemodellen aanzienlijk, waarbij het leidende resultaten behaalt onder AR-methoden terwijl het de diffusie-baselines evenaart.
Flexibiliteit: Het verenigt de sterke punten van autoregressieve modellen (variabele lengte, gedeeltelijke conditionering) met de hoge kwaliteit van generatie van diffusiemodellen, alles binnen één enkele latente ruimte formulering.
Praktisch Nut: Door fragment-geconditioneerde generatie te ondersteunen zonder architecturale wijzigingen, biedt het een praktisch instrument voor taken in de medicinale chemie waarbij moleculen vaak worden ontworpen door bekende scaffolds uit te werken.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van de expressiviteit van de vooraf getrainde latente ruimte en het gebruik van een vast BRICS-decompositieschema, wat suggereert dat toekomstig werk de mogelijkheid kan verkennen om fragmentabstracties gezamenlijk met het generatieve model te leren of het framework kan uitbreiden naar eigenschap-gestuurd ontwerp.