🤖 AI

NEAT: Neighborhood-Guided, Efficient, Autoregressive Set Transformer for 3D Molecular Generation

Het artikel introduceert NEAT, een nieuw door buurten geleide autoregressieve settransformator die state-of-the-art kwaliteit voor 3D-moleculaire generatie bereikt op de QM9- en GEOM-Drugs-datasets met aanzienlijke snelheidsvoordelen door atoomniveau-permutatie-invariantie te waarborgen via een volgorde-agnostische trainingsstrategie.

Oorspronkelijke auteurs: Daniel Rose, Roxane Axel Jacob, Johannes Kirchmair, Thierry Langer

Gepubliceerd 2026-05-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Rose, Roxane Axel Jacob, Johannes Kirchmair, Thierry Langer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe je een complexe 3D-structuur moet bouwen, zoals een moleculair model gemaakt van verschillende gekleurde ballen (atomen) die met stokjes (bindingen) aan elkaar zijn verbonden. Het doel is dat de robot nieuwe, geldige structuren vanaf nul creëert, en niet alleen bestaande exemplaren kopieert.

Dit artikel introduceert een nieuwe robot-architect genaamd NEAT (Neighborhood-Guided, Efficient, Autoregressive Set Transformer). Hier is hoe het werkt, eenvoudig uitgelegd:

Het Probleem: De "Opstelling"-Verwarring

De meeste eerdere robots probeerden moleculen te bouwen door een strikte opstelling te volgen, zoals leerlingen die één voor één een klaslokaal binnenlopen. Ze moesten beslissen: "Wie gaat er eerst? Wie gaat er tweede?"

Het Probleem: In een molecuul hebben atomen eigenlijk geen "eerste" of "tweede" plaats. Ze bestaan allemaal tegelijk in een 3D-klomp. Ze dwingen in een rij te staan is als proberen een sneeuwvlok te beschrijven door zijn kristallen in een specifieke volgorde op te sommen. Het is willekeurig en verwarrend. Als de robot de volgorde verkeerd heeft, breekt het molecuul.
De Oude Manier: Eerdere methoden probeerden dit op te lossen door een "canonieke" (standaard) volgorde uit te vinden, maar dit beïnvloedde de robot. Het leerde de volgorde van de lijst beter dan de vorm van het molecuul.

De Oplossing: De "Buurschaps"-Strategie

NEAT verandert het spel. In plaats van een rij, behandelt het het molecuul als een menigte.

Hoe het werkt: Stel je voor dat je een huis steen voor steen bouwt. In plaats van te vragen "Welke steen komt er als volgende in de lijst?", kijkt NEAT naar de huidige muur die je hebt gebouwd en vraagt: "Wie zijn de buren die direct naast deze muur staan?"
De Magie: NEAT kijkt naar de "grens" van de huidige structuur. Het weet dat elk atoom dat de huidige structuur raakt, een geldige kandidaat is om als volgende toegevoegd te worden. Het geeft niets om de volgorde; het geeft alleen om het buurschap.
Het Resultaat: Dit maakt de robot "permutatie-invariant". Het maakt niet uit of je naar het molecuul kijkt van links, rechts of ondersteboven; de robot ziet dezelfde buren en bouwt dezelfde geldige structuur.

Het Bouwproces: Twee Stappen Tegelijk

Wanneer NEAT besluit een nieuw atoom toe te voegen, doet het twee dingen tegelijk:

Wat is het? Het raadt het type atoom (bijvoorbeeld: "Dit moet een Koolstof-bal zijn").
Waar is het? Het gebruikt een speciale wiskundige techniek genaamd Flow Matching om precies uit te rekenen waar in de 3D-ruimte dat atoom moet zweven. Denk hierbij aan een rivierstroom die zachtjes een blad (het atoom) duwt van een willekeurig startpunt naar zijn perfecte, stabiele plek in het molecuul.

Waarom is NEAT Speciaal?

Het artikel beweert dat NEAT een grote upgrade is om drie redenen:

Het is Snel: Omdat het niet duizenden ruisende stappen hoeft te simuleren zoals andere robots (die zijn als proberen een standbeeld te beeldhouwen door urenlang aan een blok steen te hakken), bouwt NEAT moleculen veel sneller. Het artikel zegt dat het 5 tot 16 keer sneller is dan zijn concurrenten.
Het is Flexibel: Omdat het niet afhankelijk is van een vaste opstelling, kun je het een "startpakket" geven (een gedeeltelijk molecuul) en vragen het werk af te maken. Het kan de structuur voltooien, ongeacht hoe je het startpakket hebt aangeleverd. Andere robots falen vaak als het startpakket niet overeenkomt met hun specifieke "opstellings"-regels.
Het is Accuraat: Bij standaardtests (datasets genaamd QM9 en GEOM-Drugs) bouwt NEAT moleculen die chemisch geldig en uniek zijn, en die de beste bestaande methoden evenaren of verslaan.

De Klem (Beperkingen)

De auteurs zijn eerlijk over wat NEAT nog niet kan:

Groottebeperkingen: Het kan alleen moleculen bouwen die even groot zijn als die het tijdens de training heeft gezien. Het kan niet extrapoleren om een gigantisch molecuul te bouwen als het alleen op kleine heeft geleerd.
Binding-Ambiguïteit: Het vertrouwt erop dat het weet welke atomen verbonden zijn (bindingen) om het buurschap te bepalen. Als je het een vreemde kristalstructuur geeft waar bindingen onduidelijk zijn, kan het in de war raken.
Geen "Magische" 3D-Regels: Het heeft geen ingebouwde fysica-regels voor 3D-rotatie (SE(3)-equivariantie), maar de auteurs ontdekten dat het gewoon willekeurig draaien van de trainingsdata voldoende was om het toch goed te laten werken.

Samenvatting

Kortom, NEAT is een nieuwe manier om computers 3D-moleculen te laten ontwerpen. In plaats van ze te dwingen een stijve, kunstmatige lijst te volgen, leert het ze om naar hun directe buren te kijken en natuurlijk te bouwen. Het is sneller, flexibeler en even accuraat als de huidige state-of-the-art methoden.

Technische Samenvatting: NEAT – Buurgeleid, Efficiënt, Autoregressief Set-Transformer voor 3D Moleculaire Generatie

Probleemstelling

Huidige computationele workflows voor het ontdekken van bioactieve moleculen vertrouwen sterk op virtuele screening of de novo generatie. Hoewel virtuele screening beperkt wordt door de eindige omvang van chemische bibliotheken en toenemende rekenkosten, biedt generatieve modellering een veelbelovend alternatief. Het genereren van 3D-moleculaire structuren vormt echter unieke uitdagingen. Moleculen zijn inherent driedimensionaal en hun eigenschappen worden vaak bepaald door de conformatie.

Bestaande state-of-the-art 3D-generatiemodellen maken voornamelijk gebruik van diffusie- en flow-matching-technieken. Deze methoden lijden vaak onder kwadratische schaling in bericht-doorstuurupdates, missen inherente aanpasbaarheid aan variabele molecuulgroottes (vaak vereisen ze een vast aantal atomen bepaald bij initialisatie) en hebben moeite met het beheren van dynamische atoominserties tijdens het denoisen.

Autoregressieve modellen bieden een flexibel alternatief dat op natuurlijke wijze variabele atomaire aantallen ondersteunt en slechts één encoderoproep per token vereist. Standaard autoregressieve transformers vereisen echter een sequentiële ordening van tokens. In moleculaire grafieken hebben atomen geen inherente sequentiële volgorde. Vorig werk heeft dit aangepakt door canonieke atoomordeningen te gebruiken, maar deze benaderingen zijn niet permutatie-invariant ten opzichte van atomen. Ze vertonen een bias in de voorspelling van het volgende token naar specifieke ordeningsconventies, wat de generalisatiecapaciteit van het model beperkt of taken zoals prefix-voltooiing waar de startvolgorde van atomen niet overeenkomt met de canonieke volgorde van het uiteindelijke molecuul. Omgekeerd leiden Graph Neural Network (GNN)-benaderingen die permutatie-invariantie garanderen vaak tot moleculen met lage chemische validiteit.

Methodologie

De auteurs stellen NEAT (Neighborhood-Guided, Efficient, Autoregressive Set Transformer) voor, het eerste autoregressieve transformer-model voor 3D-moleculaire generatie dat permutatie-invariantie van atomen respecteert zonder te vertrouwen op canonieke atoomordeningen.

Kernarchitectuur

NEAT behandelt moleculaire grafieken als verzamelingen van atomen in plaats van sequenties. De architectuur bestaat uit drie hoofdcomponenten:

Data-Augmentatiemodule (Buurgeleiding): In plaats van sequentiële positionele coderingen gebruikt het model een bemonsteringsstrategie om moleculaire groei na te bootsen. Gegeven een moleculaire grafiek wordt een verbonden subgrafiek (bronset) bemonsterd. De doelset wordt gedefinieerd als de "grensknopen" (1-hop buren) van de bronset. Dit levert een set van geldige tokenvervolgelingen voor de volgende stap op, ongeacht de volgorde waarin atomen zijn toegevoegd.
Set-Transformer Trunk: De bronset wordt gecodeerd met een set-transformer (gebaseerd op NanoGPT/GPT-2 met bidirectionele aandacht en zonder positionele embeddings). Atoomtypes worden lineair ingebed en posities worden gecodeerd met Fourier-features. Additieve pooling aggregeert deze knooprepresentaties tot een representatie op set-niveau ( $z_n$ ). Dit ontwerp zorgt voor permutatie-invariantie ten opzichte van de volgorde van atomen in de bronset.
Flow Matching Head: De representatie op set-niveau $z_n$ $z_{n}$ wordt gebruikt om het volgende token te voorspellen, gefactoriseerd in atoomtype en positie: $p(a_{n+1}, x_{n+1} | z_n) = p(a_{n+1} | z_n) \cdot p(x_{n+1} | a_{n+1}, z_n)$ $p (a_{n + 1}, x_{n + 1} ∣ z_{n}) = p (a_{n + 1} ∣ z_{n}) \cdot p (x_{n + 1} ∣ a_{n + 1}, z_{n})$ .
- Atoomtype: Gemodelleerd als een categorische verdeling via een lineaire laag en softmax.
- Atoompositie: Gemodelleerd via Conditional Flow Matching (CFM). Het model leert een vectorveld om een initiële verdeling van willekeurige posities naar de ware atomaire posities te transporteren.

Trainingsstrategie

Buurgeleiding: Tijdens het trainen wordt het model niet gesuperviseerd door een enkel volgend token, maar door de set van alle geldige grensknopen. Dit elimineert de noodzaak van canonicalisatie.
Teacher Forcing: De voorspelling van atoomtype en het herstellen van posities worden ontkoppeld. Het model voorspelt het type, en de flow matching-leerlaag leert de positie geconditioneerd op dat type.
Augmentatie: Om robuustheid tegen foutaccumulatie te verbeteren, wordt Gaussisch ruis geïnjecteerd in een fractie van de atomen van de bronset tijdens het trainen, en worden posities opnieuw gecentreerd ten opzichte van de ruisbronset.
Verliesfunctie: Het totale verlies is de som van cross-entropy-verlies voor atoomtypes en flow matching-verlies voor posities. Een lineaire toewijzingsprobleem wordt opgelost om bron- en doelverdelingen te koppelen, waarbij transportkosten worden geminimaliseerd en kruisende paden worden vermeden.

Inferentie

Generatie begint met een willekeurig initieel atoom. In elke stap wordt de huidige set atomen gecodeerd, het volgende atoomtype voorspeld en een willekeurige initiële positie bemonsterd. Het flow matching-vectorveld wordt vervolgens geïntegreerd (met Euler- of Euler-Maruyama-methoden) om de uiteindelijke 3D-coördinaten te bepalen. Dit proces wordt herhaald totdat een stop-token wordt voorspeld.

Belangrijkste Bijdragen

Permutatie-Invariante Autoregressieve Generatie: NEAT introduceert een nieuwe trainingsstrategie met behulp van buurgeleiding en set-transformers om 3D-moleculaire generatie te bereiken die invariant is voor atoomordening, waarmee de beperkingen van canonieke ordening in autoregressieve modellen worden overwonnen.
Efficiëntie: Door de invoer als een set te behandelen en één encoderoproep per token te gebruiken, vermijdt NEAT de kwadratische schaling van op diffusie gebaseerde bericht-doorsturing en de behoefte aan meerdere integratiestappen per atoomgeneratiestap die in sommige flow-matching-baselines voorkomen.
Vermogen tot Prefix-Voltooiing: De volgorde-onafhankelijke aard van NEAT maakt hoogwaardige prefix-voltooiing mogelijk (het genereren van moleculen rond een gegeven scaffold) zonder dat de prefix moet overeenkomen met een specifieke canonieke ordening, een taak waarbij op sequentie gebaseerde modellen zoals QUETZAL moeite hebben.
State-of-the-Art Prestaties: Het model behaalt concurrerende of superieure resultaten op standaard benchmarks (QM9 en GEOM-Drugs) in vergelijking met zowel autoregressieve als diffusie/flow-matching-baselines.

Experimentele Resultaten

Het model werd geëvalueerd op de QM9-datasets (kleine organische moleculen) en GEOM-Drugs (drugs-achtige moleculen).

Generatiekwaliteit: Op QM9 overtrof NEAT eerdere autoregressieve modellen (G-SchNet, G-SphereNet, Symphony, Geo2Seq) wat betreft xyz2mol-validiteit en uniciteit. Het behaalde een xyz2mol-validiteit van 95,2% en uniciteit van 91,6%, en eindigde tweede in lookup-validiteit en uniciteit. Op GEOM behaalde NEAT de hoogste lookup-validiteit (99,7%) en de op één na beste xyz2mol-validiteit (93,9%) en uniciteit (91,6%) onder autoregressieve modellen, en kwam overeen met de prestaties van state-of-the-art flow-matching-modellen zoals FlowMol3.
Prefix-Voltooiing: Bij een taak waarbij 1.000 moleculen werden gegenereerd vanuit 100 diverse prefixes, overtrof NEAT QUETZAL aanzienlijk. NEAT behaalde 97,8% lookup-validiteit en 92,7% xyz2mol-validiteit, terwijl QUETZAL respectievelijk slechts 27,8% en 28,1% behaalde. Dit demonstreert het vermogen van NEAT om structurele kenmerken te generaliseren die onafhankelijk zijn van conventies voor atoomordening.
Efficiëntie van Runtime: NEAT toont aanzienlijke snelheidsvoordelen. Het draait ongeveer 5 keer sneller dan SemlaFlow en 16 keer sneller dan FlowMol3. In worst-case scenario's is de complexiteit van NEAT $O(BN^3)$ (waarbij $N$ het aantal atomen is), terwijl diffusie/flow-modellen schalen als $O(BTN^2)$ (waarbij $T$ het aantal integratiestappen is). Aangezien $N$ doorgaans kleiner is dan $T$ voor drugs-achtige moleculen, biedt NEAT een praktisch snelheidsvoordeel.

Betekenis en Claims

Het artikel stelt dat NEAT een sterke basis biedt voor het benutten van transformer-architecturen in complexe taken voor drugdesign, specifiek voor conditionele 3D-moleculaire generatie. Door de afhankelijkheid van canonieke atoomordeningen te verwijderen, maakt het model flexibele taken mogelijk zoals scaffold-gebaseerde generatie (prefix-voltooiing), die voorheen moeilijk waren voor autoregressieve benaderingen.

De auteurs merken op dat hoewel de huidige architectuur niet expliciet SE(3)-equivariant is, het gebruik van willekeurige rotatie-augmentatie tijdens het trainen dit effectief compenseert, wat resulteert in slechts een geringe variantie in voorspellingen. Het werk suggereert dat het integreren van NEAT met een SE(3)-equivariante transformer een veelbelovende richting is voor toekomstig onderzoek.

De auteurs benadrukken dat hoewel het model hoogwaardige 3D-structuren genereert, de generatie van moleculen slechts één stap is in een complexe pijplijn die uitgebreide validatie, synthese en testen vereist. Ze erkennen ook beperkingen, zoals de afhankelijkheid van randinformatie voor buurgeleiding (wat de toepasbaarheid op anorganische kristallen kan beperken) en het gebrek aan extrapolatie buiten het maximale aantal atomen dat tijdens het trainen is gezien.