🤖 machine learning

GraViti: Graph-Level Variational Autoencoders with Relaxed Permutation Invariance

GraViti is een op transformatoren gebaseerde graafniveau-variërende autoencoder die volledige grafen afbeeldt op compacte latente vectoren en state-of-the-art reconstructie- en generatieve prestaties bereikt door strikte permutatie-invariantie te versoepelen om gladde interpolatie en eigenschapgeleide zoekopdrachten mogelijk te maken, terwijl het tegelijkertijd domeinbeperkingen direct leert voor het decoderen van geldige steekproeven.

Oorspronkelijke auteurs: Roman Bresson, Konstantinos Divriotis, Johannes F. Lutzeyer, Iakovos Evdaimon, Michalis Vazirgiannis

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roman Bresson, Konstantinos Divriotis, Johannes F. Lutzeyer, Iakovos Evdaimon, Michalis Vazirgiannis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met complexe structuren, zoals ingewikkelde LEGO-modellen of moleculaire diagrammen. In de wereld van kunstmatige intelligentie worden deze grafieken genoemd. Lange tijd hadden computers moeite om deze grafieken als geheel te begrijpen. In plaats daarvan bekeken ze ze stuk voor stuk, alsof ze probeerden een hele stad te begrijpen door alleen individuele straatborden te bestuderen. Dit maakte het moeilijk om twee verschillende steden met elkaar te vergelijken of om er één soepel in de ander te laten overvloeien.

Het artikel introduceert GraViti, een nieuw AI-tool dat is ontworpen om dit probleem op te lossen. Denk aan GraViti als een meester-"compressiekunstenaar" die een hele complexe grafiek kan bekijken, de essentie ervan begrijpt en deze terugbrengt tot één enkel, klein ID-kaartje (een zogenaamde latente vector).

Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De Verwarring rond "Zitnummers"

Stel je een foto voor van een groep vrienden. Als je de volgorde van de mensen op de foto verwisselt (Persoon A zit links, dan Persoon B; of Persoon B zit links, dan Persoon A), is het nog steeds dezelfde groep vrienden. Echter, oudere AI-modellen waren als strenge bibliothecarissen die zich erom bekommerden wie waar zat. Als je de stoelen verwisselde, dacht de AI dat het een volledig andere groep was. Dit maakte het onmogelijk om een soepele "kaart" te maken van alle mogelijke groepen.

GraViti lost dit op door te beseffen dat de groep telt, niet de zitvolgorde.

2. De Oplossing: Het "Magische ID-kaartje"

GraViti gebruikt een speciaal type brein, een Transformer (dezelfde technologie achter moderne chatbots), om in één keer naar de hele grafiek te kijken.

De Encoder (De Compressor): Het neemt een rommelige, complexe grafiek en plakt deze tot één compact ID-kaartje. Dit kaartje bevat alle essentiële informatie over de vorm en regels van de grafiek.
De Decoder (De Expander): Wanneer je een ID-kaartje geeft, kan het de originele grafiek van scratch herbouwen, perfect volgend de regels van het universum waarvoor het is getraind (zoals de regels van de chemie voor moleculen).

3. De Geheime Ingrediënt: "Ontspannen Permutatie-invariantie"

Dit is het grootste "aha!"-moment van het artikel.
Meestal probeert AI zo flexibel te zijn dat het de volgorde van knopen volledig negeert. Maar de auteurs ontdekten dat in specifieke werelden—zoals moleculen (waar atomen een natuurlijke volgorde hebben) of Bayesiaanse netwerken (waar oorzaak en gevolg een stroom hebben)—te flexibel zijn de prestaties juist schaadt.

De Analogie: Stel je voor dat je een zin probeert te beschrijven. Als je de volgorde van de woorden volledig negeert, krijg je onzin. Maar als je weet dat de zin een standaard grammatica volgt (Onderwerp-Werkwoord-Object), kun je het veel nauwkeuriger beschrijven.
GraViti zegt: "Als de data een natuurlijke volgorde heeft (zoals een molecuul), laten we die gebruiken!" Door te vertrouwen op deze natuurlijke volgorde, wordt GraViti veel sneller en nauwkeuriger in het herbouwen van de grafiek dan zijn concurrenten. Het hoeft geen tijd te verspillen aan het raden welk atoom waar hoort; het volgt gewoon de kaart.

4. Wat Kan GraViti Doen?

Het artikel demonstreert drie hoofdbijzondere krachten:

De "Vervormings"-machine (Interpolatie): Omdat elke grafiek een uniek ID-kaartje heeft, kun je het ID-kaartje van een "Water"-molecuul nemen en dat van een "Alcohol"-molecuul, en de knop ertussen verschuiven. De AI zal een soepele reis genereren van moleculen die stap voor stap van het ene naar het andere veranderen, zonder de wetten van de chemie te schenden.
De "Ruisonderdrukkende" Koptelefoon (Denoising): Als je een geldig molecuul neemt en willekeurig wat atomen kapotmaakt of bindingen verbreekt (ruis toevoegend), kan GraViti naar de gebroken rommel kijken en zeggen: "Ah, ik weet wat dit had moeten zijn", en het herstellen naar een geldige chemische structuur.
De "Eigenschaps-Tweaker" (Optimalisatie): Je kunt GraViti vertellen: "Ik wil een molecuul dat meer vettig is (hydrofoob)." De AI kan navigeren door zijn ID-kaartjesruimte om een nieuw molecuul te vinden dat iets vettiger is dan het origineel, waarbij het echte chemische regels volgt om dit te doen.

5. De Resultaten

Het artikel testte GraViti op enorme datasets van real-world moleculen (miljoenen ervan).

Nauwkeurigheid: Het herbouwde deze complexe moleculen met een hogere nauwkeurigheid dan eerdere state-of-the-art modellen, vooral wanneer de moleculen groter werden.
Snelheid: Omdat het geen dure, trage wiskunde hoeft uit te voeren om uit te zoeken welk atoom bij welk hoort, is het veel efficiënter.
Generaliteit: Het werkte niet alleen op moleculen, maar ook op andere soorten grafieken, wat bewijst dat het een veelzijdig hulpmiddel is.

Samenvatting

GraViti is een nieuwe manier voor computers om complexe netwerken te begrijpen. In plaats van verdwaald te raken in de details van "wie naast wie zit", maakt het een compacte samenvatting van het hele plaatje. Door te vertrouwen dat sommige dingen (zoals moleculen) een natuurlijke volgorde hebben, bouwt het een betere, soepelere en nauwkeurigere kaart van de wereld van grafieken, waardoor we nieuwe ontwerpen kunnen genereren en gebroken exemplaren met gemak kunnen repareren.

Technische Samenvatting: GraViti – Variatie-Auto-encoders op Graph-niveau met Ontspannen Permutatie-invariantie

Probleemstelling

Graph-level autoencoding heeft tot doel volledige grafen af te beelden naar compacte latente vectoren om taken zoals interpolatie, eigenschap-gestuurde zoekopdrachten en generatieve modellering te faciliteren. Hoewel node-level Variatie-Auto-encoders (VAE's) goed gevestigd zijn, lijden ze onder een fundamentele beperking: de latente ruimte wordt gedefinieerd op node-niveau en is afhankelijk van willekeurige node-volgorde. Bijgevolg kunnen twee isomorfe grafen leiden tot volledig verschillende sets van latente vectoren, wat het definiëren van betekenisvolle afstanden tussen grafen of het vastleggen van manifolds op graph-niveau verhindert.

Bestaande benaderingen op graph-niveau staan voor een afweging. Methoden zoals PIGVAE en GRALE proberen strikte permutatie-invariantie af te dwingen, vaak door te vertrouwen op computatie-intensieve matching-procedures (bijvoorbeeld graph matching, Sinkhorn-algoritmen) om invoer- en gereconstrueerde grafen uit te lijnen. Deze uitlijn-stappen introduceren aanzienlijke computerefficiëntie (typisch kubische complexiteit) en kunnen de schaalbaarheid op grote datasets beperken. Bovendien vertrouwen veel decoders op graph-niveau op opvulstrategieën die een vaste maximale graph-grootte opleggen of "dummy node"-klassen introduceren, wat de generalisatie naar grotere grafen beperkt en classificatietaken beïnvloedt.

Methodologie: De GraViti-architectuur

GraViti is een transformer-gebaseerde VAE op graph-niveau die is ontworpen om volledige grafen te coderen naar enkele latente vectoren, terwijl de strikte vereiste voor permutatie-invariante reconstructie wordt ontspannen wanneer een consistente canonieke node-volgorde bestaat.

1. Graph-representatie

Het model werkt met grafen met discrete node- en edge-klassen (bijvoorbeeld atoomtypes, bindingstypes).

Invoer: Een node-klasse-matrix $X$ , een edge-klasse-tensor $E$ , en een globale feature-vector $y$ die statistieken op graph-niveau encodeert (aantallen node-/edge-types en graph-grootte).
Positieve encodings: Om structurele informatie in te brengen, maakt het model gebruik van Laplacian-eigenvectoren en random-walk-features als positieve encodings ( $P$ ).
Domeinkennis: Voor specifieke domeinen zoals moleculen worden aanvullende node-specifieke features ( $K$ ) zoals atoommassa of elektronegativiteit opgenomen.
Batching: Grafen worden opgevuld tot de grootte van de grootste graph in een batch, maar het model is ontworpen om deze opgevulde elementen volledig te negeren, waardoor de noodzaak van dummy node-klassen wordt vermeden.

2. Encoder

De encoder beeldt de invoer-triplet $(X, E, y)$ af naar parameters van een latente verdeling $(z_\mu, z_\sigma)$ .

Embedding: Node-klassen, edge-klassen en globale features worden geprojecteerd naar embeddings.
Graph Transformer-stack: De embeddings worden verwerkt door een stack van graph transformer-lagen (gebaseerd op DiGress- en CatFlow-architecturen). Dit staat gelijktijdige updates van node-, edge- en features op graph-niveau toe, terwijl permutatie-equivariantie tijdens de coderingsfase wordt gewaarborgd.
Readout: In tegenstelling tot traditionele som/middelpooling, hanteert GraViti een readout gebaseerd op een sequentie-transformer. Twee parallelle sequence-decoder transformers verwerken respectievelijk node- en edge-representaties, waarbij de globale feature-vector $y_{rep}$ wordt gebruikt als doel om globale context in te brengen. Dit zorgt ervoor dat de output onafhankelijk is van de node-volgorde op het readout-stadium.

3. Voorspelling van graph-grootte

Een cruciale innovatie is de expliciete ontkoppeling van graph-grootte van de rest van de latente representatie.

Het model dwingt de eerste $d_s$ dimensies van de latente ruimte om de log-grootte van de graph te coderen.
Een MLP voorspelt de log-grootte $\hat{s}$ vanuit deze dimensies.
Tijdens het decoderen wordt de ground-truth log-grootte $s$ opnieuw gecodeerd en opnieuw in de latente representatie geïnjecteerd om de generatie van het juiste aantal nodes te sturen, zodat de decoder de doel-graph-grootte kent zonder te vertrouwen op masking.

4. Decoder

De decoder reconstrueert de graph vanuit de latente vector $z$ .

Broadcasting: De latente vector wordt $N$ keer gedupliceerd (waarbij $N$ de voorspelde of ground-truth grootte is) en aangevuld met sinusvormige positieve encodings om symmetrie te doorbreken.
Sequentie-transformer: Een sequence-transformer-encoder verwerkt deze sequentie en splitst deze in node-gerichte en edge-gerichte sequenties.
Verfijning: Een tweede graph transformer-stack verfijnt de node- en edge-representaties.
Voorspellingskoppen: Eind-MLP's classificeren node-types en edge-types. Het model voorspelt de graph-grootte direct, waardoor de noodzaak van een "geen-edge"-dummy-klasse wordt verwijderd.

5. Trainingsdoel

Het model wordt getraind met een standaard VAE-doel:

Reconstructieverlies: Een combinatie van Focal Loss voor node- en edge-classificatie (om class-imbalance aan te pakken) en een smooth L1-verlies voor voorspelling van graph-grootte.
Variatieverlies: Een KL-divergentie-term regulariseert de latente ruimte naar een standaard normale prior.
Ontspannen permutatie-invariantie: Cruciaal wordt het reconstructieverlies toegepast op basis van de invoer-node-volgorde. De auteurs betogen dat in domeinen met een betrouwbare canonieke ordening (bijvoorbeeld moleculen, Bayesiaanse netwerken) het afdwingen van strikte permutatie-invariantie via matching schadelijk is. Door te vertrouwen op consistente ordening, bereikt het model kwadratische complexiteit en hogere reconstructiefideliteit.

Belangrijkste bijdragen

Schaalbare architectuur: GraViti bereikt state-of-the-art reconstructienauwkeurigheid op grote graph-datasets (PubChem16, PubChem32) door dure permutatie-invariante matching-procedures te vermijden.
Gestructureerde latente ruimte: De geleerde latente ruimte blijkt goed gestructureerd te zijn, wat ondersteuning biedt voor gladde interpolatie, gecontroleerde bewerking en eigenschap-gedreven optimalisatie. Op moleculaire benchmarks herstelt het model gevestigde chemische principes (bijvoorbeeld de relatie tussen alkylketenlengte en hydrofobiciteit) direct vanuit de latente ruimte.
Ontspannen permutatie-invariantie: Het artikel toont empirisch aan dat strikte permutatie-invariantie niet altijd noodzakelijk is. Wanneer een consistente canonieke node-volgorde beschikbaar is, verbetert het ontspannen van deze beperking de reconstructiekwaliteit en schaalbaarheid aanzienlijk in vergelijking met methoden die invariantie afdwingen via complexe matching.

Experimentele resultaten

De auteurs hebben GraViti geëvalueerd op verschillende benchmarks:

Reconstructie: Op moleculaire datasets (QM9, PubChem16, PubChem32) presteert GraViti tot 25% beter dan baselines (GRALE, PIGVAE) in reconstructienauwkeurigheid, met name op grotere grafen waar op matching gebaseerde methoden moeite hebben.
Ablatiestudies: Het verwijderen van de transformer-encoder of de op transformer gebaseerde readout degradeert de prestaties aanzienlijk, wat de belangrijkheid van deze componenten bevestigt.
Denoising: Het model herstelt effectief chemisch geldige structuren uit ruisige invoer, waarbij de VAE-variant superieure robuustheid toont ten opzichte van de AE-variant.
Eigenschapsoptimalisatie: Met behulp van CMA-ES in de latente ruimte maximaliseert het model succesvol logP (lipofiliciteit), waarbij moleculen worden gegenereerd met progressief langere koolstofketens of specifieke hydrofobe groepen, in overeenstemming met bekende chemische trends.
Interpolatie: Lineaire interpolatie in de latente ruimte levert gladde overgangen tussen moleculaire structuren op.
Downstream-taken: Latente vectoren getraind op PubChem voorspellen met hoge nauwkeurigheid moleculaire eigenschappen (dipoolmoment, HOMO-LUMO-gap) en Bayesiaanse Informatie Criterium (BIC)-scores voor Bayesiaanse netwerken.
Generatie: Hoewel de validiteit van de generatie lager is op PubChem (ongeveer 50-70%, afhankelijk van de aromatische representatie) in vergelijking met QM9, produceert het model diverse en nieuwe moleculen. De auteurs schrijven de lagere validiteit op grotere datasets toe aan de globale compactheid van de latente ruimte in plaats van lokale structurele fouten.

Betekenis en claims

Het artikel beweert dat GraViti een praktische basis biedt voor representatieleren op graph-niveau. De primaire betekenis ligt in het aantonen dat strikt permutatie-invariantie geen voorwaarde is voor effectief autoencoding op graph-niveau wanneer een stabiele node-volgorde bestaat. Door deze beperking te ontspannen, vermijdt GraViti de computatieflessenhals van graph-matching, waardoor schaalbare training op enorme datasets mogelijk wordt terwijl hoge reconstructiekwaliteit behouden blijft.

De auteurs positioneren GraViti als een lichtgewicht alternatief voor complexe generatiepijplijnen, met een één-staps decoderingsmechanisme dat generatieve prestaties in evenwicht brengt met praktische steekproefkwaliteit. Het werk suggereert dat voor domeinen zoals moleculaire grafen en Bayesiaanse netwerken, waar canonieke ordeningen inherent zijn of kunnen worden geconstrueerd, modellen op graph-niveau superieure prestaties kunnen bereiken zonder de overhead van op uitlijning gebaseerde verliezen. Voor toekomstig werk wordt voorgesteld domeinbewuste beperkingen te integreren om de validiteit van generatie verder te verbeteren en overdracht te onderzoeken naar andere graph-domeinen zoals circuits en eiwitten.