🧬 biology

Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation

Deze paper introduceert een nieuw perspectief op diffusiemodellen voor moleculaire generatie dat, in plaats van complexe architecturale beperkingen voor symmetrieën, gebruikmaakt van canonicalisatie om een onbeperkt model te trainen op een representatieve slice, wat leidt tot superieure prestaties en efficiëntie vergeleken met bestaande equivariante baselines.

Oorspronkelijke auteurs: Cai Zhou, Zijie Chen, Zian Li, Jike Wang, Kaiyi Jiang, Pan Li, Rose Yu, Muhan Zhang, Stephen Bates, Tommi Jaakkola

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cai Zhou, Zijie Chen, Zian Li, Jike Wang, Kaiyi Jiang, Pan Li, Rose Yu, Muhan Zhang, Stephen Bates, Tommi Jaakkola

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Hoe je moleculen beter kunt bouwen: Een nieuwe manier om met symmetrie om te gaan

Stel je voor dat je een meesterklokmaker bent die nieuwe, complexe klokken moet ontwerpen. In de chemie is dit wat generatieve modellen doen: ze "dromen" nieuwe moleculen (de bouwstenen van medicijnen en materialen) op. Maar er is een groot probleem: moleculen zijn heel lastig te tekenen omdat ze symmetrisch zijn.

Het Probleem: De "Rotatie- en Verwisselings-Verwarring"

Stel je een molecuul voor als een groep vrienden die hand in hand staan in een kring.

Rotatie: Als je de hele kring een beetje draait, is het nog steeds dezelfde groep vrienden.
Verwisseling: Als je de namen van de vrienden omwisselt (zodat de persoon links nu rechts staat), is het nog steeds dezelfde kring.

Voor een computer is dit een nachtmerrie. Als de AI probeert een molecuul te leren maken, ziet het eruit alsof er duizenden verschillende versies zijn van hetzelfde molecuul, alleen maar omdat ze gedraaid of andersom genummerd zijn. Het is alsof je een puzzel probeert te leggen, maar de puzzelstukken veranderen van vorm elke keer dat je ze een beetje draait. De AI raakt in de war, probeert alles tegelijk te leren, en het proces wordt traag en onnauwkeurig.

Tot nu toe probeerden AI's dit op te lossen door hun "hersenen" (het architectuur) te dwingen om deze symmetrieën te respecteren. Ze bouwden speciale regels in die zeiden: "Je mag alleen dingen doen die voor elke draaiing hetzelfde blijven." Dit werkt, maar het is alsof je een auto bouwt met een zware, onhandige rem die je constant moet gebruiken. Het kost veel energie en tijd.

De Oplossing: "De Canonische Positie"

De auteurs van dit paper hebben een slimme, nieuwe aanpak bedacht die we Canonisatie noemen. In plaats van de AI te dwingen om met alle rotaties en verwisselingen om te gaan, zeggen ze: "Laten we gewoon één vaste, standaardpositie kiezen voor elk molecuul."

De Analogie van de Foto:
Stel je voor dat je een foto maakt van een groep vrienden.

De oude manier (Equivariantie): De camera moet zo slim zijn dat hij begrijpt dat het dezelfde foto is, of je nu links, rechts of schuin staat. De camera moet alles berekenen voor elke hoek.
De nieuwe manier (Canonisatie): We zeggen: "Oké, we gaan altijd zo poseren dat de langste persoon links staat, de kortste rechts, en de middelste in het midden. We draaien de foto altijd zodat ze recht naar de camera kijken."

Door deze standaardpositie (de canonische pose) te kiezen, verdwijnt de verwarring. Er is nu maar één juiste manier om het molecuul te zien. De AI hoeft niet meer te rekenen met alle mogelijke hoeken; hij leert gewoon hoe je die ene, vaste positie moet bouwen.

Hoe werkt het in de praktijk?

Het proces verloopt in drie stappen, alsof je een foto bewerkt:

Standaardiseren (Canonisatie): Voordat de AI begint met leren, nemen we elk molecuul in de dataset en draaien/nummeren we het zo dat het altijd op dezelfde manier staat. We "breken" de symmetrie bewust.
Leren (Trainen): De AI leert nu hoe je een molecuul bouwt vanuit die standaardpositie. Omdat er geen verwarring meer is over hoeken of namen, leert de AI veel sneller en nauwkeuriger. Het is alsof je een puzzel oplost waarbij alle stukjes al in de juiste hoek liggen.
Genereer en Draai (Sampling): Als de AI klaar is en een nieuw molecuul heeft bedacht, nemen we dat resultaat en draaien we het willekeurig een beetje. Omdat we weten dat het molecuul hetzelfde blijft, krijgen we een natuurlijk ogend, willekeurig gerichte versie van het molecuul.

Waarom is dit zo geweldig?

Snelheid: Omdat de AI niet meer hoeft te rekenen met alle mogelijke rotaties, gaat het trainen veel sneller.
Kwaliteit: De AI maakt betere moleculen. In tests op moeilijke datasets (zoals medicijnen) bleek hun nieuwe model, CanonFlow, de beste prestaties te leveren. Het maakt stabieler en geldigere moleculen dan de vorige recordhouders.
Minder rekenkracht nodig: Je hebt geen superkrachtige, speciale computer nodig om de symmetrie-regels te volgen. Je kunt gebruikmaken van standaard, krachtige AI-modellen die al bestaan.

Conclusie

De kernboodschap van dit paper is simpel: Soms is het beter om de regels te breken om ze later weer te herstellen.

Door moleculen eerst in een vaste, standaardstand te zetten, maken de onderzoekers het leerproces voor de AI veel makkelijker. Het is alsof je een chaotische kamer opruimt door alles eerst in één specifieke volgorde te leggen, voordat je de kamer weer in een willekeurige, maar nette staat terugbrengt. Dit leidt tot snellere training, betere resultaten en een nieuwe manier om medicijnen en materialen te ontwerpen.

Titel

Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation
(Herverwogen Diffusiemodellen met Symmetrieën via Canonicalisatie met Toepassingen voor Generatie van Moleculaire Grafieken)

1. Het Probleem

Generatieve modellen in de chemie en wetenschap moeten omgaan met data die invariant is onder groepssymmetrieën, zoals permutaties van atoomindexen ( $S_N$ ) en rotaties/translaties in de 3D-ruimte ($SE(3)$). Een molekuel dat wordt geroteerd of waarvan de atomen anders genummerd zijn, blijft fysiek hetzelfde.

De huidige staat van de kunst (SOTA) lost dit op door equivariante architecturen te gebruiken (bijv. equivariante denoisers en invariant priors). Hoewel dit theoretisch correct is, brengt het aanzienlijke nadelen met zich mee:

Architecturale complexiteit: Equivariante lagen en tensoralgebra zijn rekenkundig duur en beperken de expressiviteit van het model.
Latente "Gauge"-ambiguïteit: Tussenliggende ruisstaten in diffusiemodellen kunnen corresponderen met meerdere equivalente configuraties (verschillende rotaties of permutaties van hetzelfde molecuul). Dit creëert een mengsel van modi in de leerdoelstelling.
Trajectkruisingen: De model moet bepalen welke geldige oriëntatie het moet genereren vanuit een symmetrische ruisvector, wat leidt tot conflicterende gradiënten en "kruisende trajecten" in de leerprocessen. Dit maakt de dynamica minder rechtlijnig en vertraagt de training, vooral bij weinig-stap generatie (few-step generation).

2. Methodologie: Canonical Diffusion

De auteurs stellen een alternatief voor: Canonicalisatie. In plaats van het model te dwingen om equivariant te zijn, breken ze de symmetrie expliciet tijdens het trainen door elk monster af te beelden op een uniek representant (een "canonical pose" of "canonical order").

Het proces bestaat uit drie fasen:

Canonicalisatie (Training): Elke molecule $Z$ $Z$ wordt afgebeeld op een uniek representant $\tilde{Z} = \Psi(Z)$ $\tilde{Z} = Ψ (Z)$ in een "canonical slice" (quotiëntruimte). Dit gebeurt door een vaste volgorde van atomen en een vaste referentiekader (rotatie) te kiezen.
- Techniek: Ze gebruiken geometrische spectrale canonicalisatie. De Fiedler-vector (eigenvector van de Laplaciaan van de moleculaire graaf) bepaalt een canonieke atoomvolgorde. Vervolgens wordt een rotatiekader vastgelegd op basis van anker-atomen in deze volgorde.
Trainen van een niet-equivariante model: Een standaard (niet-equivariante) diffusie- of flow-matching model wordt getraind op deze canonical slice. Omdat de symmetrie is "gebroken", hoeft het model geen complexe equivariante constraints te respecteren en kan het gebruikmaken van krachtige, generieke backbones (zoals Transformers of standaard GNNs).
Herstel van Invariantie (Sampling): Tijdens het genereren wordt een monster $\tilde{Z}_0$ gegenereerd op de slice. Om de uiteindelijke invariantie te garanderen, wordt er een willekeurige symmetrie-transformatie $g$ (getrokken uit de Haar-maat) toegepast: $Z = g \cdot \tilde{Z}_0$ .

Theoretische Onderbouwing:

Variance Decomposition: De auteurs bewijzen dat de conditionele variantie in flow-matching kan worden ontbonden in twee delen: (1) de moeilijkheid van transport binnen de slice en (2) de "symmetrie-ambiguïteit" veroorzaakt door het marginaliseren over de groep. Canonicalisatie elimineert het tweede deel volledig.
Expressiviteit: Een niet-equivariante model op de slice, gecombineerd met canonicalisatie, is universeel voor equivariante functies en heeft vaak een hogere expressiviteit dan een strikt equivariante architectuur, zonder de extra rekenkosten van groepsgemiddelden.
Complementariteit met Optimal Transport (OT): Canonicalisatie lost de groep-ambiguïteit op, terwijl Optimal Transport (OT) de binnen-slice transportmoeilijkheid vermindert door rechte trajecten te bevorderen. Samen werken ze optimaal.

3. Belangrijkste Bijdragen

Theoretisch Bewijs: Een formele kwantificering van hoe canonicalisatie de irreducibele fout (conditionele variantie) in diffusiemodellen verlaagt door symmetrie-ambiguïteit te elimineren.
Nieuwe Architectuur (Canon): Een nieuwe architectuur genaamd Canon die expliciet canonieke informatie (zoals atoomrangschikking) integreert als een leerbare verborgen toestand, wat het model in staat stelt om "canonicality-aware" te ontdoen.
CanonFlow: Een implementatie van flow-matching op de canonical slice, die state-of-the-art prestaties bereikt op 3D-moleculengeneratie.
Efficiëntie: Het framework toont aan dat het gebruik van niet-equivariante modellen op een gesliceerde ruimte leidt tot snellere convergentie en betere kwaliteit bij weinig-stap generatie, zonder extra rekenkosten.

4. Resultaten

De methode is getest op twee benchmarks: QM9 (kleine moleculen) en GEOM-DRUG (grotere, complexe medicijnachtige moleculen).

Prestaties: CanonFlow en de gecanoniseerde versies van baselines (zoals SemlaFlow) behalen State-of-the-Art (SOTA) resultaten op de belangrijkste metrieken:
- Molecule Stability: 98.4% (tegenover 97.3% voor de beste baseline op GEOM-DRUG).
- Validity: 95.9% (tegenover 93.9%).
- Opt-RMSD: Significant lager (0.17 Å op QM9), wat aangeeft dat de gegenereerde geometrieën dichter bij energie-minima liggen.
Few-Step Generatie: Het grootste voordeel is zichtbaar bij weinig stappen (bijv. 50 of 100 stappen). Canonicalized modellen behouden hoge kwaliteit, terwijl baselines sterk achteruitgaan. Dit bevestigt dat de leerprocessen "straighter" (rechtlijniger) zijn.
Trainingssnelheid: Modellen met canonicalisatie convergeren sneller tijdens het trainen.
Rekenkosten: De methode vereist geen extra computationele overhead ten opzichte van equivariante baselines; in feite is het vaak efficiënter omdat het complexere equivariante lagen vermijdt.

5. Betekenis en Impact

Dit paper daalt de traditionele aanname dat generatieve modellen voor symmetrische data per se equivariante architecturen nodig hebben.

Paradigmaverschuiving: Het introduceert een "canonicalization-first" perspectief, waarbij symmetrie wordt opgelost door de representatie te normaliseren in plaats van de modelarchitectuur te beperken.
Scalabiliteit: Het maakt het mogelijk om krachtige, niet-equivariante modellen (zoals grote Transformers) te gebruiken voor 3D-moleculengeneratie, wat de schaalbaarheid en expressiviteit vergroot.
Praktische Toepassing: De methode is direct toepasbaar op het ontwerpen van nieuwe medicijnen en materialen, waar snelle en stabiele generatie van 3D-moleculen cruciaal is.

Kortom, door symmetrie te "breken" tijdens het trainen en te herstellen bij het genereren, creëren de auteurs een efficiënter, sneller en nauwkeuriger framework voor wetenschappelijke generatieve modellen.