FragmentNet: Adaptive Graph Fragmentation for Graph-to-Sequence Molecular Representation Learning

Het artikel introduceert FragmentNet, een graaf-naar-volgorde-model dat een nieuwe adaptieve tokenizer hanteert om moleculen op te splitsen in chemisch geldige fragmenten met aanpasbare granulariteit, en toont aan dat vooraf trainen op dit fragmentniveau de prestaties bij downstream eigendomsvoorspelling aanzienlijk verbetert in vergelijking met traditionele atoomniveau- of rigide regelgebaseerde benaderingen.

De kern

Stel je voor dat je probeert een computer chemie te leren begrijpen. Traditioneel hebben wetenschappers computers op twee hoofdmanieren geleerd om naar moleculen te kijken, waarbij beide methoden gebreken hebben:

1. De "Atoom-voor-Atoom" Aanpak: Dit is als proberen een roman te begrijpen door hem letter voor letter te lezen. Je ziet de "t", dan de "h", dan de "e", maar je mist het woord "het" volledig. In de chemie betekent dit dat de computer individuele atomen ziet, maar moeite heeft om te begrijpen hoe ze zich groeperen tot functionele onderdelen (zoals de motor van een auto of een deurkruk).
2. De "Stijve Regel" Aanpak: Dit is als het gebruik van een woordenboek dat alleen vooraf gedefinieerde, onveranderlijke woorden bevat. Als er een nieuw type woord verschijnt, kan het woordenboek hier geen raad mee. In de chemie betekent dit het gebruik van vaste regels om moleculen in stukken te hakken. Het werkt redelijk, maar het is star en kan zich niet aanpassen aan de enorme variatie aan chemische vormen die in de natuur voorkomen.

Maar dan komt FragmentNet: De "Slimme Lego" Aanpak

Het artikel introduceert FragmentNet, een nieuwe manier om computers over moleculen te leren. In plaats van naar individuele atomen te kijken of stijve regels te gebruiken, maakt FragmentNet gebruik van een geleerde, adaptieve tokenizer.

Stel je een molecuul voor als een gigantische, complexe constructie gebouwd uit Lego-blokjes.

• Oude methoden keken óf naar elke kleine plastic nop op de blokjes (atomen), óf probeerden de constructie te forceren in een paar vooraf gemaakte categorieën.
• FragmentNet kijkt naar de constructie en leert zelf om de blokjes te groeperen in betekenisvolle stukken. Het kan beslissen dat een specifieke cluster van blokjes een "wiel" vormt, een ander een "stoel", en weer een ander een "motor". Deze stukken zijn de "fragmenten".

Hoe Het Werkt (De Drie Magische Trucs)

1. Leren Groeperen (De Adaptieve Tokenizer):
   Het model raadt niet zomaar hoe de blokjes gegroepeerd moeten worden. Het bestudeert miljoenen moleculen en leert welke groepen atomen chemisch gezien meestal bij elkaar blijven. Het creëert een aangepast woordenboek waarbij een "token" niet zomaar een letter of atoom is, maar een chemisch geldig stukje van een molecuul (zoals een hele functionele groep). Dit is als de computer leren dat "ing" een achtervoegsel is, of dat "auto" een stamwoord is, in plaats van alleen "a-u-t-o" te zien.

2. De Kaart Behouden (Ruimtelijke Positieve Encodings):
   Als je een 3D-Lego-kasteel omzet in een 1D-lijst van woorden (een sequentie), verlies je meestal de informatie over waar de stukken zich ten opzichte van elkaar bevinden. FragmentNet lost dit op door een speciaal "GPS-label" aan elk fragment toe te voegen. Deze labels vertellen de computer: "Deze motorstuk is verbonden met dit wielstuk, en ze liggen drie stappen verwijderd van de stoel." Dit zorgt ervoor dat de computer de vorm van het molecuul onthoudt, zelfs wanneer het is platgelegd tot een lijst.

3. Het "Invul-de-Lege-Ruimte" Spel (Gemaskeerde Fragment Modeling):
   Om echt slim te worden, speelt het model een spel dat lijkt op "Mad Libs" of een kruiswoordpuzzel.

   • De computer ziet een molecuul opgebouwd uit fragmenten.
   • Het verbergt (maskeert) een van de fragmenten.
   • Het moet raden welk ontbrekend stuk het is, gebaseerd op de omringende context.
   • Omdat het hele stukken (fragmenten) raadt in plaats van individuele atomen, leert het de "grammatica" van de chemie veel sneller. Het leert dat als je een "wiel" en een "stoel" ziet, het ontbrekende stuk waarschijnlijk een "motor" is, en niet zomaar een willekeurig plastic blokje.

Wat Het Artikel Vond

De auteurs testten deze nieuwe methode tegenover de oude "atoom-voor-atoom" methoden op verschillende standaard chemische tests (zoals het voorspellen van hoe goed een medicijn in water oplost of of het de bloed-hersenbarrière kan passeren).

• Het Resultaat: De "Slimme Lego" aanpak (FragmentNet) won het merendeel van de tijd.
• Waarom? Omdat het de context leerde. Door te trainen op hele fragmenten, begreep de computer dat bepaalde groepen atomen samenwerken, wat leidde tot betere voorspellingen.
• Bonusfunctie: Het artikel toont ook aan dat, omdat het model deze stukken begrijpt, het eenvoudig één "Lego-stuk" kan vervangen door een ander om een nieuw, geldig molecuul te creëren. Dit is als het nemen van een auto, de motor eruit halen en een andere motor erin klikken zonder dat de auto uit elkaar valt.

De Haken en Ogen (Beperkingen)

Het artikel is eerlijk over zijn beperkingen. Ze voerden dit experiment uit op een enkele laptop (een MacBook Pro) vanwege budgetbeperkingen. Ze gebruikten een relatief kleine dataset (2 miljoen moleculen) in vergelijking met de miljarden die door enorme AI-modellen worden gebruikt. Ze testten ook slechts twee niveaus van "stukgrootte" (zeer kleine stukken versus middelgrote stukken).

In Het Kort

FragmentNet is een nieuw hulpmiddel dat computers leert chemie te lezen, niet door naar individuele atomen te staren, maar door betekenisvolle "woorden" (fragmenten) te herkennen en te begrijpen hoe die woorden samenpassen om een zin te vormen. Dit maakt de computer een veel betere student in de chemie, wat leidt tot nauwkeurigere voorspellingen over hoe moleculen zich gedragen.

Technische samenvatting

Technische Samenvatting: FragmentNet

Probleemstelling

Moleculaire representatieleren heeft traditioneel vertrouwd op het tokeniseren van moleculen als individuele atomen of op het gebruik van stijve, regelgebaseerde fragmentdecomposities (bijv. BRICS). Deze benaderingen ondervinden aanzienlijke beperkingen:

1. Tokenisering op atoomniveau slaagt er vaak niet in om bredere chemische context te vangen, wat leidt tot "negatieve transfer" waarbij vooringestelde modellen slechter presteren dan eenvoudigere basismodellen. Het maskeren van individuele atomen kan chemisch inconsistente omgevingen creëren die het leren van bindingsregels en interacties tussen functionele groepen belemmeren.
2. Regelgebaseerde fragmentatie mist flexibiliteit en heeft moeite om te generaliseren over diverse chemische ruimten.
3. Op sequenties gebaseerde methoden (bijv. SMILES-tokenisering) verliezen vaak kritieke topologische informatie die inherent is aan moleculaire grafen.

Bestaande strategieën voor gemaskerde taalkundige modellering (MLM) die op grafen worden toegepast, maskeren vaak atomen, wat de chemische coherentie doorbreekt. Omgekeerd modelleren methoden die subgrafieken maskeren (bijv. SimSGT) niet expliciet de interacties tussen hen, wat de opname van lange-afstandsafhankelijkheden beperkt.

Methodologie

De auteurs introduceren FragmentNet, een graf-naar-sequentie-model dat is ontworpen om de kloof tussen graftopologie en sequentiemodellering te overbruggen via adaptieve, geleerde tokenisering.

1. Adaptieve, Geleerde Tokenizer

In tegenstelling tot regelgebaseerde methoden, maakt FragmentNet gebruik van een datagedreven tokenizer die moleculaire grafen decomposeert in chemisch geldige fragmenten van aanpasbare granulariteit.

• Iteratief Paarsgewijs Samenvoegen: De tokenizer begint met individuele atomen en voegt iteratief verbonden paren samen op basis van een geleerde samenvoegingsgeschiedenis die is afgeleid uit het trainingscorpus.
• Granulariteitscontrole: Het aantal samenvoegingsiteraties ($T$) controleert de tokengrootte. Een molecuul kan worden getokeniseerd met de eerste $t$ samenvoegingen ($t \le T$) zonder opnieuw te trainen, wat mogelijk maakt om granulariteit te optimaliseren voor specifieke taken.
• Omgaan met Hangende Bindingen: Gebroken bindingen worden weergegeven door "dummy-atomen" (atoomnummer 0). Fragmenten worden onderscheiden door het aantal en het type gebroken bindingen (bijv. een koolstof met één gebroken enkele binding versus twee).
• Uniciteit: Om stereo-isomeren en tautomeren te onderscheiden, gebruiken de auteurs het Weisfeiler-Lehman (WL) graf-hash-algoritme, zodat niet-isomorfe grafen unieke hashes krijgen.

2. Hiërarchische Encoder (VQVAE + GCN)

Het model integreert kenmerken op atoomniveau en fragmentniveau met behulp van een hybride encoder:

• VQ-VAE: Encodeert discrete kenmerken op atoomniveau in een gekwantiseerde latente ruimte.
• GCN: Aggregeert kenmerken van naburige knopen binnen de discrete fragmenten om structurele relaties te vangen.
• Integratie: Atoom-embeddings worden gemiddeld om fragmentrepresentaties te vormen, die vervolgens worden gecombineerd met GCN-outputs om gecomprimeerde kenmerk-embeddings op fragmentniveau te genereren.

3. Chemisch Bewuste Ruimtelijke Positieve Encoderingen (SPE's)

Om de moleculaire topologie te behouden bij het serialiseren van grafen tot sequenties, hanteert FragmentNet drie soorten positieve encoderingen:

• Hop-gebaseerde Encodering: Vangt relatieve connectiviteit via kortste-pads-afstanden.
• WL Absolute Positieve Encodering: Wijs unieke rollen-ID's toe op basis van grafstructuur om isomeren te onderscheiden.
• Coulomb-matrix Encodering: Modelleert interacties op basis van afstanden volgens de omgekeerde-kwadratenwet en atomaire ladingen.
  Deze worden geaggregeerd om een uitgebreide ruimtelijke context te bieden voor de Transformer.

4. Gemaskerde Fragmentmodellering (MFM)

Het voortrainingsdoel omvat het maskeren van volledige chemisch geldige fragmenten in plaats van individuele atomen.

• Proces: Een fragment wordt vervangen door een [MASK]-token, en het model voorspelt het originele fragment met behulp van de context van niet-gemaskerde fragmenten.
• Voordeel: Dit behoudt chemisch betekenisvolle contexten, analoog aan het reconstrueren van meerwoordige zinnen in NLP, en faciliteert het leren van bindingsregels en functionele relaties.
• Configuratie: De auteurs beperken het maskeren tot één token per sequentie om context te behouden, getraind op 2 miljoen moleculen.

5. Architectuur

De geserialiseerde fragment-embeddings, verrijkt met SPE's en een Molecular Descriptor CLS-token (afgeleid van RDKit-descriptoren), worden verwerkt door een Transformer-encoder. Een kop voor eigendomsvoorspelling gebruikt max-pooling over de sequentie voor downstream-taken.

Belangrijkste Bijdragen

1. Nieuwe Geleerde Adaptieve Tokenizer: Een methode voor het decomponeren van moleculaire grafen in chemisch geldige fragmenten terwijl structurele connectiviteit wordt behouden, wat mogelijk maakt om granulariteit aan te passen.
2. Ruimtelijke Positieve Encoderingen: Een reeks encoderingen (Hop, WL, Coulomb) die moleculaire graftopologie vangen in een sequentie-compatibel formaat, wat effectieve graf-naar-sequentie-modellering mogelijk maakt.
3. Empirische Studie over Granulariteit: Een demonstratie dat tokeniseringsgranulariteit een kritieke ontwerpkeuze is. Het artikel toont aan dat tokenisering op fragmentniveau, wanneer gecombineerd met MFM-voortraining, de tokenisering op atoomniveau overtreft op het merendeel van de eigendomsvoorspellingstaken.

Resultaten

Het model werd geëvalueerd op MoleculeNet- en Malaria-benchmarks met behulp van scaffold-splitsing (80-10-10).

• Impact van Voortraining: FragmentNet, voorgetraind met MFM, presteerde consequent beter dan niet-voorgetrainde modellen.
• Fragment versus Atoom: Met MFM-voortraining presteerde de variant op fragmentniveau (100 samenvoegingsiteraties) beter dan de variant op atoomniveau (0 samenvoegingsiteraties) op 5 van de 7 datasets (BBBP, Tox21, ToxCast, BACE, ESOL, Lipo, Malaria). Zonder voortraining presteerde tokenisering op atoomniveau vaak beter, wat suggereert dat de voordelen van grovere tokenisering specifiek worden ontsloten door voortraining.
• Interpreteerbaarheid: Attentiekarten onthulden chemisch intuïtieve patronen, zoals attentiekoppen die zich richten op hydroxylgroepen voor oplosbaarheid (ESOL) of kinazolinekernen voor antimalaria-activiteit, in overeenstemming met bekende farmacoforen.
• Fragmentvervanging: De geleerde tokenizer maakte een module voor fragmentvervanging mogelijk om chemisch geldige analogen te genereren (bijv. het modificeren van Ibuprofen) zonder substructuurmatching, wat de bruikbaarheid in moleculaire bewerking demonstreert.

Betekenis en Beweringen

Het artikel stelt dat tokeniseringsgranulariteit een belangrijke hefboom is voor het verbeteren van moleculaire representaties. Door over te schakelen van modellering op atoomniveau naar modellering op fragmentniveau, adresseert FragmentNet de negatieve transfer-problemen die gebruikelijk zijn bij masking op atoomniveau en vangt het structurele motieven op hoger niveau.

De auteurs benadrukken dat hun aanpak "chemisch geïnformeerd" is, wat de sequentielengte verkort en de computerkosten verlaagt in vergelijking met standaard Transformer-modellen. Ondanks dat het is getraind op een bescheiden opstelling (een enkele laptop met 2 miljoen moleculen en een klein vocabulaire), toonde het voorgetrainde fragmentmodel aanzienlijke winsten ten opzichte van niet-voorgetrainde varianten.

Het werk stelt vast dat adaptieve, geleerde tokenisering gecombineerd met gemaskerde fragmentmodellering een levensvatbare en effectieve strategie is voor moleculaire representatieleren, met verbeterde downstream-prestaties en versterkte chemische interpreteerbaarheid. De auteurs erkennen beperkingen met betrekking tot de schaal van hun experimenten (een enkele laptop, klein dataset) en suggereren dat toekomstig werk de optimale granulariteit voor specifieke taken moet verkennen en moet schalen naar grotere modellen en datasets.