💻 informatica

Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA

Dit artikel으로oont aan dat hoewel LeJEPA-gebaseerde zelfgesuperviseerde pretraining hoogwaardige moleculaire representaties oplevert die aanzienlijk beter presteren dan willekeurige initialisatie in frozen probing en traditionele fingerprints aanvullen, de voordelen hiervan niet robuust vertalen naar prestatiewinst bij downstream-taken via standaard finetuning, wat suggereert dat feature-level combinatie de optimale strategie is voor het benutten van deze pretrainde embeddings.

Oorspronkelijke auteurs: Michał Kulczykowski, Rafał Łabędzki

Gepubliceerd 2026-10-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Michał Kulczykowski, Rafał Łabędzki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moleculen zijn de fundamentele bouwstenen van het leven en de geneeskunde, maar voor een computer is een medicijn slechts een complexe kaart van atomen die met bindingen verbonden zijn. Decennialang hebben wetenschappers geprobeerd kunstmatige intelligentie te leren deze kaarten te lezen, in de hoop te voorspellen welke nieuwe chemische structuren effectieve medicijnen zullen worden. De uitdaging is dat, hoewel er honderden miljoenen mogelijke medicijnachtige moleculen zijn, de gegevens die we hebben over welke daarvan daadwerkelijk werken schaars en duur zijn om te produceren. Om dit op te lossen, hebben onderzoekers zich gericht op een strategie die is geleend van hoe mensen leren: pretraining. Net zoals een kind algemene concepten over de wereld leert voordat het specifieke vakken bestudeert, kan een computermodel worden getraind op een enorme bibliotheek van niet-gelabelde chemische structuren om de basisregels van de chemie te leren, met de hoop dat deze algemene kennis het later zal helpen specifieke problemen op te lossen, zoals het vinden van een nieuw antibioticum.

Een team van onderzoekers zette zich scharpe schijf voor het testen van een nieuwe, gestroomlijnde manier om deze modellen te onderwijzen, gebruikmakend van een methode genaamd LeJEPA. In plaats van te proberen elk klein detail van een molecuul te reconstrueren of het te vergelijken met duizenden andere voorbeelden, vraagt deze methode de computer om het hele plaatje te voorspellen op basis van een gedeeltelijk beeld. Stel je voor dat je een model een fragment van een molecuul laat zien en het vraagt om de eigenschappen van de gehele structuur te raden. Om het model te voorkomen dat het op eenvoudige patronen vertrouwt, voegden de onderzoekers een wiskundige regel toe die de computer dwingt om het interne begrip van moleculen divers en goed georganiseerd te maken, in plaats van dat het inklapt tot één nutteloos antwoord. Ze testten deze aanpak op twee grote uitdagingen: een standaard benchmark voor het voorspellen van de HIV-drugactiviteit en een specifieke dataset voor het vinden van nieuwe antibiotica, waarbij slechts een fractie van de geteste verbindingen daadwerkelijk effectief is.

De resultaten onthulden een verrassende wending in hoe deze modellen leren. Wanneer de onderzoekers de hersenen van de computer bevroren na de pretraining en de computer simpelweg vroegen om moleculen te classificeren zonder verdere instructies, was het getrainde model aanzienlijk beter dan een model dat vanaf nul begon. Op de HIV-benchmark behaalde het getrainde model een score van 0,788, een substantiële sprong ten opzichte van de score van 0,665 van de ongetrainde versie. Dit bewees dat de methode erin geslaagde een rijke, nuttige representatie van chemische structuren te leren. Echter, wanneer de onderzoekers probeerden deze kennis te gebruiken om de prestaties van het model te verbeteren door middel van fine-tuning, vervaagde het voordeel grotendeels. Op de antibioticadataset presteerde het getrainde model niet consequent beter dan de ongetrainde versie, en op de HIV-benchmark verdween de verbetering volledig zodra het model de mogelijkheid kreeg om zijn gewichten aan te passen. De enige keer dat het getrainde model een duidelijk, betrouwbaar voordeel liet zien, was bij een specifieke, moeilijke test waarbij de chemische structuren volledig nieuw waren voor de trainingsdata, en zelfs toen was de verbetering fragiel en sterk afhankelijk van hoe de data was gesplitst.

De onderzoekers ontdekten dat de ware waarde van deze pretraining niet lag in het vervangen van bestaande hulpmiddelen, maar in het aanvullen ervan. Ze vonden dat het geleerde begrip van de computer over moleculen het meest effectief was wanneer het werd gecombineerd met een traditionele, handmatig vervaardigde chemische beschrijving die bekend staat als een fingerprint. Toen ze het meest nuttige deel van de kennis van het getrainde model namen en dit aan deze standaard fingerprint hechtten, presteerde het gecombineerde systeem beter dan elk onderdeel alleen. Deze hybride aanpak bracht het succespercentage op de HIV-benchmark naar 0,830, een significante verbetering die noch de fingerprint, noch het getrainde model alleen had kunnen bereiken. De studie suggereert dat hoewel de nieuwe pretrainingmethode weliswaar een dieper, robuuster begrip van de chemie leert dat standhoudt bij veranderingen in chemische structuur, dit niet automatisch vertaalt naar betere prestaties wanneer het op de standaardmanier wordt gebruikt. In plaats daarvan ligt de grootste kracht ervan in het toevoegen van een laag structureel inzicht dat het beste werkt wanneer het wordt gekoppeld aan gevestigde methoden, wat een nieuwe manier biedt om meer betrouwbare instrumenten voor medicijnontwikkeling te bouwen.

Technische Samenvatting: Zelfgestuurde Pretraining van Moleculaire Graaf-encoders met LeJEPA

Probleemstelling
Hoewel zelfgestuurde pretraining de taal- en visiemodellen heeft gerevolutioneerd, blijft het nut ervan voor moleculaire graaf neurale netwerken (GNN's) onderwerp van discussie. In de chemie zijn gelabelde gegevens schaars en kostbaar, terwijl de ruimte van synthetiseerbare moleculen enorm is. Het heersende "pretrain-then-finetune"-paradigma, dat succesvol is in andere domeinen, heeft gemengde resultaten opgeleverd bij de voorspelling van moleculaire eigenschappen. Bestaande zelfgestuurde doelstellingen (contrastief, generatief en predictief) worstelen vaak met het bieden van robuuste winst ten opzichte van goed afgestelde gesuperviseerde baselines die gebruikmaken van handmatig vervaardigde descriptoren. Dit werk onderzoekt of het pretrainen van een moleculaire graaf-encoder op een grote ongelabelde corpus met een specifieke architectuur, LeJEPA, de voorspelling van moleculaire eigenschappen verbetert, en zo ja, hoe dat voordeel zich manifesteert.

Methodologie
De auteurs passen LeJEPA (Latent-Euclidean Joint Embedding Predictive Architecture) aan voor moleculaire grafen. In tegenstelling tot traditionele JEPAs die afhankelijk zijn van asymmetrische architecturen (momentum-teachers, stop-gradients en predictor-netwerken), gebruikt LeJEPA een predictor-vrij ontwerp dat wordt geregulariseerd door Sketched Isotropic Gaussian Regularisation (SIGReg).

Architectuur: De encoder brengt een moleculair graaf $G$ $G$ in naar een $K$ $K$ -dimensionale embedding $z$ $z$ . Twee backbone-architecturen werden geëvalueerd:
1. GPS Graph Transformer: Een hybride model dat lokale GINE message passing combineert met globale multi-head self-attention, gebruikmakend van random-walk positional encodings.
2. Chemprop-stijl D-MPNN: Een gerichte message-passing netwerk.
Pretraining Doelstelling: Het model wordt getraind op $\sim$ $\sim$ 2,9 miljoen bioactiviteit-gecurateerde moleculen uit ChEMBL. De doelstelling minimaliseert een gewogen som van twee termen:
1. Predictie Verlies ( $L_{pred}$ ): Voor elk molecuul worden meerdere views gegenereerd (2 globale views met lichte corruptie en 8 lokale views via BFS subgrafen). De encoder moet het middelpunt (centroid) van de globale-view embeddings voorspellen vanuit de lokale-view embeddings. Cruciaal is dat fysisch-chemische descriptoren (RDKit) alleen aan de globale views worden gekoppeld om triviale oplossingen te voorkomen waarbij het model de structuur negeert.
2. SIGReg Verlies ( $L_{SIGReg}$ ): Deze regularisator voorkeert representatie-instorting door de batch embedding-distributie naar een isotrope Gaussische $N(0, I)$ te drijven. Het gebruikt de Epps–Pulley statistiek om de empirische karakteristieke functie van 1D-projecties van de embeddings te vergelijken met een standaard normale verdeling over 1024 willekeurige richtingen.
Evaluatieprotocol: De getrainde encoders werden geëvalueerd op twee taken onder een rigoureus, multi-seed, bootstrap-gebaseerd protocol:
1. Antibiotische Activiteit: Een dataset van 39.312 verbindingen tegen Staphylococcus aureus (Wong et al.), met zowel random als scaffold splits (Bemis-Murcko).
2. ogbg-molhiv: Een standaard benchmark voor HIV-replicatie-inhibitie met een vaste scaffold split.
- Probes: De evaluatie omvatte "frozen probes" (het fitten van een head op vaste embeddings) en volledige "finetuning" (het updaten van de encoder-gewichten). Vergelijkingen werden gemaakt met random initialisatie en handmatig vervaardigde baselines (RDKit descriptoren, Morgan fingerprints).

Belangrijkste Resultaten

Representatiekwaliteit vs. Finetuning:
- Frozen Probes: Pretraining levert een significant betere representatie op. Op ogbg-molhiv bereikte een frozen LeJEPA embedding een ROC-AUC van 0,788 vs. 0,665 voor een random-geïnitialiseerde encoder (een lift van +0,123), wat binnen de band valt van gepubliceerde zelfgestuurde GNN's. Op de antibioticataak presteerde de frozen pretrained embedding (AUPRC 0,159) beter dan zowel random initialisatie (0,082) als RDKit descriptoren alleen (0,112).
- Finetuning: Dit voordeel in representatie vertaalt zich niet robuust naar winst bij downstream finetuning.
  - Op de antibioticarandom split toonde finetuning geen winst ten opzichte van training vanaf nul.
  - Op de antibioticascaffold split toonde één canonieke partitie een significante winst (+0,041 AUPRC), maar dit effect verdween bij replicatie over vijf verschillende scaffold partities (gepoolde $\Delta$ = +0,013, $p=0,095$ ).
  - Op ogbg-molhiv en met de D-MPNN backbone waren de finetuning-winsten nul.
Complementariteit met Fingerprints:
- De auteurs ontdekten dat de getrainde embedding complementair is aan handmatig vervaardigde Morgan fingerprints, maar alleen wanneer de informatieve subspace van de embedding geïsoleerd is.
- De embedding verzadigt bij 16–32 effectieve dimensies, terwijl fingerprints verbeteren tot 1024 bits.
- Bij een gelijke dimensionaliteit (128) presteerde de fingerprint beter dan de embedding op validatiesplits, maar presteerde de embedding beter bij verschoven test-scaffolds. De embedding vertoonde een superieure robuustheid tegen scaffold-verschuivingen.
- Feature-Level Combinatie: Het afkorten van de getrainde embedding naar 32 dimensies (via PCA) en het concateneren ervan met een 1024-bit Morgan fingerprint verhoogde de ogbg-molhiv test ROC-AUC van 0,803 naar 0,830 ( $\Delta$ = +0,027, $p=0,014$ ).
- Cruciaal is dat deze winst specifiek was voor de getrainde embedding; het concateneren van een ongetrainde (random) embedding leverde geen voordeel op, wat bevestigt dat de winst voortkomt uit de geleerde structuur, en niet louter uit toegevoegde dimensies.
Baseline Prestaties:
- Op de antibioticataak evenaarde of overtrof een eenvoudige tree ensemble over 217 RDKit descriptoren (zonder een graafnetwerk te gebruiken) de prestaties van een graaf-gebaseerd Chemprop-model en de gepubliceerde baseline, wat suggereert dat graafnetwerken voor deze specifieke taak niet strikt noodzakelijk zijn.

Betekenis en Claims
Het artikel concludeert dat LeJEPA-pretraining een meetbaar betere moleculaire representatie produceert die de fysisch-chemische structuur vangt en goed generaliseert naar nieuwe chemotypes (zoals aangetoond door frozen probes en robuustheid tegen scaffold-verschuivingen). De auteurs stellen echter dat dit voordeel niet wordt gerealiseerd via standaard finetuning, wat vaak niet de getrainde gewichten beter benut dan random initialisatie of handmatig vervaardigde kenmerken.

In plaats daarvan wordt de waarde van de pretraining gerealiseerd door feature-level combinatie. De getrainde embedding biedt robuustheid tegen distributieverschuivingen (scaffold-veranderingen) die handmatig vervaardigde fingerprints missen, maar alleen wanneer de informatieve subspace van de embedding wordt afgekort en gecombineerd met gevestigde representaties. De auteurs positioneren hun werk als een mechanistische studie die aantoont dat hoewel de representatie superieur is, de downstream bruikbaarheid conditioneel is op de manier waarop deze wordt geïntegreerd, in plaats van een universele vervanging voor gesuperviseerde baselines. Hun werk benadrukt dat de "winst" vaak onzichtbaar is op validatiesets en pas duidelijk wordt onder distributieverschuivingen, wat het moeilijk maakt om dit te selecteren via standaard hyperparameter tuning.

Erkende Beperkingen
De auteurs merken op dat het bewijs voor finetuning het zwakste deel van de studie is, aangezien de enkele significante scaffold-split resultaat niet werd gereproduceerd over meerdere partities. Ze erkennen ook dat hun compacte encoder niet de absolute state-of-the-art scores bereikt op benchmarks vergeleken met grotere, gesuperviseerde modellen, en dat de pretraining corpus de downstream chemische ruimte niet volledig dekt, wat het potentieel van de transfer plafond beperkt.

Technische Samenvatting: Zelfgestuurde Pretraining van Moleculaire Graaf-encoders met LeJEPA

Meer zoals dit