MolFM-Lite: Multi-Modal Molecular Property Prediction with Conformer Ensemble Attention and Cross-Modal Fusion

MolFM-Lite is een multi-modaal model dat 1D-sequenties, 2D-grafen en 3D-conformer-ensembles combineert via cross-attention en FiLM-conditioning om de eigenschappen van moleculen nauwkeuriger te voorspellen dan traditionele single-modality benaderingen.

De kern

MolFM-Lite: De "Super-Detective" voor Moleculen

Stel je voor dat je een moleculaire chemie-uitdaging hebt: je moet voorspellen of een nieuw medicijn werkt, of het veilig is, of het door de bloed-hersenbarrière kan. In het verleden keken wetenschappers naar een molecuul op slechts één manier, alsof ze een auto alleen van de zijkant bekijken en vergeten kijken hoe de motor er van binnen uitziet of hoe de auto rijdt op een hobbelige weg.

Deze paper introduceert MolFM-Lite, een slim computermodel dat een molecuul niet van één kant, maar van drie verschillende kanten tegelijk bekijkt. Het is alsof je een detective bent die niet alleen naar de foto van een verdachte kijkt, maar ook naar zijn vingerafdrukken en zijn gedrag op camera.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Drie Kijkhoeken (De Modaliteiten)

MolFM-Lite combineert drie soorten informatie over een molecuul:

• De 1D-lijst (SELFIES): Dit is als de recept of de ingrediëntenlijst. Het vertelt je welke atomen er in het molecuul zitten en in welke volgorde ze aan elkaar hangen.
• De 2D-kaart (Moleculair Grafiek): Dit is de plattegrond of de blauwdruk. Het laat zien hoe de atomen met elkaar verbonden zijn (wie is de vriend van wie?). Dit vertelt je over de structuur en de groepen die chemische reacties veroorzaken.
• De 3D-animatie (Conformers): Dit is het belangrijkste nieuwe stukje. Moleculen zijn geen statische beelden; ze bewegen en draaien, net als een warme deken die je kunt vouwen en uitrekken. Een molecuul kan in verschillende vormen (conformers) bestaan. MolFM-Lite kijkt niet naar één vorm, maar naar een ensemble (een groepje) van 5 verschillende vormen die het molecuul kan aannemen.

2. De Slimme Samenwerking (Cross-Attention)

Vroeger keken deze drie kijkhoeken naar elkaar alsof ze in aparte kamers zaten. MolFM-Lite laat ze samenwerken.

• De Analogie: Stel je voor dat je een puzzel oplost. De persoon met de recept (1D) zegt: "Hier zit een suikergroep." De persoon met de blauwdruk (2D) zegt: "Ja, maar die zit vast aan een ring." De persoon met de 3D-animatie (3D) zegt: "En in die vorm buigt de ring precies genoeg om in het slot te passen."
• Het model gebruikt een techniek genaamd "Cross-Attention". Dit betekent dat elke "deskundige" (1D, 2D of 3D) naar de anderen kan luisteren om zijn eigen antwoord te verbeteren. Ze vullen elkaars gaten op.

3. De "Wet van de Natuur" (Boltzmann & Ensembles)

Wanneer het model naar de 3D-vormen kijkt, doet het niet zomaar een gok. Het gebruikt een slimme truc gebaseerd op de natuurkunde.

• De Analogie: Stel je voor dat je een bal op een heuvel hebt. De bal zal van nature naar beneden rollen naar de laagste punt (de meest stabiele vorm). Maar soms, als je de bal een duwtje geeft, kan hij even op een andere plek blijven hangen.
• MolFM-Lite weet dat sommige vormen van een molecuul "natuurlijker" en stabieler zijn dan andere. Het geeft meer gewicht aan die stabiele vormen (zoals een Boltzmann-prior), maar het kijkt ook naar de minder stabiele vormen. Waarom? Omdat in het lichaam (bijvoorbeeld in een cel) het molecuul soms in die "moeilijke" vorm moet zitten om te werken. Het model leert dus niet alleen wat de natuur zegt, maar ook wat de taak vraagt.

4. De Context (De Omgeving)

Soms hangt het resultaat af van de omgeving. Is het warm of koud? Is het in een cel of in een reageerbuis?

• MolFM-Lite heeft een ingebouwde "FiLM"-knop. Dit is als een dimmer voor een lamp. Als je weet dat het experiment in een specifieke cel plaatsvindt, past het model zijn "helderheid" (zijn voorspelling) aan die situatie aan. Op de huidige testdata was deze knop nog niet nodig (omdat die data geen context hadden), maar het model is klaar voor de toekomst als we meer data over experimenten hebben.

Waarom is dit zo belangrijk?

De onderzoekers hebben dit model getest op vier grote databases met medicijndata.

• Het resultaat: MolFM-Lite was 7% tot 11% beter dan de beste eerdere modellen die maar naar één kant keken.
• De kosten: Het meest verbazingwekkende is dat dit niet duur was. Het trainen van dit model kostte ongeveer $47 aan rekenkracht (op een gewone cloud-server). Veel andere grote modellen kosten duizenden dollars.

Conclusie

MolFM-Lite bewijst dat je niet altijd de grootste en duurste supercomputer nodig hebt om medicijnen te vinden. Als je slimme detectives (modellen) hebt die samenwerken, naar verschillende bewijsstukken kijken en rekening houden met hoe moleculen eigenlijk bewegen, kun je veel betere voorspellingen doen voor een fractie van de kosten.

Het is alsof je van een simpele foto van een auto overschakelt naar een volledige virtuele reality-simulatie van hoe die auto rijdt, en dat alles doet met een budget dat je misschien wel hebt voor een weekendje weg.

Technische samenvatting

Probleemstelling

De huidige machine learning-modellen voor het voorspellen van moleculaire eigenschappen vertrouwen vaak op een enkele representatie van het molecuul: ofwel een sequentie (zoals SMILES/SELFIES), een graaf (2D-topologie), of een 3D-structuur. Deze benaderingen hebben twee fundamentele beperkingen:

1. Staticiteit: De meeste modellen behandelen moleculen als stijve objecten en gebruiken slechts één conformer (3D-vorm) per molecuul. In werkelijkheid bestaan moleculen echter als thermodynamische ensembles van verschillende vormen, wat cruciaal is voor binding en reactiviteit.
2. Gebrek aan context: Experimentele context (zoals het type assay, celtype of temperatuur) beïnvloedt gemeten eigenschappen aanzienlijk, maar wordt zelden in de modellen verwerkt.
3. Isolatie van modaliteiten: Bestaande methoden verwerken deze verschillende perspectieven (1D, 2D, 3D) vaak gescheiden, terwijl ze complementaire informatie bevatten die samen beter zou kunnen worden benut.

Methodologie: MolFM-Lite

MolFM-Lite is een multi-modaal model dat drie verschillende representaties van een molecuul simultaan encodeert en fuseert via cross-attention. De architectuur bestaat uit vier hoofdmogules:

1. Modality-Specifieke Encoders:

   • 1D (SELFIES): Een Transformer-encoder verwerkt SELFIES-sequenties (een syntactisch geldige variant van SMILES) om substructuurpatronen te vangen.
   • 2D (Graaf): Een Graph Isomorphism Network (GIN) encodeert de moleculaire graaf, inclusief atoomtypes, bindingen en ringstructuren.
   • 3D (Conformeren): Een lichtgewicht SchNet-variant verwerkt atoomcoördinaten. In tegenstelling tot eerdere werken, gebruikt dit model geen enkel conformer, maar een ensemble.

2. Conformer Ensemble Attention:

   • Voor elk molecuul worden $K=5$ conformers gegenereerd met RDKit (ETKDG-algoritme) en geoptimaliseerd met MMFF94.
   • Een unieke attention-mechanisme combineert een leerbare attention-score met een Boltzmann-gewogen prior. De attention-weights ($\alpha_k$) worden berekend als een functie van de leerbare query en de thermodynamische waarschijnlijkheid ($p_{Boltz} \propto e^{-E/k_BT}$).
   • Dit zorgt ervoor dat het model zich richt op thermodynamisch gunstige vormen, maar ook kan afwijken naar hogere-energie vormen als dit nodig is voor de specifieke taak (bijv. bioactieve vormen).

3. Cross-Modal Fusion:

   • In plaats van eenvoudige concatenatie, worden cross-attention lagen gebruikt. Hierdoor kan elke modaliteit (1D, 2D, 3D) selectief informatie uit de andere modaliteiten integreren.
   • Dit stelt het model in staat om complementaire informatie te delen (bijv. hoe de 3D-vorm de interpretatie van de 2D-graaf beïnvloedt).

4. Context Conditioning (FiLM):

   • Experimentele metadata (zoals assay-type) wordt verwerkt via Feature-wise Linear Modulation (FiLM). Dit module past schaal- en verschuifparameters toe op de gefuseerde representatie. Hoewel de huidige benchmarks geen dergelijke metadata bevatten, is dit een architecturale voorbereiding op data-rijke scenario's.

5. Pre-training:

   • Het model wordt vooraf getraind op ZINC250K (~250k moleculen) met twee doelen: Cross-Modal Contrastive Learning (InfoNCE loss om representaties van dezelfde molecule over modaliteiten heen uit te lijnen) en Masked Atom Prediction. Dit stabiliseert de fine-tuning op kleinere datasets.

Belangrijkste Bijdragen

1. Conformer Ensemble Attention: Een fysisch gemotiveerde aggregatiemethode die leerbare attention combineert met thermodynamische priors, in plaats van één statisch conformer te gebruiken.
2. Cross-Modal Fusion via Attention: Een architectuur waarbij modaliteiten elkaar actief "aandacht" geven, wat superieur is aan statische concatenatie.
3. Gestructureerde Evaluatie: Alle baselines en ablaties zijn geëvalueerd op identieke "scaffold splits" (80/10/10) met dezelfde hyperparameters, wat een eerlijke vergelijking mogelijk maakt.
4. Efficiëntie: Het model is ontworpen om effectief te zijn met beperkte rekenkracht (pre-training op 250k moleculen in plaats van honderden miljoenen) en kostbaarheidsanalyse toont aan dat de volledige experimentele pipeline voor slechts ~$47 USD kan worden uitgevoerd.

Resultaten

Het model is geëvalueerd op vier MoleculeNet-benchmarks (BBBP, BACE, Tox21, Lipophilicity) met een strikte scaffold-split protocol.

• Prestatie: MolFM-Lite overtreft alle single-modality baselines (zoals ChemBERTa, GIN, SchNet) en geavanceerde multi-modale modellen (zoals Uni-Mol) consistent.
  • BBBP: 0.956 AUC (verbetering van 7-11% ten opzichte van baselines).
  • BACE: 0.902 AUC.
  • Tox21: 0.848 AUC.
  • Lipophilicity: 0.570 RMSE.
• Ablatie-studies:
  • Tri-modale fusie: Het combineren van 1D, 2D en 3D levert de grootste winst op. Het verwijderen van één modaliteit resulteert in een daling van 4-11% in AUC.
  • Conformer ensemble: Het gebruik van 5 conformers in plaats van 1 levert een extra verbetering van ongeveer 1.5-2% op, vooral bij bindinggerelateerde taken.
  • Cross-attention: Dit presteert 2-2.7% beter dan eenvoudige concatenatie.
  • Pre-training: Zelfs met een relatief kleine dataset (ZINC250K) stabiliseert pre-training de fine-tuning en levert ~3% winst op.
• Onzekerheidsschatting: Via MC Dropout kan het model onzekerheid kwantificeren; hoge onzekerheid correleert sterk met structureel nieuwe moleculen en hogere fouten.

Betekenis en Conclusie

MolFM-Lite demonstreert dat principiële multi-modale fusie op een beschaalde schaal (moderate compute cost) aanzienlijk betere resultaten kan opleveren dan geïsoleerde single-modality modellen of zelfs grootschalige pre-training modellen die geen rekening houden met conformeren-ensembles.

De kernboodschap is dat moleculen intrinsiek multi-schaal zijn en dat het integreren van sequentie, topologie en thermodynamisch gedrag via cross-attention en fysisch geïnspireerde attention-mechanismen de staat-der-kunst voor moleculaire eigendomsvoorspelling verbetert. Het model is open-source en biedt een reproduceerbare, kosteneffectieve basis voor toekomstig onderzoek in computergestuurde drugontwikkeling.