NMIRacle: Multi-modal Generative Molecular Elucidation from IR and NMR Spectra

NMIRacle is een tweestaps generatief framework dat IR- en NMR-spectra direct omzet in accurate moleculaire structuren door fragmentrepresentaties te combineren met een spectrale encoder, en hiermee bestaande methoden voor moleculaire opheldering overtreft.

De kern

Stel je voor dat je een mysterieuze doos hebt die je niet mag openen. Je kunt alleen naar de buitenkant kijken, luisteren naar het geluid als je er tegen aan tikt, en voelen hoe het voelt als je het schudt. Op basis van deze indirecte aanwijzingen moet je precies vertellen wat er in de doos zit: is het een auto? Een pop? Een stuk fruit?

In de chemie is dit precies wat wetenschappers doen. Ze hebben een onbekend molecuul (de doos) en ze meten het met speciale apparaten die IR-spectroscopie en NMR noemen. Deze apparaten geven geen foto van het molecuul, maar een soort "geluidsopname" of "vingerafdruk" (grafieken met pieken). Vroeger moest een expert met veel ervaring die grafieken lezen en in zijn hoofd een 3D-puzzel oplossen om te raden hoe het molecuul eruitzag. Dat was moeilijk, tijdrovend en niet altijd accuraat.

NMIRacle is een nieuwe, slimme computerprogramma dat deze puzzel voor je oplost. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Twee-Stappen Dans

Het programma werkt in twee fases, net als het leren van een taal.

• Fase 1: Het Leren van Bouwstenen (De "Blokjes"-fase)
  Stel je voor dat je eerst leert hoe je met LEGO-blokjes kunt bouwen. In plaats van te leren hoe je elk individueel deeltje (een atoom) plaatst, leert het programma eerst hoe je grotere stukken (fragmenten, zoals een wiel, een deur of een raam) in een auto kunt plakken.
  Het programma kijkt naar miljoenen bekende moleculen en leert: "Als er 3 wielen en 1 deur zijn, ziet de auto er meestal zo uit." Het leert niet alleen welke stukken er zijn, maar ook hoe vaak ze voorkomen. Dit is belangrijk: een auto met 4 wielen is anders dan een auto met 3.

• Fase 2: Het Vertalen van Geluid naar Bouwplan (De "Vertaler"-fase)
  Nu komt het echte magische deel. Het programma krijgt de "geluidsopname" van het onbekende molecuul (de IR en NMR grafieken).
  In plaats van direct te raden hoe het molecuul eruitziet, vertaalt het eerst die geluidsgolven naar een lijstje met bouwstenen: "Ah, deze piek betekent dat er waarschijnlijk 2 'wielen' en 1 'raam' in zitten."
  Vervolgens gebruikt het de kennis uit Fase 1 om die lijstje met bouwstenen om te zetten in een compleet bouwplan (het molecuul).

2. Waarom is dit zo slim?

Eerdere pogingen om dit te doen hadden een paar grote problemen, waar NMIRacle slim omheen denkt:

• Geen vooraf ingevulde formulieren: Veel oude methoden hadden al een lijstje nodig met de formule (bijv. "dit molecuul heeft 5 koolstofatomen"). NMIRacle heeft dat niet nodig. Het raadt de formule zelf af uit de geluiden.
• Geen "schoonmaken" van de data: Andere programma's moesten eerst de ruwe data van de apparaten "schoonmaken" en omrekenen naar simpele tekst voordat ze konden werken. NMIRacle neemt de ruwe, soms rommelige data direct en leert zelf wat de pieken betekenen. Dat is alsof je een baby leert praten door direct naar de geluiden te luisteren, in plaats van eerst een woordenboek te laten lezen.
• Meerdere zintuigen: Het combineert drie verschillende soorten metingen (IR, 1H-NMR, 13C-NMR) tegelijk. Het is alsof je niet alleen naar het geluid luistert, maar ook voelt en ruikt om de doos te identificeren. Dit maakt het veel nauwkeuriger.

3. Het Resultaat

Het programma is getest op heel complexe moleculen (soms met wel 35 zware atomen). Het bleek veel beter te zijn dan de vorige beste methoden. Het kan zelfs moleculen voorspellen die nog nooit eerder zijn gezien, zolang de geluiden maar overeenkomen met de regels die het heeft geleerd.

Kortom:
NMIRacle is als een super-detective die niet alleen naar de vingerafdrukken kijkt, maar ook de geluiden analyseert en de geur ruikt. Vervolgens gebruikt het zijn kennis van hoe bouwstenen in elkaar passen om precies te vertellen hoe het onbekende molecuul eruitziet, zonder dat er een menselijke expert nodig is om de puzzel op te lossen. Het maakt het vinden van nieuwe medicijnen en materialen sneller en makkelijker.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NMIRacle: Multi-modal Generative Molecular Elucidation from IR and NMR Spectra" in het Nederlands.

Probleemstelling

Het bepalen van de moleculaire structuur van een onbekende verbinding op basis van spectroscopische data is een fundamenteel maar uitdagend probleem in de chemie. Traditioneel vereist dit taak veel expertise en subjectieve interpretatie van experts. Hoewel er recente vooruitgang is geboekt met diep leren, vertonen bestaande methoden voor de novo generatie van moleculen uit spectra vaak beperkingen:

1. Eén-modale afhankelijkheid: Veel modellen gebruiken slechts één type spectrum (bijv. alleen NMR), waardoor complementaire informatie verloren gaat.
2. Afhankelijkheid van pre-processing: Veel systemen vereisen uitgebreide voorverwerking (zoals piekextractie of toewijzing van multipliciteiten) om spectra om te zetten in symbolische invoer, wat niet altijd haalbaar is met ruwe experimentele data.
3. Sterke aannames: Methoden gaan vaak uit van bekende moleculaire scaffolds of chemische formules, wat zeldzaam is in realistische experimentele scenario's.
4. Beperkte complexiteit: Bestaande benchmarks zijn vaak beperkt tot kleine moleculen met weinig zware atomen (<20) en een beperkt aantal elementen.

Het doel van dit werk is om een robuust generatief model te ontwikkelen dat direct ruwe, multi-modale spectroscopische data (IR, ¹H-NMR, ¹³C-NMR) omzet in moleculaire structuren (SMILES), zonder voorafgaande kennis van de structuur of uitgebreide voorverwerking.

Methodologie: NMIRacle Framework

NMIRacle is een tweestaps generatief raamwerk dat de kloof overbrugt tussen fragment-niveau chemische modellering en spectroscopisch bewijs. Het model werkt direct op de ruwe intensiteitsarrays van de instrumenten.

1. Data Pre-processing

• IR en ¹H-NMR: Deze worden genormaliseerd naar het bereik [0, 1] en direct als continue intensiteitsprofielen gebruikt.
• ¹³C-NMR: Omdat intensiteiten hier onbetrouwbaar zijn voor atoomtellingen, worden alleen de chemische verschuivingen (peaks) gebruikt. De pieken worden gedetecteerd, gemapt naar het bereik 0–220 ppm, en gediskretiseerd in 80 bins (ongeveer 2,75 ppm per bin) tot een binaire vector.

2. Tweestaps Modellering

Het framework bestaat uit twee fasen:

• Fase 1: Fragment-naar-Molecuul Pre-training

  • In plaats van binaire indicatoren (aanwezig/afwezig), gebruikt NMIRacle aantalsbewuste fragmentrepresentaties (count-aware). Een molecuul wordt voorgesteld als een vector $c$ waarin elke component het aantal voorkomens van een specifiek fragment (uit een vocabulaire van 991 SMARTS-patronen) aangeeft.
  • Een generator $p_\phi(y | c)$ wordt getraind om een SMILES-sequentie $y$ te reconstrueren op basis van deze fragmenttelling $c$.
  • Dit zorgt voor een sterke moleculaire prior die structurele regulariteiten (zoals ringpatronen of ketenverlengingen) effectief leert.

• Fase 2: Spectrum-naar-Molecuul Fine-tuning

  • Een multi-spectra encoder $q_\psi$ wordt getraind om ruwe spectra ($S$) af te beelden op een continue latent embedding $z_\psi(S)$.
  • Deze encoder gebruikt modality-specifieke Transformers (met convoluties voor IR/NMR en lookup-embeddings voor 13C-NMR) en een inter-modale Transformer om de verschillende spectra te fuseren.
  • De vooraf getrainde generator uit Fase 1 wordt gefine-tuned om direct te conditioneren op de spectrale embedding $z_\psi(S)$ in plaats van de fragmenttelling $c$.
  • Multi-task learning: Tijdens het fine-tunen wordt de encoder ook getraind om de fragmenttellingen $c$ direct uit het spectrum te voorspellen. Dit helpt de latent ruimte om chemisch zinvolle fragmentinformatie te coderen.

Belangrijkste Bijdragen

1. NMIRacle Framework: Een generatief model dat direct werkt op ruwe combinaties van IR, ¹H-NMR en ¹³C-NMR spectra zonder domeinspecifieke voorverwerking.
2. Aantalsbewuste Fragmentrepresentatie: In plaats van binaire fragmentindicatoren, introduceert het model tellingen van fragmentvoorkomens. Dit biedt een nauwkeurigere chemische representatie die de reconstructieprestaties significant verbetert.
3. Multi-spectrale Encoder: Een architectuur die intra- en inter-spectrale attention-mechanismen gebruikt om complementaire informatie uit verschillende spectroscopische modaliteiten te fuseren.
4. Robuustheid op Complexe Moleculen: Het model is getraind en geëvalueerd op moleculen met tot 35 zware atomen en diverse elementen (C, N, O, F, S, Cl, Br, I, P), wat een grote stap is ten opzichte van eerdere benchmarks.

Resultaten

De prestaties zijn geëvalueerd op een multimodaal dataset met ~790.000 moleculen (Alberts et al., 2024), waarbij de testset volledig onafhankelijk is van de trainingsdata.

• Vergelijking met Baselines: NMIRacle overtreft bestaande methoden zoals NMR2Struct, Spec2Mol en directe Transformer-baselines (SMILES/SELFIES) op alle belangrijke metrieken.
  • Bij gebruik van alle drie de spectra (IR + ¹H-NMR + ¹³C-NMR) bereikt NMIRacle een Top-1 nauwkeurigheid van 48% en een Top-15 nauwkeurigheid van 66%.
  • Ter vergelijking: NMR2Struct haalt 41% (Top-1) en 58% (Top-15).
• Complexiteit: NMIRacle behoudt zijn superioriteit zelfs bij moleculen met hoge complexiteit (gemeten aan het aantal zware atomen, unieke elementen en ringen), terwijl de prestaties van baselines sterk dalen naarmate de structuur complexer wordt.
• Validiteit: Het model genereert bijna uitsluitend chemisch geldige moleculen (validiteit ~100%).
• Foutanalyse: De belangrijkste foutbron is het verkeerd voorspellen van fragmentcomposities, wat wijst op de inherent ambiguïteit van spectra-naar-structuur mapping, maar het model presteert toch aanzienlijk beter dan concurrenten.

Betekenis en Impact

NMIRacle vertegenwoordigt een aanzienlijke stap voorwaarts in AI-gedreven spectroscopie:

• Realisme: Door te werken met ruwe data en minimale aannames, is het model beter voorbereid op echte laboratoriumomstandigheden dan methoden die afhankelijk zijn van gezuiverde pieklijsten.
• Generativiteit: In tegenstelling tot retrieval-systemen die alleen bestaande moleculen kunnen vinden, kan NMIRacle volledig nieuwe moleculen genereren die niet in trainingsbibliotheken staan.
• Toepassingsgebied: De methode heeft grote potentie voor drug discovery, metabolomics en materiaalkunde, waar het snel en accuraat identificeren van onbekende verbindingen cruciaal is.
• Open Source: De code is beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.

Kortom, NMIRacle bewijst dat het mogelijk is om complexe moleculaire structuren direct en nauwkeurig af te leiden uit ruwe, multi-modale spectroscopische data, door slimme architecturale keuzes (tweestaps training, aantalsbewuste fragmenten) te combineren met grote datasets.