MultiPUFFIN: A Multimodal Domain-Constrained Foundation Model for Molecular Property Prediction of Small Molecules

MultiPUFFIN is een multimodaal, domein-geconstrueerd fundamenteel model dat thermodynamisch consistente voorspellingen van negen fysisch-chemische eigenschappen voor kleine moleculen mogelijk maakt met aanzienlijk minder trainingsdata dan bestaande modellen, door het combineren van diverse moleculaire representaties met inductieve bias via gevestigde thermodynamische vergelijkingen.

De kern

Stel je voor dat chemici en ingenieurs een enorme bibliotheek hebben vol met kleine moleculaire bouwstenen. Ze willen voor elk van deze bouwstenen weten: hoe heet wordt het als het kookt? Hoe stroperig is het als het vloeibaar is? Hoe goed lost het op in water?

Vroeger moesten ze dit allemaal in het lab uittesten, wat duur, duur en tijdrovend is. Vervolgens kwamen er slimme computers (kunstmatige intelligentie) die dit konden voorspellen door naar de vorm van de moleculen te kijken. Maar deze computers hadden twee grote problemen:

1. Ze waren vaak "dom" als het op de natuurkunde aankwam: ze voorspelden soms dat een vloeistof dikker wordt als je hem verwarmt (wat onmogelijk is), omdat ze de regels van de thermodynamica niet kenden.
2. Ze waren vaak "eenzijdig": ze keken alleen naar de naam van het molecuul (een tekstreeks) of alleen naar een platte tekening, maar niet naar de echte 3D-vorm.

MultiPUFFIN is de nieuwe superheld in deze bibliotheek. Het is een slim computerprogramma dat deze twee problemen tegelijk oplost. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Drie Brillen (Multimodaal Leren)

Stel je voor dat je een vreemd object moet beschrijven. Als je er alleen naar kijkt, zie je de vorm. Als je alleen de naam leest, hoor je de klank. Als je het vastpakt, voel je de textuur.
MultiPUFFin doet drie dingen tegelijk door drie verschillende "brillen" op te zetten:

• De Tekstbril: Het leest de chemische naam (SMILES) als een zin in een boek.
• De Platte Tekeningbril: Het kijkt naar de 2D-structuur, alsof het een platte tekening van een huis is (waar zitten de muren en deuren?).
• De 3D-Bril: Het bouwt een virtueel 3D-model, zodat het ziet hoe het molecuul er echt uitziet in de ruimte (is het rond? is het langwerpig?).

Door al deze informatie samen te voegen, krijgt het programma een veel completer beeld dan welke andere computer tot nu toe had.

2. De Slimme Regels (Inductieve Bias)

Dit is het meest creatieve deel. Stel je voor dat je een wiskundig probleem oplost. Je kunt proberen om het antwoord te raden door te gokken (zoals een standaard computerprogramma doet). Of je kunt de wiskundige formule gebruiken die al bekend is.

MultiPUFFin gebruikt de bekende formules als een soort "stevige ruggengraat".

• Als het de kooktemperatuur moet voorspellen, gebruikt het een formule die al eeuwen bestaat (de Wagner-vergelijking).
• Als het de stroperigheid (viscositeit) moet voorspellen, gebruikt het een andere, bekende formule (de Andrade-vergelijking).

Het programma leert niet wat de formule is, maar leert welke getallen (de variabelen) in die formule passen voor dat specifieke molecuul.
Het resultaat? Het programma kan nooit een onmogelijke voorspelling doen. Het kan niet zeggen: "Als je dit water verwarmt, wordt het dikker." De formule zorgt ervoor dat het antwoord altijd logisch en natuurkundig correct is, zelfs als het computerprogramma nog nooit dat specifieke water heeft gezien.

3. De Eén Meesterkok (Multi-task Learning)

Vroeger moest je voor elke eigenschap (koken, vloeien, oplossen) een apart computerprogramma trainen. Dat is alsof je voor elke taak in je huis een nieuwe kok moet inhuren.
MultiPUFFin is één meesterkok die alles kan. Hij traint tegelijkertijd op negen verschillende eigenschappen.

• Het voordeel: Omdat hij veel verschillende dingen tegelijk leert, wordt hij slimmer in het begrijpen van de basisprincipes van moleculen. Hij helpt zelfs de moeilijke taken (zoals het voorspellen van stroperigheid, waar weinig data is) door kennis over te dragen van de makkelijke taken (waar veel data is).

4. Waarom is dit zo belangrijk? (De Vergelijking)

De auteurs van het paper hebben MultiPUFFin vergeleken met een gigantische, beroemde AI (ChemBERTa-2) die is getraind op 77 miljoen moleculen. MultiPUFFin is getraind op slechts 38.000 moleculen (ongeveer 2000 keer minder!).

Toch wint MultiPUFFin op bijna alle fronten. Waarom?

• De grote AI is als een student die alles uit het hoofd heeft geleerd, maar de regels van de natuurkunde niet begrijpt. Als je hem vraagt wat er gebeurt bij extreme temperaturen, raakt hij in de war.
• MultiPUFFin is als een ervaren ingenieur die minder boeken heeft gelezen, maar wel de fundamentele wetten van de natuurkunde kent. Hij kan dus veel beter voorspellen wat er gebeurt als je de temperatuur verandert.

Samenvatting in één zin

MultiPUFFin is een slim computerprogramma dat moleculen bekijkt via drie verschillende perspectieven (tekst, platte tekening, 3D) en daarbij gebruikmaakt van de vaste wetten van de natuurkunde om voorspellingen te doen die niet alleen nauwkeurig zijn, maar ook logisch en veilig voor ingenieurs en chemici.

Het bewijst dat je niet altijd de grootste en duurste computer nodig hebt; als je de juiste regels (de natuurkunde) in je systeem stopt, kun je met veel minder data betere resultaten bereiken.

Technische samenvatting

Probleemstelling

De accurate voorspelling van fysisch-chemische eigenschappen van kleine moleculen is fundamenteel voor chemische engineering, geneesmiddelenontwikkeling en materialenwetenschap. Bestaande aanpakken kampen met twee belangrijke beperkingen:

1. Gebrek aan thermodynamische consistentie: Grote "foundation models" (zoals ChemBERTa of Uni-Mol) presteren goed door grootschalige pre-training, maar hun outputs zijn vaak niet thermodynamisch consistent. Ze kunnen bijvoorbeeld voorspellen dat de viscositeit van een vloeistof toeneemt bij stijgende temperatuur, wat fysisch onmogelijk is.
2. Beperking tot single-property en single-modality: Bestaande domein-gestuurde methoden (zoals PUFFIN en ExPUFFIN) zijn beperkt tot het voorspellen van één eigenschap per model en gebruiken vaak slechts één representatie (bijv. alleen grafen of alleen SMILES). Ze missen de mogelijkheid om meerdere eigenschappen simultaan te voorspellen en kunnen geen gebruik maken van complementaire informatie uit verschillende data-modaliteiten.

Methodologie: MultiPUFFIN

MultiPUFFIN (Multimodal Path-Unifying Foundation Fusion Interfaced Network) is een nieuw foundation model dat deze beperkingen oplost door een multimodale architectuur te combineren met domein-gestuurde inductieve bias.

1. Multimodale Encoder Architectuur

Het model verwerkt drie fundamenteel verschillende structurele representaties van een molecuul, aangevuld met twee auxiliaire encoders:

• GCN Encoder (2D Graf): Verwerkt de moleculaire graaf (atomen als knopen, bindingen als randen) via message-passing om lokale chemische omgevingen en topologie te vangen.
• Transformer Encoder (1D SMILES): Verwerkt de SMILES-sequentie om lange-afstand syntactische afhankelijkheden en chemische grammatica te leren.
• SchNet Encoder (3D Conformer): Verwerkt de driedimensionale geometrie (Cartesiaanse coördinaten) om ruimtelijke effecten, steric hindrance en intermoleculaire afstanden te vangen.
• Auxiliaire Encoders: Verwerken experimentele condities (temperatuur, druk) en vooraf berekende moleculaire beschrijvers (zoals molecuulgewicht, polair oppervlak).

Deze modaliteiten worden gefuseerd via een hiërarchische cross-modal attention en een gated fusion mechanisme. Een geleerde "geometry gate" bepaalt dynamisch hoeveel gewicht aan de 3D-informatie wordt gegeven, wat zorgt voor een elegante degradatie als 3D-data ontbreekt.

2. Domein-Gestuurde Inductieve Bias Neurons

In plaats van standaard lineaire outputlagen gebruikt MultiPUFFIN domein-gestuurde inductieve bias neurons. De voorspellingskoppen (prediction heads) zijn niet vrij, maar coderen gevestigde thermofysische vergelijkingen als activatiefuncties. De network voorspelt de parameters van deze vergelijkingen, die vervolgens worden geëvalueerd onder de specifieke thermodynamische condities.
Voorbeelden van gebruikte vergelijkingen:

• Dampdruk: Wagner-vergelijking (of Antoine).
• Viscositeit: Andrade-vergelijking.
• Oplosbaarheid: van 't Hoff-vergelijking.
• Kookpunt: Groepsbijdragemethoden.
• Hydratatie-energie: Born-solvatiemodel.
• Warmtecapaciteit: Shomate-polynoom.

Dit garandeert thermodynamische consistentie per constructie: de voorspellingen zullen per definitie voldoen aan de fysische wetten (bijv. monotoon dalende viscositeit bij stijgende temperatuur).

3. Training Strategie

• Dataset: Samengesteld uit 9 openbare databases, resulterend in 37.968 unieke moleculen (40.904 data-rijen) met metingen voor 9 eigenschappen.
• Splitting: Een hybride strategie die scaffold-based splitsing gebruikt voor veelvoorkomende eigenschappen (om generalisatie naar nieuwe structuren te testen) en coverage-balanced splitsing voor zeldzame eigenschappen.
• Twee-staps training:
  1. Gemeenschappelijke training: Joint multi-task learning met onzekerheid-gewogen verlies en cosine warm-restart scheduling om lokale minima te ontvluchten.
  2. Fine-tuning: De backbone wordt bevroren en alleen de voorspellingskoppen worden gefine-tuned voor precieze kalibratie.
• Data Augmentatie: SMILES-enumeratie verdrievoudigt de effectieve trainingsgrootte.

Belangrijkste Bijdragen

1. Eerste multimodale foundation model voor thermofysische eigenschappen: Combineert succesvol 2D-grafen, 1D-sequenties en 3D-geometrie in één architectuur.
2. Generalisatie van inductieve bias: Breidt het PUFFIN-paradigma uit van single-task naar multi-task (9 eigenschappen tegelijk), waarbij thermodynamische consistentie wordt gegarandeerd.
3. Efficiëntie: Het model bereikt concurrerende prestaties met slechts 38.000 trainingsmoleculen, terwijl het een model is dat 2000x minder data gebruikt dan ChemBERTa-2 (77 miljoen moleculen).
4. Robuustheid: Het model kan omgaan met ontbrekende modaliteiten (bijv. geen 3D-data) en ontbrekende labels zonder de architectuur aan te passen.

Resultaten

• Algemene prestatie: MultiPUFFIN bereikte een gemiddelde $R^2$ van 0,716 over alle 9 eigenschappen op een uitdagende scaffold-split testset.
• Vergelijking met ChemBERTa-2:
  • MultiPUFFIN overtreft de fine-tuned ChemBERTa-2 op alle 9 eigenschappen, ondanks dat ChemBERTa-2 op 77 miljoen moleculen is voorge-traind.
  • Voor temperatuur-afhankelijke eigenschappen (dampdruk, viscositeit, warmtecapaciteit) is het verschil dramatisch: ChemBERTa-2 faalt omdat het alleen SMILES ziet en geen temperatuur kan onderscheiden, terwijl MultiPUFFIN dit via de domein-vergelijkingen expliciet modelleert.
• Ablatiestudies:
  • Het verwijderen van de 3D-encoder (SchNet) leidt tot een grote prestatiedaling voor geometrie-gevoelige eigenschappen zoals hydratatie-energie ($\Delta RMSE \approx +0,90$ kcal/mol).
  • Het verkeerd toewijzen van vergelijkingen (bijv. Andrade voor dampdruk) leidt tot een catastrofale daling in prestatie, wat aantoont dat de specifieke match tussen vergelijking en eigenschap cruciaal is.
  • Voor sommige eigenschappen (zoals log P) presteert een simpele directe voorspelling (DirectHead) beter dan een complexe thermodynamische vergelijking, wat aantoont dat de keuze van de inductieve bias per eigenschap geoptimaliseerd moet worden.

Betekenis en Impact

MultiPUFFIN demonstreert dat domein-kennis (thermodynamische vergelijkingen) en multimodale encoding een krachtig alternatief vormen voor "brute-force" pre-training op enorme datasets.

• Efficiëntie: Het reduceert de data- en rekenvereisten aanzienlijk voor het bereiken van state-of-the-art prestaties.
• Betrouwbaarheid: Door thermodynamische consistentie in de architectuur in te bouwen, zijn de voorspellingen betrouwbaar voor engineering-toepassingen (zoals processimulatie) waar extrapolatie over temperatuur en druk essentieel is.
• Toekomstperspectief: De studie suggereert dat de toekomst van moleculaire foundation modellen niet alleen ligt in het vergroten van de dataset, maar in het slim integreren van fysica en diverse data-modaliteiten in de modelarchitectuur.