🤖 machine learning

BERTology of Molecular Property Prediction

Deze studie analyseert honderden gecontroleerde experimenten om de invloed van factoren zoals dataset- en modelgrootte op de prestaties van chemische taalmodellen voor moleculaire eigendomsvoorspelling systematisch te onderzoeken en zo tegenstrijdige bevindingen in de literatuur op te helderen.

Oorspronkelijke auteurs: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧪 De "BERTology" van Chemische Voorspellingen: Een Gids voor Leek

Stel je voor dat je een super-intelligente robot wilt bouwen die chemische stoffen begrijpt. Deze robot moet kunnen voorspellen of een nieuw medicijn werkt, of een stof giftig is, of hoe goed het in water oplost. Dit heet Moleculaire Eigendomsvoorspelling.

Vroeger deden wetenschappers dit met simpele rekenregels (klassieke machine learning). Maar nu proberen ze iets nieuws: ze gebruiken AI-modellen die zijn getraind op de "taal" van chemie. In de chemische wereld wordt de structuur van een molecuul vaak geschreven als een reeks tekens, net als een zin in een boek. Dit noemen ze SMILES.

De auteurs van dit paper hebben een groot experiment gedaan met een bekend AI-model genaamd BERT (oorspronkelijk bedacht voor menselijke taal, maar hier toegepast op chemie). Ze wilden weten: Waarom werken sommige modellen zo goed en andere zo slecht? En wat moet je doen om de beste robot te bouwen?

Hier zijn de belangrijkste ontdekkingen, vertaald in alledaagse termen:

1. Het Leerboek moet schoon zijn (Standaardisatie)

Stel je voor dat je een kind leert lezen, maar je geeft hem een boek waar de ene schrijver "auto" schrijft en de andere "wagentje", en soms zelfs met fouten in de spelling. Het kind raakt in de war.

In de chemie gebeurt dit ook. Verschillende databases (zoals PubChem en ChEMBL) gebruiken verschillende regels om moleculen op te schrijven.

De ontdekking: Als je een AI-model traint op een mengelmoes van deze verschillende schrijfwijzen (wat ze "standaardisatie-ruis" noemen), gaat het model falen. Het wordt verward door de inconsistenties.
De les: Je moet je "chemische taalboek" eerst grondig nakijken en uniform maken. Als je dit doet, presteert het model veel beter. Grotere modellen zijn iets minder gevoelig voor deze verwarring, maar ze worden er ook niet beter van als het boek rommelig is.

2. Hoe groter, hoe beter (Modelgrootte)

Stel je voor dat je twee studenten hebt:

Student A (Tiny-BERT): Heeft een klein breintje en onthoudt maar weinig regels.
Student B (Base-BERT): Heeft een groot breintje en kan complexe patronen zien.
De ontdekking: De grote student (Base-BERT) leert de taal van de chemie veel sneller en beter dan de kleine student. Hij maakt minder fouten en begrijpt de "grammatica" van moleculen diep.
De les: Als je de middelen hebt, kies dan voor het grootste model. Het is niet alleen slimmer, het is ook efficiënter: hij heeft minder voorbeelden nodig om iets te leren dan de kleine modellen.

3. Hoe meer oefenmateriaal, hoe beter (Datasetgrootte)

Stel je voor dat je een speler wilt trainen voor de Olympische Spelen.

Als je hem maar 5 wedstrijden laat spelen, leert hij niet veel.
Als je hem 100.000 wedstrijden laat spelen, wordt hij een wereldkampioen.
De ontdekking: De auteurs hebben getest met verschillende hoeveelheden data (van 2,5% tot 80% van een enorme database). Ze zagen dat hoe meer data het model kreeg om op te trainen, hoe beter het werd. Er is een punt waar het verbeteren iets vertraagt, maar over het algemeen geldt: meer data = betere voorspellingen.
De les: Laat je niet misleiden door eerdere studies die zeiden dat "meer data soms slechter werkt". Die studies hadden waarschijnlijk te maken met de "rommelige boeken" (zie punt 1). Als je data schoon is, werkt meer data altijd goed.

4. Het is niet de willekeur, maar de kwaliteit

Soms denken mensen dat het toeval (welke willekeurige getallen je gebruikt om het model te starten) de uitkomst bepaalt.

De ontdekking: Het maakt nauwelijks uit of je met "toeval" begint. Het maakt wel enorm veel uit of je een groot model gebruikt en of je veel goede data hebt.
De les: Focus niet op het "willekeurige geluk", maar op de fundamenten: grote modellen en schone data.

5. De eindtest: Werkt het in de praktijk?

Uiteindelijk hebben ze de getrainde robots laten testen op echte medische vragen (zoals: "Hoe snel wordt dit medicijn afgebroken in de lever?").

Het resultaat: De grote, goed getrainde AI-modellen (BERT) deden het net zo goed, en soms zelfs beter, dan de oude, bewezen methoden.
De nuance: Het trainen van deze AI kost wel veel tijd en geld (zoals het huren van supercomputers). Voor simpele taken zijn de oude methoden misschien nog wel goedkoper. Maar voor complexe taken is de AI een krachtig wapen.

🏁 Conclusie in één zin

Om de beste AI te bouwen die chemische eigenschappen voorspelt, moet je grote, schone datasets gebruiken en grote modellen trainen; probeer niet te knutselen met rommelige data of kleine modellen, want dat werkt niet.

Het is alsof je een meesterkok wilt maken: geef hem de beste ingrediënten (schone data) en een groot keuken (groot model), en hij zal het beste gerecht maken. Geef hem rotte ingrediënten en een kleine keuken, en het wordt een ramp.

Probleemstelling

Chemische taalmodellen (CLM's), zoals op BERT gebaseerde modellen, worden steeds vaker ingezet voor de voorspelling van moleculaire eigenschappen (MPP). Hoewel deze modellen veelbelovend zijn, rapporteren studies inconsistente en tegenstrijdige resultaten over hun prestaties op verschillende benchmarktaken. Er is geen rigoureus raamwerk dat de "scaling laws" (schaalwetten) van autoregressieve taalmodellen toepast op encoder-only modellen met een Masked Language Modeling (MLM) doelstelling. Bovendien lijken factoren zoals datasetgrootte, modelgrootte, standaardisatie van data en tokenisatie onvoldoende systematisch onderzocht te zijn, wat leidt tot verwarring over de optimale trainingsstrategieën voor chemische taalmodellen.

Methodologie

De auteurs hebben honderden zorgvuldig gecontroleerde experimenten uitgevoerd om de invloed van diverse factoren op het pre-training en fine-tuning van BERT-modellen voor MPP-taken te analyseren.

Datasets:
- Pre-training: Gebruik gemaakt van het PubChem-dataset (ongeveer 119 miljoen unieke verbindingen, gestandaardiseerd via PubChem-protocollen).
- Fine-tuning: Het Biogen ADME-dataset, bestaande uit zes in vitro eindpunten (zoals HLM-stabiliteit, plasma-eiwitbinding en oplosbaarheid).
Modelvariaties: Drie varianten van BERT zijn getraind: Tiny-BERT, Small-BERT en Base-BERT.
Experimentele Variabelen:
- Datasetgrootte: De pre-training dataset is opgedeeld in zes bins (van 2,5% tot 80% van de totale dataset) om het effect van schaal te testen.
- Standaardisatie-ruis: Er is geëxperimenteerd met het mengen van SMILES-strings die gestandaardiseerd zijn volgens PubChem-protocollen versus ChEMBL-protocollen om de impact van inconsistentie in dataformaten te meten.
- Tokenisatie: Vergelijking tussen WordPiece en Byte Pair Encoding (BPE).
- Randomness: Analyse van variatie door verschillende seeds voor initialisatie en datamonstername.
Benchmarks: De prestaties zijn gemeten op basis van pre-training metrics (verlies, nauwkeurigheid, pseudo-perplexiteit) en fine-tuning metrics (Pearson R, $R^2$ , MAE, RMSE) voor regressietaken. De resultaten zijn vergeleken met klassieke ML-modellen (LASSO, Random Forest, SVM, XGBoost, LightGBM).

Belangrijkste Bijdragen

Systematische Analyse van Schaalwetten: Het artikel biedt numeriek bewijs dat er een schaalwet bestaat voor encoder-only CLM's met MLM-doelstellingen: grotere modellen en grotere datasets leiden tot betere prestaties, in tegenstelling tot eerdere studies die soms het tegenovergestelde suggereerden.
Kritische Rol van Standaardisatie: De auteurs identificeren "standaardisatieruis" (het mengen van SMILES uit verschillende databases met verschillende protocollen) als een cruciale factor die prestaties ernstig kan degraderen. Ze tonen aan dat grotere modellen hier iets resistenter tegen zijn, maar dat consistente data-preprocessing essentieel blijft.
Validatie van Best Practices: Het werk bevestigt dat grotere pre-training datasets en grotere modelarchitecturen leiden tot superieure fine-tuning resultaten op downstream-taken, zelfs bij beperkte gelabelde datasets.
Open Science: Alle code, scripts, data-splits, en getrainde modellen zijn openbaar beschikbaar gesteld om reproduceerbaarheid te waarborgen.

Resultaten

Invloed van Dataset- en Modelgrootte: Er is een duidelijke positieve correlatie gevonden tussen de grootte van de pre-training dataset (tot 80% van PubChem) en de prestaties. Grotere modellen (Base-BERT) zijn "sample-efficienter" en bereiken betere resultaten met minder data dan kleinere modellen. Er werd een kritieke drempelwaarde waargenomen rond 10% van de dataset (ca. 12 miljoen samples), waar de verbeteringstempo's beginnen te verzadigen.
Impact van Standaardisatie: Het mengen van ChEMBL-gestandaardiseerde SMILES in een PubChem-dataset leidde tot een significante daling in prestaties (hogere loss, lagere nauwkeurigheid). In extreme gevallen (100% ChEMBL-ruis in de training) divergeerde het model. Grotere modellen (Base-BERT) bleken robuuster tegen deze ruis dan Tiny-BERT.
Tokenisatie: De keuze tussen WordPiece en BPE had een verwaarloosbaar effect op de prestaties vergeleken met model- en datasetgrootte. WordPiece werd gekozen om consistentie met het originele BERT.
Fine-tuning Prestaties: Op het Biogen ADME-dataset presteerde Base-BERT (getraind op 80% van PubChem) consistent beter dan of gelijk aan de beste klassieke ML-modellen voor alle zes ADME-eindpunten. Hoewel klassieke modellen sneller te trainen zijn, bieden CLM's een betere generalisatie bij complexe taken.
Randomness: Variatie door random seeds (initialisatie en datamonstername) had een minimale impact (<1%) op de prestaties vergeleken met de invloed van modelgrootte.

Significantie

Dit onderzoek is van groot belang voor de gemeenschap op het gebied van chemische informatica en AI-gedreven drugontdekking. Het lost de tegenstrijdigheden in de literatuur op door aan te tonen dat eerdere inconsistente resultaten waarschijnlijk het gevolg waren van gebrek aan controle over data-standaardisatie en onvoldoende datasetgrootte.

De studie onderstreept dat:

Data-kwaliteit en consistentie (standaardisatie) minstens zo belangrijk zijn als modelcomplexiteit.
Schaalwetten ook gelden voor chemische taalmodellen, wat investeringen in grotere pre-training datasets en modellen rechtvaardigt.
Chemische taalmodellen een economisch haalbare en superieure alternatief kunnen zijn voor klassieke methoden, mits ze correct worden getraind en gefinetuned.

De bevindingen bieden een blauwdruk voor toekomstig onderzoek en helpen onderzoekers om betere, reproduceerbare modellen te bouwen voor moleculaire eigenschapsvoorspelling.