SC3: The Multi-Solvent Solubility Challenge and Benchmark

Dit artikel introduceert SC3, een rigoureus gecureerde benchmark voor oplosbaarheid in meerdere oplosmiddelen met een hergekalibreerde aleatorische limiet en geavanceerde evaluatiemetrieken, die onthult dat de huidige state-of-the-art modellen aanzienlijk minder betrouwbaar blijven dan voorheen aangenomen en die de cruciale rol van gekalibreerde onzekerheid voor toekomstige verbeteringen benadrukt.

De kern

De Grote Context: Het "Raad de Oplosbaarheid"-spel

Stel je voor dat je een chef bent die probeert uit te vogelen hoeveel suiker (de solute) er oplost in een kop water, een kop olie of een kop hete koffie (de solventen). In de chemie wordt dit oplosbaarheid genoemd. Het is cruciaal voor het maken van medicijnen, maar het meten ervan in een laboratorium is traag, duur en tijdrovend—alsof je probeert te timen hoe lang het duurt voordat een specif kind zandkorrel oplost in een specifiek type soep.

Wetenschappers proberen computerprogramma's (AI-modellen) te bouwen om dit direct te voorspellen. Het artikel stelt dat hoewel deze programma's er op papier goed uitzien, ze nog niet klaar zijn voor de echte wereld. Waarom? Omdat de "scoreborden" die we gebruiken om ze te beoordelen, kapot zijn.

Het Probleem: Kapotte Scoreborden

De auteurs zeggen dat het vakgebied drie hoofdzaken heeft, zoals een sportcompetitie met slechte regels:

1. Inconsistente Regels: Verschillende studies reinigen hun gegevens op verschillende manieren. De ene studie telt misschien "suiker" en "suikerklontjes" als hetzelfde, terwijl een andere ze als verschillend telt. Dit maakt het vergelijken van resultaten onmogelijk.
2. De "Populariteitsstem"-bias: De meeste tests meten de fout door te kijken naar de meest voorkomende solventen (zoals water of ethanol). Het is alsof je een leerling beoordeelt op hoe goed hij wiskundeproblemen over appels kan oplossen, terwijl je negeert dat hij volledig faalt wanneer hem iets over sinaasappels wordt gevraagd. De modellen onthouden de "appels", maar falen op de "sinaasappels" (de zeldzame, belangrijke solventen).
3. De Verkeerde Doelpaal: Wetenschappers dachten vroeger dat het beste wat een computer ooit kon bereiken een foutmarge was van (0,6–0,8 log S), omdat ze dachten dat laboratoriummetingen die onrustig waren. De auteurs bewijzen dat dit onjuist was. Ze ontdekten dat als je naar de gemiddelde onenigheid tussen laboratoria kijkt, deze eigenlijk veel kleiner is (0,106). De oude doelpaal was te ruim, waardoor slechte modellen als "goed" werden beschouwd.

De Oplossing: Introductie van SC3

Het team bouwde een nieuwe, eerlijkere speeltuin genaamd SC3. Zie dit als een nieuwe, ultra-strenge scheidsrechter voor het spel van de oplosbaarheid.

• De Data: Ze hebben een enorme database (BIGSOLDB) opgeschoond zoals een bibliothecaris een rommelige bibliotheek organiseert. Ze hebben duplicaten verwijderd, typefouten gecorrigeerd en ervoor gezorgd dat elk "suiker" en "soep"-paar uniek en accuraat is. Ze kwamen uit op meer dan 100.000 hoogwaardige metingen.
• De Nieuwe Doelpaal: Ze hebben de "ruisvloer" opnieuw berekend. Ze bewezen dat de natuurlijke onenigheid tussen laboratoria in werkelijkheid 6 keer kleiner is dan iedereen dacht. Dit betekent dat er veel ruimte is voor verbetering; we raken niet tegen een muur aan, we hebben alleen nog niet het juiste pad gevonden.
• Het Goud/Zilver/Brons Systeem: Ze creëerden drie moeilijkheidsgraden:
  • Goud: De schoonste data, waarbij laboratoria perfect overeenstemmen.
  • Zilver: Goede data, maar met een beetje ruis.
  • Brons: De breedste data, inclusief rommeliger metingen.
    Dit laat hen testen of een model simpelweg gokt of daadwerkelijk chemie leert.

De Resultaten: De "Oude School" wint (voor nu)

Ze testten 31 verschillende AI-modellen op deze nieuwe benchmark, variërend van eenvoudige wiskundige formules tot complexe "Deep Learning" neurale netwerken (de fancy AI waar iedereen zo enthousiast over is).

Het Schokkende Resultaat:
De meest geavanceerde, complexe AI-modellen (de "Deep Learning"-modellen) wonnen niet. Sterker nog, ze presteerden vaak slechter dan de simpelere, oudere modellen.

• De Winnaar: Een model dat RDKit-descriptors gebruikt (een standaard manier om moleculen te beschrijven) gecombineerd met een Gradient Boosted Tree (een krachtige maar eenvoudige statistische methode) was de kampioen.
• De Kloof: Het beste AI-model was nog steeds ongeveer 5 keer slechter dan de theoretische limiet van wat mogelijk is (de ruisvloer).
• De Les: Het is niet dat de modellen meer data nodig hebben. Het is dat de manier waarop ze moleculen "zien" (hun representatie) gebrekkig is. Het is alsof je een leerling een tekstboek geeft dat geschreven is in een taal die hij niet spreekt; hoe hard hij ook studeert, hij kan de test niet halen totdat we hem de taal leren.

Waarom faalde de Fancy AI?

De auteurs keken onder de motorkap om te zien wat de modellen daadwerkelijk leerden:

1. De "Fingerprint" Valstrik: Sommige modellen gebruiken "fingerprints" (digitale barcodes van moleculen). Deze zijn goed in het zien of twee moleculen op elkaar lijken, maar ze zijn slecht in het begrijpen van chemie. Bijvoorbeeld: een fingerprint kan denken dat een lange keten van koolstofatomen in een zeepmolecuul lijkt op een lange keten in een brandstofmolecuul, terwijl ze in water heel anders reageren.
2. Het "Descriptor" Voordeel: De winnende modellen gebruikten "descriptors" (specifieke chemische getallen zoals polariteit of grootte). Deze modellen leerden de eigenlijke regels van de chemie (zoals de General Solubility Equation) uit zichzelf, zonder dat de regels werden verteld. Ze begrepen dat "polariteit" belangrijker is dan alleen de vorm van het molecuul.
3. Het "Black Box" Probleem: De fancy AI-modellen (Graph Neural Networks) leerden wel wat chemie, maar raakten ook in de war door het enorme aantal variabelen. Ze konden minder goed generaliseren dan de simpelere, meer gefocuste modellen.

De "Magische Truc": Transfer Learning

De auteurs probeerden één laatste truc om de modellen te helpen. Ze namen een model en "pre-trainden" het op een enorme dataset van theoretische kwantumchemische berekeningen (simulaties van hoe moleculen interageren, die perfect en ruisvrij zijn) voordat ze het lieten leren van de echte, rommelige laboratoriumdata.

• Het Resultaat: Het hielp! Het model leerde sneller en presteerde beter, vooral op de zeldzame solventen die het nog nooit had gezien.
• De Kanttekening: Zelfs met deze "magische truc" kon het model de kloof naar de perfecte score niet dichten. Het bewees dat hoewel we het model meer chemie kunnen leren, de fundamentele manier waarop het de moleculen representeert nog steeds de flessenhals is.

Samenvatting

Het artikel concludeert dat het vakgebied van de voorspelling van oplosbaarheid niet een plafond heeft bereikt waarbij "we niet meer beter kunnen worden". In plaats daarvan hebben we een representatie-plateau bereikt.

Stel je voor dat je probeert een meesterwerk te schilderen, maar dat je een penseel gebruikt dat te dik is om fijne details aan te brengen. Hoeveel verf (data) je ook toevoegt, het schilderij zal nooit perfect zijn. We hebben een nieuw penseel nodig (een betere manier om moleculen te representeren) voordat de computer de kunst van het voorspellen van oplosbaarheid echt onder de knie kan krijgen.

Belangrijkste les: Het beste huidige instrument is een simpel, goed afgestemd statistisch model, niet de meest complexe AI. Om beter te worden, moeten we de manier waarop we moleculen aan de computer beschrijven verbeteren, en niet alleen meer data invoeren.

Technische samenvatting

Technische Samenvatting: SC3 – De Multi-Solvent Oplosbaarheidscrisis en Benchmark

1. Probleemstelling

Voorspelling van oplosbaarheid is een fundamentele uitdaging in de computationele chemie met kritieke implicaties voor medicijnontwikkeling, syntheseplanning en kristallisatie. Ondanks de beschikbaarheid van grootschalige datasets (bijv. AQSOLDB, BIGSOLDB) en recente rapporten over modellen die de experimentele ruisniveaus benaderen, blijft betrouwbare inzetbaarheid uit. De auteurs stellen dat deze kloof voortkomt uit drie systemische problemen in het vakgebied:

1. Inconsistente Curatie: Gepubliceerde benchmarks passen variërende eenheidsconventies, regels voor het afhandelen van duplicaten en stereochemische beleid toe, waardoor resultaten niet overdraagbaar zijn tussen studies.
2. Evaluatie op één as: Standaard geaggregeerde metrieken zoals de Root Mean Squared Error (RMSE) worden gedomineerd door veelvoorkomende oplosmiddelen, waardoor falen op de 'long-tail' oplosmiddelen, die cruciaal zijn voor nieuwe formuleringen, wordt gemaskeerd.
3. Misgekalibreerde Aleatorische Vloer: De breed geciteerde inter-laboratorium discrepantie van 0,6–0,8 log S wordt behandeld als de onherleidbare ruisplafond. De auteurs stellen dat dit cijfer reflecties zijn van worst-case scenario's (P90–P95) in plaats van de verwachte meetruis, wat effectief een orde van grootte aan meetbaar signaal weggeeft.

2. Methodologie

2.1 Datacuratie (SC3 Dataset)

De auteurs hebben SC3 geconstrueerd, een multi-solvent oplosbaarheidsbenchmark afgeleid van BIGSOLDB v2.1. De curatiepipeline omvatte:

• Raw Audit: Reconstructie van ontbrekende log S-waarden met behulp van oplosmiddeldichtheid en molfractie; canonicalisering van SMILES-strings met behoud van chiraliteit en E/Z-geometrie.
• Bronintegriteitsanalyse: Een tweefasig detectieproces voor duplicaten (bit-exact en geïnterpoleerde curve-fitting) om "copycat" metingen van verschillende DOI's samen te voegen en onbetrouwbare bronnen te identificeren.
• Cleaning Waterfall: Verwijdering van slechte DOI's, ongeldige/polymeren oplosmiddelen, zouten/mengsels en extreme waarden.
• Definitieve Omvang: 101.535 metingen die 1.327 stoffen, 206 oplosmiddelen en 1.493 DOI's beslaan over temperaturen van 243–426 K.

2.2 Herkalibratie van de Aleatorische Limiet

Met behulp van 481 multi-bron (stof, oplosmiddel) paren met onafhankelijke metingen, schatten de auteurs de aleatorische limiet ($\epsilon_{aleatoric}$) door de Mean Absolute Error (MAE) tussen gefitte thermodynamische curves (Apelblat/van't Hoff) over onafhankelijke groepen te middelen.

• Resultaat: De verwachte inter-lab discrepantie is 0,106 log S, ongeveer 6× strakker dan de conventionele 0,6–0,8 log S.
• Heterogeniteit: Deze limiet varieert per oplosmiddel (bijv. DMF: 0,029 log S; Water: 0,110 log S), wat motiveert om oplosmiddel-specifieke evaluatiemetrieken te gebruiken.

2.3 Benchmark Design

SC3 introduceert een gestandaardiseerd protocol met drie verschillende generalisatie-assen:

1. Eval (In-Distribution): Nieuwe (stof, oplosmiddel) paren binnen de top 25 meest voorkomende oplosmiddelen.
2. OOD (Out-of-Distribution): 161 long-tail oplosmiddelen die niet tijdens de training zijn gezien.
3. Tiered Consensus (Gold/Silver/Bronze): Nieuwe stoffen geëvalueerd tegen consensus labels met gekalibreerde per-punt onzekerheid ($\sigma$).
   • Gold: $\le 0,1$ log S discrepantie.
   • Silver: $\le 0,2$ log S.
   • Bronze: $\le 0,5$ log S.

2.4 Metrieken Suite

Om de tel-bias en oplosmiddel-heterogeniteit aan te pakken, stellen de auteurs een suite van vijf metrieken voor:

• PS-RMSE (Per-Solvent RMSE): De hoofdmeting, waarbij de RMSE over oplosmiddelen wordt gemiddeld om bijdragen gelijk te trekken en locatieverschuivingen te annuleren.
• Z-RMSE: Normaliseert de voorspellingsfout door gekalibreerde onzekerheid ($\sigma$), waarbij de prestaties ten opzichte van de ruislimiet worden gemeten.
• Standaard Metrieken: RMSE, MAE en MedAE worden behouden maar op hun beperkingen in deze context worden gewezen.

2.5 Model Evaluatie

Een uitgebreide benchmark van 31 modellen over zes families werd uitgevoerd:

• Thermodynamisch/Analytisch (UNIFAC, Abraham LFER, ESOL, GSE).
• Descriptor-gebaseerde Trees (LightGBM, CatBoost, XGBoost, Random Forest).
• Fingerprint-gebaseerde Trees.
• Deep Descriptor Modellen (FastProp, FastSolv, MLP).
• Graph Neural Networks (GCN, GAT, GIN, Chemprop, Solvaformer, etc.).
• Foundation Modellen (Uni-Mol2, SolTranNet, ChemFM).

3. Belangrijkste Resultaten

3.1 Prestatiebenchmarks

• Beste Presteerder: LightGBM met RDKit descriptors behaalde de beste Bronze PS-RMSE van 0,561, wat ongeveer 5× de aleatorische vloer is ($\approx 5 \times 0,106$).
• Deep Learning Gap: Geen enkel deep learning of foundation model sloot de kloof naar de tree-gebaseerde baseline. Deep descriptor modellen kwamen op in-distribution data overeen met trees, maar bleven achter op OOD en Tiered splits.
• Representatie is Cruciaal: Descriptor-gebaseerde modellen presteerden significant beter dan fingerprint-gebaseerde modellen (bijv. CatBoost-RDKit vs. CatBoost-Morgan), wat suggereert dat fingerprints er niet in slagen chemisch onderscheidende oplosmiddelklassen (bijv. water versus langketenige alcoholen) te onderscheiden.
• Foundation Modellen: Ondanks enorme parameteraantallen, overtroffen foundation modellen (bijv. ChemFM, Uni-Mol2) de getunede tree-ensembles niet.

3.2 Data Scaling Analyse

Power-law scaling curves ($RMSE = aN^{-b} + c$) werden gefit aan de modelprestaties als functie van de trainingsdatagrootte.

• Bevinding: De asymptoten ($c$) voor alle modellen liggen aanzienlijk boven de aleatorische vloer.
• Implicatie: De foutkloof is geen data-volume probleem; het is een representatie-bottleneck. Zelfs met oneindige data kunnen huidige architecturen de ruislimiet niet bereiken.

3.3 Transfer Learning

Pretraining op COMBISOLV-QM (~10$^6$ kwantumchemische oplosbaarheidsenergieën) werd getest.

• Resultaat: Pretraining leverde systematische winst op, vooral in data-arme regimes (5% fine-tuning data) en op OOD oplosmiddelen.
• Efficiëntie: Pretrained modellen kwamen overeen met scratch baselines met 25–100% meer data, wat een 5–20× verbetering in data-efficiëntie demonstreerde.
• Beperking: Hoewel nuttig, overbrugde pretraining de kloof naar de tree-gebaseerde baseline niet, wat de architecturale bottleneck bevestigt.

3.4 Interpreteerbaarheid

• Tree Modellen: SHAP-analyse toonde aan dat LightGBM onafhankelijk de assen van de General Solubility Equation (TPSA, BertzCT, MolLogP) en Abraham LSER-termen herontdekte zonder expliciete chemische priors.
• GCN: Occlusie-analyse toonde aan dat het model via message passing een chemisch betekenisvolle substructuur-ontologie leerde (bijv. BRICS-fragmenten zoals carbonzuuren en piperazines).
• Oplosmiddel Clustering: Descriptor-gebaseerde modellen clusterden oplosmiddelen correct in chemisch betekenisvolle families (water, alkanen, aprotisch, protisch), terwijl fingerprint-modellen ze groepeerden op basis van structurele gelijkenis (bijv. n-hexaan met langketenige alcoholen), wat hun zwakkere generalisatie verklaart.

4. Betekenis en Claims

Het artikel claimt de staat van de oplosbaarheidsvoorspelling te herformuleren:

1. Het Plafond is Hoger: Het vakgebied is niet nabij het experimentele ruisplafond; het ware plafond is ~0,1 log S, wat aanzienlijke ruimte laat voor verbetering.
2. Representatie Bottleneck: Huidige modellen worden beperkt door hun moleculaire representaties, niet door datarijkdom. Het simpelweg opschalen van data of modelgrootte is onvoldoende.
3. Standaardisatie: SC3 biedt een reproduceerbare, lek-gecontroleerde en onzekerheid-gekalibreerde benchmark die de werkelijke generalisatiecapaciteiten van modellen blootlegt, met name op de long-tail oplosmiddelen.
4. Praktische Baseline: Getunede gradient-boosted trees met RDKit descriptors blijven de configuratie om te verslaan, waarbij ze complexe deep learning en foundation modellen overtreffen op multi-solvent generalisatietaken.

De auteurs concluderen dat toekomstige vooruitgang nieuwe moleculaire coderingen vereist die in staat zijn de specifieke solute-solvent interactiefysica te vangen die huidige representaties missen, in plaats van simpelweg meer data te verzamelen.