SC3: The Multi-Solvent Solubility Challenge and Benchmark

Dieses Paper führt SC3 ein, einen streng kuratierten Benchmark für die Löslichkeit in Mehrfachlösemitteln mit einer rekalibrierten aleatorischen Grenze und fortschrittlichen Evaluationsmetriken, der aufzeigt, dass aktuelle State-of-the-Art-Modelle weitaus weniger zuverlässig sind als bisher angenommen, und die entscheidende Rolle kalibrierter Unsicherheit für zukünftige Verbesserungen hervorhebt.

Das Wesentliche

Das große Ganze: Das „Rate mal die Löslichkeit“-Spiel

Stellen Sie sich vor, Sie sind ein Koch und versuchen herauszufinden, wie viel Zucker (der Gelöste Stoff) sich in einer Tasse Wasser, einer Tasse Öl oder einer Tasse heißem Kaffee (die Lösungsmittel) auflöst. In der Chemie nennt man das Löslichkeit. Dies ist entscheidend für die Herstellung von Medikamenten, aber die Messung im Labor ist langsam, teuer und mühsam – so als würde man versuchen, die Zeit zu messen, die ein bestimmtes Sandkorn braucht, um in einer bestimmten Art von Suppe zu zergehen.

Wissenschaftler versuchen seit langem, Computerprogramme (KI-Modelle) zu entwickeln, die dies sofort vorhersagen können. Die vorliegende Arbeit argumentt, dass diese Programme zwar auf dem Papier gut aussehen, aber in der Realität noch nicht bereit für die echte Welt sind. Warum? Weil die „Bewertungsbögen“, mit denen wir sie benoten, fehlerhaft sind.

Das Problem: Fehlerhafte Bewertungsbögen

Die Autoren sagen, dass das Feld drei Hauptprobleme hat, vergleichbar mit einer Sportliga mit schlechten Regeln:

1. Inkonsistente Regeln: Verschiedene Studien bereinigen ihre Daten unterschiedlich. Eine Studie zählt vielleicht „Zucker“ und „Zuckerwürfel“ als dasselbe, während eine andere sie als verschieden zählt. Dies macht den Vergleich der Ergebnisse unmöglich.
2. Der „Popularitäts“-Bias: Die meisten Tests messen den Fehler anhand der häufigsten Lösungsmittel (wie Wasser oder Ethanol). Es ist, als würde man einen Schüler nur danach bewerten, wie gut er Matheaufgaben über Äpfel lösen kann, während man ignoriert, dass er völlig versagt, wenn er nach Orangen gefragt wird. Die Modelle lernen die „Äpfel“ auswendig, scheitern aber an den „Orangen“ (den seltenen, aber wichtigen Lösungsmitteln).
3. Das falsche Tor: Wissenschaftler dachten früher, dass das Beste, was ein Computer jemals erreichen könnte, eine Fehlermarge von etwa 0,6–0,8 log S sei, weil sie glaubten, dass Labormessungen so ungenau seien. Die Autoren beweisen, dass dies falsch war. Sie fanden heraus, dass die durchschnittliche Uneinigkeit zwischen Laboren tatsächlich viel geringer ist (0,106). Das alte Tor war zu weit gefasst und ließ schlechte Modelle als „gut“ durchgehen.

Die Lösung: Einführung von SC3

Das Team hat einen neuen, faireren Spielplatz namens SC3 gebaut. Denken Sie an SC3 als einen neuen, extrem strengen Schiedsrichter für das Löslichkeitsspiel.

• Die Daten: Sie haben eine riesige Datenbank (BIGSOLDB) wie ein Bibliothekar aufgeräumt, der eine unordentliche Bibliothek organisiert. Sie haben Duplikate entfernt, Tippfehler korrigiert und sichergestellt, dass jedes „Zucker-und-Suppe“-Paar einzigartig und korrekt ist. Am Ende hatten sie über 100.000 hochwertige Messwerte.
• Das neue Tor: Sie haben die „Rauschschwelle“ neu berechnet. Sie bewiesen, dass die natürliche Uneinigkeit zwischen Laboren tatsächlich 6-mal kleiner ist als bisher angenommen. Das bedeutet, dass es noch viel Raum für Verbesserungen gibt; wir stoßen nicht an eine Wand, wir haben nur noch nicht den richtigen Weg gefunden.
• Das Gold/Silber/Bronze-System: Sie haben drei Schwierigkeitsstufen erstellt:
  • Gold: Die saubersten Daten, bei denen sich die Labore perfekt einig sind.
  • Silber: Gute Daten, aber mit ein wenig Rauschen.
  • Bronze: Die breitesten Daten, einschließlich ungenauerer Messungen.
    Dies ermöglicht es ihnen zu testen, ob ein Modell nur rät oder tatsächlich Chemie lernt.

Die Ergebnisse: Die „alte Schule“ gewinnt (vorerst)

Sie haben 31 verschiedene KI-Modelle auf diesem neuen Benchmark getestet, die von einfachen mathematischen Formeln bis hin zu komplexen „Deep Learning“-Neuronalen Netzen (der schicken KI, über die alle begeistert sind) reichen.

Das schockierende Ergebnis:
Die fortschrittlichsten, komplexesten KI-Modelle (die „Deep Learning“-Modelle) haben nicht gewonnen. Tatsächlich schnitten sie oft schlechter ab als die einfacheren, älteren Modelle.

• Der Gewinner: Ein Modell, das RDKit-Deskriptoren (eine Standardmethode zur Beschreibung von Molekülen) mit einem Gradient Boosted Tree (einer leistungsfähigen, aber einfachen statistischen Methode) kombiniert, war der Champion.
• Die Lücke: Das beste KI-Modell war immer noch etwa 5-mal schlechter als das theoretische Limit dessen, was möglich ist (die Rauschschwelle).
• Die Lehre: Es liegt nicht daran, dass die Modelle mehr Daten benötigen. Es ist die Art und Weise, wie sie die Moleküle „sehen“ (ihre Repräsentation), die fehlerhaft ist. Es ist, als würde man einem Schüler ein Lehrbuch in einer Sprache geben, die er nicht spricht; egal wie viel er lernt, er kann die Prüfung nicht bestehen, bis wir ihm die Sprache beibringen.

Warum ist die schicke KI gescheitert?

Die Autoren schauten unter die Haube, um zu sehen, was die Modelle eigentlich lernten:

1. Die „Fingerabdruck“-Falle: Einige Modelle verwenden „Fingerprints“ (digitale Barcodes von Molekülen). Diese sind gut darin zu erkennen, ob zwei Moleküle ähnlich aussehen, aber schlecht darin, Chemie zu verstehen. Zum Beispiel könnte ein Fingerabdruck denken, dass eine lange Kette aus Kohlenstoffatomen in einem Seifenmolekül ähnlich ist wie eine lange Kette in einem Brennstoffmolekül, obwohl sie sich in Wasser völlig unterschiedlich verhalten.
2. Der „Deskriptor“-Vorteil: Die Gewinner-Modelle verwendeten „Deskriptoren“ (spezifische chemische Zahlen wie Polarität oder Größe). Diese Modelle lernten die tatsächlichen chemischen Regeln (wie die Allgemeine Löslichkeitsgleichung) von selbst, ohne dass man ihnen die Regeln vorgab. Sie verstanden, dass „Polarität“ wichtiger ist als nur die Form des Moleküls.
3. Das „Black Box“-Problem: Die schicken KI-Modelle (Graph Neural Networks) lernten zwar etwas Chemie, wurden aber auch durch die schiere Anzahl an Variablen verwirrt. Sie konnten nicht so gut generalisieren wie die einfacheren, fokussierteren Modelle.

Der „Zaubertrick“: Transfer Learning

Die Autoren versuchten einen letzten Trick, um den Modellen zu helfen. Sie nahmen ein Modell und trainierten es vorab („pre-trained“) auf einem massiven Datensatz von theoretischen quantenchemischen Berechnungen (Simulationen darüber, wie Moleküle interagieren, die perfekt und rauschfrei sind), bevor sie es die echte, unordentliche Labordaten lernen ließen.

• Das Ergebnis: Es half! Das Modell lernte schneller und performte besser, insbesondere bei den seltenen Lösungsmitteln, die es noch nie gesehen hatte.
• Der Haken: Selbst mit diesem „Zaubertrick“ konnte das Modell die Lücke zum perfekten Score nicht schließen. Es bewies, dass wir dem Modell zwar mehr Chemie beibringen können, aber die grundlegende Art und Weise, wie es die Moleküle repräsentiert, immer noch der Flaschenhals ist.

Zusammenfassung

Die Arbeit kommt zu dem Schluss, dass das Feld der Löslichkeitsprognose nicht an einem Punkt ist, an dem „wir nicht mehr besser werden können“. Stattdessen sind wir an ein Repräsentations-Plateau gestoßen.

Stellen Sie sich vor, Sie versuchen ein Meisterwerk zu malen, aber Sie benutzen einen Pinsel, der zu dick ist, um feine Details zu erzeugen. Egal wie viel Farbe (Daten) Sie hinzufügen, das Bild wird niemals perfekt sein. Wir brauchen einen neuen Pinsel (eine bessere Art, Moleküle zu repräsentieren), bevor der Computer die Kunst der Löslichkeitsvorhersage wirklich meistern kann.

Wichtigste Erkenntnis: Das derzeit beste Werkzeug ist ein einfaches, gut abgestimmtes statistisches Modell, nicht die komplexeste KI. Um besser zu werden, müssen wir die Art und Weise korrigieren, wie wir Moleküle dem Computer beschreiben, anstatt ihm einfach nur mehr Daten zu füttern.

Technische Zusammenfassung

Technisches Resümee: SC3 – Die Herausforderung der Multi-Solvent-Löslichkeit und der Benchmark

1. Problemstellung

Die Vorhersage der Löslichkeit ist eine grundlegende Herausforderung in der Computerchemie mit entscheidenden Auswirkungen auf die Wirkstoffforschung, die Syntheseplanung und die Kristallisation. Trotz der Verfügbarkeit großer Datensätze (z. B. AQSOLDB, BIGSOLDB) und jüngster Berichte über Modelle, die sich experimentellen Rauschwerten nähern, bleibt ein zuverlässiger Einsatz schwer erreichbar. Die Autoren argumentieren, dass diese Lücke auf drei systemische Probleme im Fachgebiet zurückzuführen ist:

1. Inkonsistente Kuratierung: Veröffentlichte Benchmarks wenden variierende Einheitenkonventionen, Regeln zur Duplikatsbehandlung und Stereochemie-Richtlinien an, was die Vergleichbarkeit der Ergebnisse zwischen Studien verhindert.
2. Einachsige Evaluierung: Standardmäßige Aggregatmetriken wie der Root Mean Squared Error (RMSE) werden von hochfrequenten Lösungsmitteln dominiert, wodurch das Versagen bei Long-Tail-Lösungsmitteln maskiert wird, die für neuartige Formulierungen entscheidend sind.
3. Fehlkalibrierte aleatorische Untergrenze: Die häufig zitierte inter-laborative Diskrepanz von 0,6–0,8 log S wird als unumstößliche Rauschgrenze behandelt. Die Autoren behaupten, dass dieser Wert eher Worst-Case-Szenarien (P90–P95) widerspiegelt als das erwartete Messrauschen, wodurch effektiv eine Größenordnung an messbarem Signal aufgegeben wird.

2. Methodik

2.1 Datenkuratierung (SC3-Datensatz)

Die Autoren konstruierten SC3, einen Multi-Solvent-Löslichkeits-Benchmark, der aus BIGSOLDB v2.1 abgeleitet wurde. Die Kuratierungspipeline umfasste:

• Roh-Audit: Rekonstruktion fehlender log S-Werte mittels Lösungsmitteldichte und Molenbruch; Kanonisierung von SMILES-Strings unter Wahrung der Chiralität und E/Z-Geometrie.
• Integritätsanalyse der Quellen: Ein zweistufiger Prozess zur Duplikaterkennung (bit-exakt und interpolierte Kurvenanpassung), um „Copycat“-Messungen aus verschiedenen DOIs zusammenzuführen und gleichzeitig unzuverlässige Quellen zu identifizieren.
• Cleaning-Waterfall: Entfernung schlechter DOIs, ungültiger/polymerer Lösungsmittel, Salze/Gemische und Extremwerte.
• Finaler Umfang: 101.535 Messungen, die 1.327 Solute, 206 Lösungsmittel und 1.493 DOIs über Temperaturbereiche von 243–426 K abdecken.

2.2 Rekalibrierung des aleatorischen Limits

Unter Verwendung von 481 Multi-Quellen-Paaren (Solut, Lösungsmittel) mit unabhängigen Messungen schätzten die Autoren das aleatorische Limit ($\epsilon_{aleatoric}$) durch Mittelung des Mean Absolute Error (MAE) zwischen angepassten thermodynamischen Kurven (Apelblat/van't Hoff) über unabhängige Gruppen hinweg.

• Ergebnis: Die erwartete Inter-Lab-Diskrepanz beträgt 0,106 log S, was etwa 6× enger ist als die konventionelle Figur von 0,6–0,8 log S.
• Heterogenität: Dieses Limit variiert je nach Lösungsmittel (z. B. DMF: 0,029 log S; Wasser: 0,110 log S), was die Notwendigkeit lösungsmittelspezifischer Evaluationsmetriken begründet.

2.3 Benchmark-Design

SC3 führt ein standardisiertes Protokoll mit drei verschiedenen Generalisierungsachsen ein:

1. Eval (In-Distribution): Neue (Solut, Lösungsmittel)-Paare innerhalb der Top-25 häufigsten Lösungsmittel.
2. OOD (Out-of-Distribution): 161 Long-Tail-Lösungsmittel, die während des Trainings nicht gesehen wurden.
3. Gestufte Konsens-Ebenen (Gold/Silber/Bronze): Neue Solute, evaluiert gegen Konsens-Labels mit kalibrierter pro-Punkt Unsicherheit ($\sigma$).
   • Gold: $\le 0,1$ log S Diskrepanz.
   • Silber: $\le 0,2$ log S.
   • Bronze: $\le 0,5$ log S.

2.4 Metrik-Suite

Um den Zählbias und die Heterogenität der Lösungsmittel zu adressieren, schlagen die Autoren eine Suite aus fünf Metriken vor:

• PS-RMSE (Per-Solvent RMSE): Die Hauptmetrik, die den RMSE über die Lösungsmittel mittelt, um Beiträge anzugleichen und Lokalisierungsverschiebungen zu eliminieren.
• Z-RMSE: Normalisiert den Vorhersagefehler durch die kalibrierte Unsicherheit ($\sigma$) und misst die Leistung relativ zum Rauschlimit.
• Standardmetriken: RMSE, MAE und MedAE bleiben erhalten, werden jedoch hinsichtlich ihrer Einschränkungen in diesem Kontext angemerkt.

2.5 Modell-Evaluierung

Es wurde ein umfassender Benchmark von 31 Modellen aus sechs Familien durchgeführt:

• Thermodynamisch/Analytisch (UNIFAC, Abraham LFER, ESOL, GSE).
• Deskriptor-basierte Bäume (LightGBM, CatBoost, XGBoost, Random Forest).
• Fingerprint-basierte Bäume.
• Deep-Descriptor-Modelle (FastProp, FastSolv, MLP).
• Graph Neural Networks (GCN, GAT, GIN, Chemprop, Solvaformer, etc.).
• Foundation Models (Uni-Mol2, SolTranNet, ChemFM).

3. Kernergebnisse

3.1 Leistungs-Benchmarks

• Bester Performer: LightGBM mit RDKit-Deskriptoren erreichte den besten Bronze PS-RMSE von 0,561, was etwa dem 5-fachen des aleatorischen Bodens ($\approx 5 \times 0,106$) entspricht.
• Deep-Learning-Lücke: Kein Deep-Learning- oder Foundation-Modell konnte die Lücke zum baum-basierten Baseline-Modell schließen. Deep-Descriptor-Modelle erreichten bei In-Distribution-Daten die Werte der Bäume, hinkten jedoch bei OOD- und Tiered-Splits hinterher.
• Repräsentation entscheidet: Deskriptor-basierte Modelle übertrafen Fingerprint-basierte Modelle signifikant (z. B. CatBoost-RDKit vs. CatBoost-Morgan), was darauf hindeutet, dass Fingerprints nicht in der Lage sind, chemisch unterschiedliche Lösungsmittelklassen (z. B. Wasser vs. langkettige Alkohole) zu unterscheiden.
• Foundation Models: Trotz massiver Parameterzahlen übertrafen Foundation-Modelle (z. B. ChemFM, Uni-Mol2) die feinabgestimmten Baum-Ensembles nicht.

3.2 Skalierungsanalyse der Daten

Potenzgesetz-Skalierungskurven ($RMSE = aN^{-b} + c$) wurden auf die Modellleistung in Abhängigkeit von der Größe des Trainingsdatensatzes gefittet.

• Ergebnis: Die Asymptoten ($c$) für alle Modelle liegen deutlich über dem aleatorischen Boden.
• Implikation: Die Fehlerschlücke ist kein Problem des Datenvolumens; es ist ein Repräsentations-Engpass. Selbst mit unendlichen Daten können aktuelle Architekturen das Rauschlimit nicht erreichen.

3.3 Transfer Learning

Das Pretraining auf COMBISOLV-QM (~10$^6$ quantenchemische Solvationsenergien) wurde getestet.

• Ergebnis: Das Pretraining lieferte systematische Gewinne, insbesondere in datenarmen Regimen (5 % Fine-Tuning-Daten) und bei OOD-Lösungsmitteln.
• Effizienz: Pretrainierte Modelle erreichten die Scratch-Baselines mit 25–100 % mehr Daten, was eine 5- bis 20-fache Verbesserung der Dateneffizienz demonstriert.
• Limitierung: Obwohl hilfreich, schloss das Pretraining die Lücke zum baum-basierten Modell nicht, was den architektonischen Engpass bestätigt.

3.4 Interpretierbarkeit

• Baum-Modelle: Eine SHAP-Analyse zeigte, dass LightGBM unabhängig die Achsen der General Solubility Equation (TPSA, BertzCT, MolLogP) und der Abraham LSER-Terme ohne explizite chemische Priors wiederentdeckte.
• GCN: Eine Occlusion-Analyse zeigte, dass das Modell eine chemisch bedeutsame Substruktur-Ontologie (z. B. BRICS-Fragmente wie Carbonsäuren und Piperazine) via Message Passing erlernte.
• Lösungsmittel-Clustering: Deskriptor-basierte Modelle gruppierten Lösungsmittel korrekt in chemisch sinnvolle Familien (Wasser, Alkane, aprotisch, protisch), während Fingerprint-Modelle sie nach struktureller Ähnlichkeit gruppierten (z. B. n-Hexan mit langkettigen Alkoholen), was ihre schlechtere Generalisierung erklärt.

4. Bedeutung und Ansprüche

Das Paper beansprucht, den Stand der Löslichkeitsvorhersage neu zu rahmen:

1. Die Decke liegt höher: Das Fachgebiet befindet sich nicht nahe der experimentellen Rauschgrenze; die wahre Grenze liegt bei ~0,1 log S, was erheblichen Spielraum für Verbesserungen lässt.
2. Repräsentations-Engpass: Aktuelle Modelle sind durch ihre molekularen Repräsentationen begrenzt, nicht durch Datenknappheit. Einfaches Skalieren von Daten oder Modellgröße ist unzureichend.
3. Standardisierung: SC3 bietet einen reproduzierbaren, auf Leaks geprüften und Unsicherheit-kalibrierten Benchmark, der die wahren Generalisierungsfähigkeiten von Modellen, insbesondere bei Long-Tail-Lösungsmitteln, offenlegt.
4. Praktische Baseline: Feinabgestimmte Gradient-Boosted-Trees mit RDKit-Deskriptoren bleiben die Konfiguration, die es zu schlagen gilt, da sie komplexe Deep-Learning- und Foundation-Modelle bei Multi-Solvent-Generalisierungsaufgaben übertreffen.

Die Autoren kommen zu dem Schluss, dass zukünftiger Fortschritt neue molekulare Kodierungen erfordert, die in der Lage sind, die spezifische Physik der Solut-Solvent-Interaktionen zu erfassen, welche aktuelle Repräsentationen verfehlen, anstatt lediglich mehr Daten zu akkumulieren.