Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

Die Studie zeigt, dass die Generalisierbarkeit von Machine-Learning- und physikalischen Methoden für DNA-markierte Bibliotheken (DELs) auf chemische Räume außerhalb der Trainingsverteilung stark vom Zielprotein und den Liganden abhängt, weshalb systemabhängige Vorabtests für zuverlässige Vorhersagen unerlässlich sind.

Das Wesentliche

Die große Suche nach der Nadel im Heuhaufen: Warum KI bei neuen Chemikalien oft scheitert

Stellen Sie sich vor, Sie sind ein Detektiv, der nach einem sehr spezifischen Dieb sucht. Um ihn zu finden, haben Sie eine riesige Bibliothek mit Milliarden von Fingerabdrücken (das sind die DNA-markierten Moleküle). Das ist die Technologie, die in diesem Papier als DEL (DNA-Encoded Libraries) bezeichnet wird. Man kann damit in kürzester Zeit prüfen, welche von Milliarden Chemikalien an ein bestimmtes Ziel (z. B. ein krankes Protein im Körper) andocken.

Das Problem: Die Bibliothek enthält nur Fingerabdrücke von Dieben, die schon einmal in der Bibliothek waren. Aber was, wenn der echte Dieb eine neue Maske trägt oder eine andere Kleidung hat? Das ist das Problem der Generalisierung: Kann die KI auch neue, unbekannte Chemikalien erkennen, die in ihrer Trainingsdatenbank gar nicht vorkommen?

Hier ist die Geschichte, wie die Forscher das herausgefunden haben:

1. Der große Wettbewerb (Die "BELKA"-Challenge)

Die Forscher nahmen an einem riesigen Wettbewerb teil, bei dem es darum ging, eine KI zu bauen, die aus den Daten der Bibliothek lernt und dann neue, unbekannte Moleküle vorhersagt.

• Die Enttäuschung: Obwohl es fast 2.000 Teams gab, konnte keines die Aufgabe wirklich lösen. Die KI war wie ein Schüler, der den Stoff für die Prüfung auswendig gelernt hat, aber versagt, sobald die Aufgaben leicht verändert werden. Wenn die KI auf völlig neue Chemikalien traf (die "Out-of-Distribution"-Moleküle), war sie so gut wie zufällig.

2. Der Versuch mit der Physik (Der "Architekt"-Ansatz)

Da die reine KI (die nur auf Zahlen und Muster schaut) versagte, dachten die Forscher: "Vielleicht brauchen wir einen Architekt, der die 3D-Struktur versteht!"

• Die Analogie: Die reine KI ist wie jemand, der nur die Farbe eines Autos beschreibt. Der physikalische Ansatz (Docking) ist wie jemand, der das Auto in eine Garage fährt, um zu sehen, ob es wirklich hineinpasst.
• Das Ergebnis: Es kam darauf an, welches Ziel man suchte.
  • Bei einem Ziel (Protein BRD4) war der moderne "Architekt" (eine KI namens Boltz-2) super und fand die Nadel.
  • Bei einem anderen Ziel (Protein sEH) war ein anderer "Architekt" (Rosetta) besser.
  • Die Lehre: Es gibt keinen universellen Superhelden. Man muss für jeden Fall das richtige Werkzeug wählen.

3. Das Problem mit dem "Rauschen" (Datenmenge vs. Datenqualität)

Die Bibliothek war extrem unausgewogen. Von 100 Molekülen waren 99 "Müll" (keine Treffer) und nur 1 ein "Treffer".

• Die Analogie: Stellen Sie sich vor, Sie suchen nach einem goldenen Ei in einem Berg von 100 Millionen Steinen.
• Die Überraschung: Die Forscher warfen 90 % der Steine weg. Sie dachten, die KI würde dadurch schlechter werden. Aber nein! Sie funktionierte fast genauso gut.
• Die Erkenntnis: Man braucht nicht mehr Daten, sondern bessere Daten. Die KI lernt schneller, wenn man ihr den "Müll" wegnimmt, statt sie mit Millionen von Negativbeispielen zu überfluten.

4. Das Fazit: Kein "One-Size-Fits-All"

Die wichtigste Botschaft des Papers ist: Man kann nicht blind vertrauen.
Selbst wenn eine KI in einem großen Test super aussieht, kann sie bei einer anderen Zielsubstanz oder einer anderen Art von Molekül völlig versagen.

• Die Empfehlung: Bevor man eine riesige Suche startet, muss man erst ein kleines "Pilot-Test" machen. Man muss prüfen: Funktioniert meine Methode für dieses spezielle Ziel?

5. Das Werkzeug: DEL-iver

Um anderen Forschern zu helfen, haben die Autoren ein kostenloses Werkzeug namens DEL-iver entwickelt.

• Die Analogie: Das ist wie ein "Schweizer Taschenmesser" für Chemiker. Es hilft dabei, die riesigen Datenmengen zu sortieren, die besten Kandidaten zu finden und die KI-Modelle zu testen, ohne dass man ein Computer-Experte sein muss.

Zusammenfassung in einem Satz

Die Studie zeigt, dass KI zwar toll darin ist, bekannte Muster zu erkennen, aber bei völlig neuen Chemikalien oft versagt; man muss daher physikalische Modelle mischen, die Datenmenge clever reduzieren und für jedes neue Ziel erst testen, welche Methode funktioniert – und das alles mit Hilfe ihres neuen, kostenlosen Werkzeugs DEL-iver.

Technische Zusammenfassung

Titel: Bewertung der Generalisierbarkeit von Machine-Learning- und Physik-basierten Methoden für DNA-markierte Bibliotheken (DELs)

Autoren: Marissa Dolorfino et al. (University of Michigan)
Quelle: bioRxiv Preprint (April 2026)

---

1. Problemstellung

DNA-markierte Bibliotheken (DELs) ermöglichen das ultraschnelle Screening von Milliarden von Molekülen gleichzeitig. Ein zentrales Ziel ist es, maschinelles Lernen (ML) auf diese riesigen Datensätze anzuwenden, um Vorhersagen auf nicht in der DEL enthaltene, käufliche Analoga zu übertragen (Extrapolation).

• Herausforderung: Ein kürzlich durchgeführter NeurIPS-Wettbewerb (BELKA) zeigte, dass selbst die besten ML-Modelle, die auf DEL-Daten trainiert wurden, versagten, wenn sie auf chemische Räume außerhalb der Trainingsverteilung (Out-of-Distribution, OOD) angewendet wurden.
• Fragestellung: Kann die Integration struktureller Modellierung (Docking, Co-Folding) diese Generalisierungslücke schließen? Wie hängen die Leistungsfähigkeit der Methoden von Zielprotein und Liganden ab?

2. Methodik

Die Studie nutzte den BELKA-Datensatz (~133 Millionen Moleküle, getestet an drei Zielproteinen: sEH, BRD4, HSA) und verglich verschiedene Ansätze:

• Machine Learning (ML):
  • Verwendung von Baseline-MLP-Architekturen (Multi-Layer Perceptrons) mit verschiedenen molekularen Encodings (ECFP4, MACCS, APDP, Graphen, One-Hot SMILES).
  • Untersuchung von Daten-Splitting-Strategien (In-Distribution [ID], Near-Distribution [ND], Out-of-Distribution [OOD]).
  • Analyse des Einflusses von Daten-Ungleichgewichten (Downsampling von Nicht-Hits) und Datendiversität.
• Physik-basierte Methoden:
  • Docking: Vergleich von Schrödinger Glide und Rosetta GALigandDock.
  • Co-Folding: Einsatz des Foundation-Modells Boltz-2.
  • Besonderheit: Anpassung der Moleküle durch Ersetzen des DNA-Ankerteils durch einen PEG3-Linker, um sterische Hindernisse zu vermeiden.
• Hybrid-Ansatz: Training von ML-Modellen mit physikalisch abgeleiteten Merkmalen (PLIP-Fingerabdrücke aus den Docking-Posen) in Kombination mit chemischen Fingerabdrücken.
• Software: Entwicklung des Open-Source-Pakets DEL-iver zur Analyse, Modellierung und Visualisierung von DEL-Daten.

3. Wichtige Ergebnisse

A. Generalisierbarkeit von ML-Modellen

• In-Distribution (ID): ML-Modelle funktionieren hervorragend, wenn die Testmoleküle aus den gleichen Bausteinen (Building Blocks) wie die Trainingsdaten bestehen, nur in neuen Kombinationen (AP ~0,9 für sEH).
• Out-of-Distribution (OOD): Die Leistung bricht bei Molekülen mit neuen Bausteinen oder neuen Gerüsten (Scaffolds) massiv ein. Die Modelle erreichen nahezu zufällige Vorhersagegüte (AUROC ~0,5, AP ~0,001).
• Datenzusammensetzung:
  • Die extreme Unausgewogenheit der Daten (Nicht-Hits dominieren) ist weniger kritisch als angenommen: Bis zu 99% der Nicht-Hits konnten entfernt werden, ohne die Leistung signifikant zu verschlechtern.
  • Das Hinzufügen von OOD-Daten in den Trainingsset (Random Splits) verbesserte die Ergebnisse für BRD4, verschlechterte sie aber für sEH und HSA, was auf eine hohe Ziel-spezifische Sensitivität hinweist.

B. Leistung physik-basierter Methoden vs. ML

• Zielabhängigkeit: Es gibt keine universell beste Methode.
  • Für BRD4 (OOD) schnitt Boltz-2 (Co-Folding) am besten ab (AUROC 0,947 vs. 0,619 für ML).
  • Für sEH (OOD) war Rosetta GALigandDock überlegen (AUROC 0,915 vs. 0,501 für ML).
• Hit-Discrimination vs. Enrichment: Während strukturelle Methoden die Hit-Diskriminierung (Trennung von Bindern/Nicht-Bindern) oft verbessern, bleibt der Anreicherungsfaktor (Enrichment Factor) für seltene Hits oft niedrig oder unverändert im Vergleich zur Basislinie.
• Kombination: Die Integration von Docking-Merkmalen (PLIP) in ML-Modelle führte zu inkonsistenten Ergebnissen. In einigen Fällen verbesserte es die Leistung, in anderen verschlechterte es sie, was die Abhängigkeit von der Genauigkeit der vorhergesagten Posen zeigt.

C. Strukturale Analyse

• Die Analyse der vorhergesagten Posen zeigte, dass die Methode mit der besten Hit-Diskriminierung nicht zwangsläufig die physikalisch genauesten Posen (niedrigste RMSD) liefert.
• Die Solvent Accessible Surface Area (SASA) korrelierte teilweise mit der Leistung der Methoden.

4. Schlüsselbeiträge

1. Systematische Bewertung: Erste umfassende Gegenüberstellung von rein ligand-basiertem ML, Docking und Co-Folding auf einem großen, realen DEL-Datensatz mit strikter OOD-Testung.
2. Erkenntnis zur Generalisierbarkeit: ML-Modelle sind stark auf die Trainingsverteilung beschränkt. Die Extrapolation auf völlig neue chemische Räume (neue Bausteine/Gerüste) ist mit reinen ML-Ansätzen derzeit nicht zuverlässig möglich.
3. Ziel-spezifische Optimierung: Die Wahl der optimalen Methode (ML vs. Docking vs. Co-Folding) hängt stark vom Zielprotein und der chemischen Klasse der Liganden ab.
4. Open-Source-Tool (DEL-iver): Bereitstellung eines benutzerfreundlichen Python-Pakets, das den gesamten Workflow von der Datenanalyse über das Screening bis hin zum ML-Training und der Visualisierung abdeckt.

5. Bedeutung und Fazit

Die Studie widerlegt die Hoffnung, dass große DEL-Datensätze allein ausreichen, um robuste, generalisierbare ML-Modelle für das virtuelle Screening neuer chemischer Räume zu trainieren.

• Empfehlung: Bevor groß angelegte Vorhersagekampagnen durchgeführt werden, sind rigorose Pilotstudien unerlässlich, um die Grenzen und den Anwendungsbereich jeder Methode für ein spezifisches Ziel zu definieren.
• Strategie: Eine Kombination aus physik-basierten Methoden (für OOD-Szenarien) und ML (für ID-Szenarien) sowie eine sorgfältige Datenstrategie (Downsampling, gezielte Diversifizierung) ist notwendig.
• Ressource: Das DEL-iver-Paket bietet der Community ein standardisiertes Werkzeug, um diese komplexen Analysen durchzuführen und die Reproduzierbarkeit in der DEL-Forschung zu erhöhen.

Zusammenfassend zeigt die Arbeit, dass die Integration physikalischer Prinzipien notwendig ist, um die Lücke der Generalisierbarkeit zu überbrücken, aber keine einzelne Methode alle Probleme löst. Der Erfolg hängt von einer maßgeschneiderten Strategie für jedes spezifische Screening-Projekt ab.