🧬 biology

A z-averaged ensemble of three orthogonal models improves protein–ligand virtual screening on leakage-controlled benchmarks

Diese Arbeit zeigt auf, dass ein z-gemitteltes Ensemble aus drei repräsentations-orthogonalen Deep-Learning-Modellen die Leistung des virtuellen Protein-Ligand-Screenings auf Leakage-kontrollierten Benchmarks signifikant verbessert, indem es eine echte Out-of-Distribution-Generalisierung erreicht und dadurch die Einschränkungen von Einzelmodell-Ansätzen bei neuartigen Targets überwindet.

Ursprüngliche Autoren: Yuguang Mu, Yang Liu, weifeng li

Veröffentlicht 2026-07-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuguang Mu, Yang Liu, weifeng li

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Spickzettel“-Falle

Stellen Sie sich vor, Sie machen eine schwierige Prüfung, um vorherzusagen, welche Medikamente bei einem bestimmten Virus wirken werden. Jahrelang behaupteten Computermodelle, Genies zu sein, und erreichten bei Übungstests 90 % oder mehr.

Forscher entdeckten jedoch, dass diese Modelle schummelten. Die Übungstests (Benchmarks) nutzten „Homologie-Leckage“ (homology leakage). Das ist so, als würde man einem Schüler einen Übungstest geben, bei dem die Fragen fast identisch mit denen aus seinem Lehrbuch sind. Die Modelle lernten nicht wirklich, wie man neue Medikamente findet; sie merkten sich lediglich Muster von Proteinen, die sie bereits während des Trainings gesehen hatten.

Als Wissenschaftler „leckage-kontrollierte“ Tests erstellten – bei denen das Virus völlig neu ist und keine Verwandten in den Trainingsdaten des Modells hat – brachen die Scores der Modelle ein. Sie fielen von 90 % auf etwa 70–75 %. Es stellte sich heraus, dass es nicht mehr funktionierte, ein einziges, superintelligentes Modell zu bauen.

Die Lösung: Das „Drei-Köpfe-Monster“

Anstatt zu versuchen, ein perfektes, superintelligentes Modell zu bauen, versuchten die Autoren einen anderen Ansatz: Teamarbeit.

Sie nahmen drei bestehende Modelle, die sehr unterschiedlich aufgebaut waren, und kombinierten sie. Stellen Sie sich das wie das Einstellen von drei verschiedenen Detektiven vor, um ein Rätsel zu lösen:

Detektiv A (BIND-z): Betrachtet nur den genetischen Code des Proteins (die Sequenz).
Detektiv B (SaProt-v2): Betrachtet den genetischen Code, achtet aber auch auf die 3D-Form der „Faltung“ des Proteins.
Detektiv C (DrugCLIP): Schaut gar nicht auf den Code; stattdessen betrachtet er die physische 3D-Struktur der Proteintasche und vergleicht sie mit der Form des Medikaments.

Wie sie sie kombinierten: Der „Z-Score“-Durchschnitt

Man kann ihre Scores nicht einfach zusammenzählen, da sie verschiedene „Sprachen“ sprechen. Detektiv A gibt vielleicht einen Score von 100 an, während Detektiv C einen Score von 0,5 gibt.

Die Autoren nutzten einen cleveren Trick namens Z-Score-Averaging.

Die Analogie: Stellen Sie sich drei Preisrichter in einer Talentshow vor. Richter 1 ist streng und vergibt Punkte zwischen 1 und 5. Richter 2 ist nachsichtig und vergibt Punkte zwischen 80 und 100. Richter 3 ist eigenwillig und vergibt Punkte zwischen -10 und +10.
Wenn man einfach nur ihre Zahlen addiert, dominiert die Meinung von Richter 2.
Stattdessen fragten die Autoren: „Wie viel besser ist dieser Teilnehmer im Vergleich zum Durchschnitt für diesen spezifischen Richter?“
Sie wandelten jeden Score in einen „relativen Rang“ (einen Z-Score) um und berechneten dann den Durchschnitt. Dies gab jedem Detektiv eine gleichwertige Stimme, unabhängig von seinem Bewertungsstil.

Die Ergebnisse: Warum drei besser sind als einer

Als sie dieses „Drei-Detektive-Team“ auf den schwierigen, neuen Viren testeten (den leckage-kontrollierten Benchmarks), fanden sie etwas Überraschendes heraus:

Sie waren sich nicht sehr einig: Die drei Modelle gaben für dasselbe Medikament oft unterschiedliche Antworten. Ihre Meinungen waren „orthogonal“ (unabhängig). Wenn ein Modell verwirrt war, lagen die anderen oft richtig.
Das Team gewann: Durch das Mitteln ihrer unabhängigen Meinungen verbesserte das Team die Genauigkeit um einen kleinen, aber statistisch signifikanten Betrag (von 0,817 auf 0,834).
Die „Leckage“-Lücke schrumpfte: Das Team war weniger darauf angewiesen, ähnliche Viren bereits gesehen zu haben. Das Hinzufügen des dritten Detektivs (DrugCLIP) machte die gesamte Gruppe robuster gegenüber dem „Schummeln“ durch Auswendiglernen.

Die wichtigste Erkenntnis

Die Arbeit argumentiert, dass Diversität wichtiger ist als rohe Gewalt.

Der alte Weg: Versuche, ein riesiges, extrem leistungsfähiges Modell zu bauen. (Dies ist ins Stocken geraten).
Der neue Weg: Nimm drei verschiedene, mäßig leistungsfähige Modelle, die das Problem aus völlig unterschiedlichen Blickwinkeln betrachten, und lass sie abstimmen.

Da die Modelle unterschiedliche Arten von Fehlern machen, gleicht das Mitteln der Fehler einander aus. Die Arbeit kommt zu dem Schluss, dass für das Finden neuer Medikamente an wirklich neuartigen Zielstrukturen die Inter-Modell-Orthogonalität (unterschiedliche Perspektiven zu haben) das Geheimrezept ist, und nicht bloß die Modelle größer oder intelligenter zu machen.

Was sie nicht behauptet haben

Sie haben nicht behauptet, dass dies Krankheiten heilt oder bereits in einem Krankenhaus eingesetzt wird.
Sie haben nicht behauptet, dass dies bei jedem möglichen Benchmark funktioniert (es hatte tatsächlich Schwierigkeiten mit einem speziellen Datensatz namens LIT-PCBA).
Sie haben nicht behauptet, dass das Hinzufügen eines vierten Modells definitiv helfen würde; sie legen nahe, dass das Hinzufügen eines vierten Modells, das wie die ersten beiden denkt, nutzlos wäre. Man benötigt eine neue Perspektive, um einen größeren Nutzen zu erzielen.

Technische Zusammenfassung: Ein z-gemittelter Ensemble aus drei orthogonalen Modellen für das virtuelles Screening von Protein–Ligand-Interaktionen

Problemstellung
Deep-Learning-Modelle für das Protein–Ligand-virtuelle Screening (VS) berichten von hoher Leistungsfähigkeit (AUROC > 0,90) auf Standard-Benchmarks wie DUD-E. Die Autoren argumentieren jedoch, dass diese Metriken durch zwei primäre Fehlermodi überhöht werden:

Homologie-Leakage der Proteinsequenz im Training-Test-Verhältnis: Die meisten Benchmark-Proteine besitzen nahezu identische Homologe in den Trainingssätzen von Modellen, die auf BindingDB oder PDBBind trainiert wurden. Vorkonfigurierte Embeddings von Protein-Sprachmodellen machen die Generalisierung in diesen Fällen trivial, wodurch die Modelle dazu neigen, sich auf Homologie statt auf die tatsächliche Bindungsphysik zu verlassen.
Decoy-Bias: Benchmarks wie DUD-E enthalten strukturelle Asymmetrien, bei denen Aktiva und Decoys sich in physikochemischen Deskriptoren (z. B. rotierbare Bindungen, polare Oberfläche) unterscheiden, was es Klassifikatoren ermöglicht, ohne Berücksichtigung des Proteins zu diskriminieren.

Bei der Evaluierung auf „Leakage-kontrollierten“ Targets (bei denen die Homologie zwischen Training und Test streng gefiltert wurde, z. B. < 30 % Identität) stagniert die Leistung einzelner Modelle im Bereich von 0,70–0,75 AUROC. Jüngste architektonische Verbesserungen (Fine-Tuning, taschenbewusste Schichten, kontrastive Verluste) konnten diese Lücke bei wirklich neuartigen Targets bisher nicht signifikant schließen.

Methodik
Die Autoren schlagen eine post-hoc, modellagnostische Ensemble-Strategie vor, anstatt ein einzelnes, komplexeres Modell zu entwickeln. Der Ansatz besteht darin, drei unabhängig trainierte, repräsentativ orthogonale Scoring-Modelle zu kombinieren:

BIND-z: Ein reines Sequenz-Modell unter Verwendung eines eingefrorenen ESM-2-Encoders mit Cross-Attention und Huber-Affinitätsköpfen, trainiert auf einem Homologie-gefilterten BindingDB-Subset.
SaProt-v2: Ein struktur-bewusster Sequenz-Encoder (eingefrorener SaProt-650M mit AA+3Di-Tokens), trainiert mit einem kontrastiven InfoNCE-Verlust und einem Attention-Pool-Kopf.
DrugCLIP: Ein veröffentlichtes CLIP-ähnliches Retrieval-Modell, das 3D-Taschen-Atom-Features (Uni-Mol) mit 2D-Ligand-Features abgleicht.

Fusionsstrategie:
Die Modelle erzeugen Scores auf unterschiedlichen Skalen. Um sie zu kombinieren, verwenden die Autoren eine pro-Target z-Score-Normalisierung gefolgt von einer arithmetischen Mittelwertbildung. Für jedes Target $t$ wird der Rohscore $s_{m,t,i}$ eines Liganden $i$ aus dem Modell $m$ wie folgt normalisiert:
$z_{m,t,i} = \frac{s_{m,t,i} - \mu_{m,t}}{\sigma_{m,t}}$
wobei $\mu$ und $\sigma$ der Mittelwert und die Standardabweichung der Scores des Modells über alle Liganden für dieses spezifische Target sind. Die Ensemble-Scores sind dann:

ens2: Der Durchschnitt von BIND-z und SaProt-v2.
ens3: Der Durchschnitt von BIND-z, SaProt-v2 und DrugCLIP.

Wesentliche Beiträge

Identifikation von Orthogonalität: Die Autoren zeigen, dass die drei Modelle auf Ebene der einzelnen Liganden schwach korreliert sind. Die Pearson-Korrelation zwischen den beiden sequenzbasierten Modellen (BIND-z und SaProt-v2) liegt bei $r \approx 0,22$ , während DrugCLIP eine nahezu Null-Korrelation ( $r \approx 0,05\text{--}0,08$ ) mit entweder dem oder dem anderen Sequenzmodell aufweist. Dies deutet darauf hin, dass DrugCLIP genuin unabhängige Informationen liefert.
Statistisch signifikanter Gewinn: Das Drei-Modell-Ensemble (ens3) erreicht einen mittleren AUROC von 0,834 über 204 gepoolte DUD-E und DUD-AD Evaluierungen, verglichen mit 0,817 für das beste Zwei-Modell-Ensemble (ens2). Dies entspricht einem Gewinn von +0,017 AUROC (gepaarter $t=3,50$ , $p=5,8 \times 10^{-4}$ ). Der Gewinn ist richtungsweisend konsistent über sechs Benchmarks hinweg, einschließlich strenger Leakage-bereinigter Subsets.
Reduzierte Homologie-Abhängigkeit: Das Ensemble reduziert die Abhängigkeit von Training-Test-Homologie. Die „Leakage-Lücke“ (Leistungsabfall beim Übergang von Homologie-reichen zu Leakage-bereinigten Targets) beträgt +0,085 für ens3, verglichen mit +0,091 für ens2. Dies zeigt, dass das Ensemble besser auf Out-of-Distribution-Targets generalisiert.

Ergebnisse

Zero-Shot-Leistung: Auf dem primären gepoolten Benchmark ( $n=204$ ) übertrifft ens3 ens2 mit hoher statistischer Signifikanz. Auf strengen Leakage-bereinigten Subsets (z. B. DUD-E-strict, $n=7$ ) erreicht ens3 einen AUROC von 0,779, was eine signifikante Verbesserung gegenüber Einzelmodellen darstellt, wenngleich die statistische Signifikanz aufgrund der Stichprobengröße begrenzt ist.
Fehlermodi: Das Ensemble löst den LIT-PCBA-Benchmark (absoluter AUROC ~0,608) nicht, der darauf ausgelegt ist, gegen aktuelle Sequenz-/Taschen-orientierte Modelle resistent zu sein.
In-Distribution-Einsatz: Wenn es in einem „In-Distribution“-Regime evaluiert wird (wo die Trainingsdaten Homologe der Test-Targets enthalten), erzielt das Ensemble (welches einen All-Data-SaProt-Tower und BIND-full kombiniert) immer noch einen Gewinn von +0,012 bis +0,015 AUROC gegenüber dem stärksten Einzelkomponenten-Modell, was bestätigt, dass die Orthogonalität auch ohne strikte Zero-Shot-Constraints zum Vorteil der Generalisierung beiträgt.
Grenzen einzelner Modelle: Die Autoren haben systematisch Verbesserungen an Einzelmodellen getestet (Encoder-Fine-Tuning, Taschen-Redesign, alternative Verluste, Pose-bewusste Schichten) und festgestellt, dass diese auf Leakage-bereinigten Targets vernachlässigbare oder sogar negative Gewinne bringen, was darauf hindeutet, dass der Engpass in der Trainingsverteilung und nicht in der Modellkapazität liegt.

Bedeutung und Ansprüche
Das Paper argumentiert, dass die Inter-Modell-Orthogonalität und nicht die Kapazität eines einzelnen Modells der praktische Hebel zur Verbesserung des virtuellen Screenings auf neuartige Proteintargets ist.

Mechanismus: Der Gewinn resultiert aus der Varianzreduktion auf statistisch nahezu unabhängige Fehlermuster. Das Hinzufügen eines vierten Modells mit ähnlicher Architektur (z. B. ein weiterer ESM-basierter Scorer) würde wahrscheinlich zu abnehmenden Grenzerträgen führen, da die Fehlerkorrelation hoch ist.
Praktische Implikation: Eine einfache, post-hoc Fusion existierender, diverser Modelle ist effektiver als das Training eines einzelnen, größeren oder komplexeren Modells.
Benchmarking: Die Autoren plädieren dafür, routinemäßig „Leakage-bereinigte“ Subsets neben Standard-Benchmarks zu berichten, um zwischen Auswendiglernen und echter Generalisierung zu unterscheiden.
Umfang: Das Ensemble wird als robuste Lösung für Targets präsentiert, denen nahe verwandte Trainingshomologe fehlen, während ein separates „Deployment-Ensemble“ (das unfiltrierte Trainingsdaten verwendet) für Szenarien empfohlen wird, in denen Homologe verfügbar sind und die Inferenzkosten zweitrangig sind.

Die Autoren kommen zu dem Schluss, dass der Weg zu vertrauenswürdigem virtuellem Screening in der Kombination diverser, orthogonaler Signale liegt, anstatt lediglich inkrementelle Steigerungen der architektonischen Kapazität innerhalb einer einzigen Modellfamilie anzustreben.