🤖 AI

Confidence is the key: how conformal prediction enhances the generative design of permeable peptides

Dieser Beitrag stellt ein unsicherheitsbewusstes generatives Framework vor, das konforme Vorhersage mit Reinforcement Learning integriert, um die Zuverlässigkeit und Effizienz bei der Entwicklung durchlässiger zyklischer Peptide zu verbessern, indem sichergestellt wird, dass generierte Moleküle innerhalb des Anwendungsbereichs des Vorhersagemodells verbleiben.

Ursprüngliche Autoren: Laura van Weesep, Sunay Chankeshwara, Leonardo De Maria, Florian David, Ola Engkvist, Gökçe Geylan

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Laura van Weesep, Sunay Chankeshwara, Leonardo De Maria, Florian David, Ola Engkvist, Gökçe Geylan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, eine neue, magische Suppe zu erfinden, die durch eine verschlossene Tür (eine Zellmembran) hindurchgehen kann, um eine Krankheit zu heilen. Sie haben einen super-intelligenten Roboter-Assistenten (das generative Modell), der Tausende von Zutaten (Aminosäuren) mischen und kombinieren kann, um neue Suppenrezepte zu kreieren.

Es gibt jedoch ein Problem: Sie haben auch einen Geschmackstester (das prädiktive Modell), der Ihnen sagt, ob eine Suppe durch die Tür gelangen wird. Das Problem ist, dass dieser Geschmackstester nur ein Experte für Suppen ist, die er bereits probiert hat. Wenn Sie ihn bitten, eine Suppe zu bewerten, die aus völlig neuen, seltsamen Zutaten besteht, die er noch nie gesehen hat, könnte er zwar selbstbewusst raten, aber völlig falsch liegen. Er könnte sagen: „Das wird definitiv funktionieren!", obwohl es in Wirklichkeit eine Katastrophe ist.

Dieser Artikel handelt davon, dem Roboterkoch beizubringen, wie er mit einem weisen Mentor (konforme Vorhersage) zusammenarbeitet, der genau weiß, wann der Geschmackstester nur rät und wann er sich sicher ist.

Das Problem: Der selbstbewusste Ratschlag

In der Vergangenheit hörte der Roboterkoch einfach nur auf den Selbstbewusstseins-Score des Geschmackstesters. Wenn der Tester sagte: „Ich bin zu 90 % sicher, dass diese Suppe funktioniert", würde der Roboter weitermachen und diese Suppe herstellen.

Das Problem: Manchmal rät der Tester nur, weil die Suppe zu seltsam ist. Der Roboter stellt weiterhin diese „selbstbewussten, aber falschen" Suppen her und verschwendet Zeit und Zutaten. Es ist so, als würde der Roboter weiterhin versuchen, eine Tür mit einem Schlüssel zu öffnen, der wie ein Schlüssel aussieht, aber eigentlich ein Löffel ist, weil der Schlossknacker sagte: „Es sieht aus wie ein Schlüssel!"

Die Lösung: Der „weise Mentor" (Konforme Vorhersage)

Die Autoren führten die konforme Vorhersage (CP) ein. Stellen Sie sich CP als einen weisen Mentor vor, der neben dem Geschmackstester sitzt.

Der Mentor sagt nicht einfach nur „Ja" oder „Nein".
Der Mentor sagt: „Ich bin zu 80 % zuversichtlich, dass diese Suppe funktionieren wird," ODER „Ich bin nicht zuversichtlich genug, um in eine Richtung zu sagen."
Wenn der Mentor sagt: „Ich bin mir nicht sicher", weiß der Roboterkoch, dass er es mit diesem spezifischen Rezept nicht weiter versuchen soll, sondern etwas anderes ausprobieren sollte, das vertrauter und sicherer aussieht.

Das Experiment: Drei Arten zuzuhören

Die Forscher testeten verschiedene Möglichkeiten, wie der Roboterkoch diesem neuen Mentoren-System zuhören sollte:

Der „rohe" Ansatz (alter Weg): Der Roboter hörte einfach nur auf den rohen Selbstbewusstseins-Score des Geschmackstesters.
- Ergebnis: Der Roboter stellte viele Suppen her, die auf dem Papier gut aussahen, aber viele waren tatsächlich „gefälscht" (unzuverlässige Vorhersagen). Es war schnell, aber die Qualität war wackelig.
Der „harte" Ansatz: Der Roboter akzeptierte ein Rezept nur, wenn der Mentor zu 100 % sicher war, dass es ein „Bestehen" ist, und zu 100 % sicher war, dass es kein „Durchfallen" ist.
- Ergebnis: Das war zu streng. Der Roboter steckte fest, konnte nicht lernen und stellte die Suppenherstellung ein, weil er zu Angst hatte, einen Fehler zu machen.
Der „weiche" Ansatz (der Gewinner): Dies war der clevere Mittelweg.
- Wenn der Mentor absolut sicher war, erhielt der Roboter eine große Belohnung (1 Punkt).
- Wenn der Mentor ziemlich sicher war (z. B. „Es wird wahrscheinlich bestehen, aber ich bin nicht zu 100 % sicher"), erhielt der Roboter eine kleine Belohnung (0,5 Punkte).
- Wenn der Mentor ratlos war, erhielt der Roboter null Punkte.
- Ergebnis: Das funktionierte am besten! Der Roboter lernte schnell. Er fand den „Sweet Spot", in dem er neue, durchlässige Suppen erfinden konnte, ohne in das gefährliche Terrain der „seltsamen Zutaten" abzudriften, in dem der Geschmackstester nur rät.

Die Ergebnisse: Was haben sie herausgefunden?

Zuverlässigkeit: Durch die Verwendung des „weichen" Ansatzes erzeugte der Roboter weniger „gefälschte" Suppen. Er konzentrierte sich auf Rezepte, denen der Mentor tatsächlich vertraute.
Geschwindigkeit: Der Roboter fand gute Rezepte schneller als die alte Methode, weil er keine Zeit damit verschwendete, falschen Spuren nachzugehen.
Die „Längen"-Regel: Sie stellten fest, dass der Mentor sehr gut darin war, Suppen mit 6, 7 oder 10 Zutaten zu bewerten (weil der Mentor viele davon bereits probiert hatte). Aber wenn der Roboter versuchte, eine Suppe mit 12 Zutaten herzustellen, geriet der Mentor in Verwirrung und konnte keine guten Ratschläge geben. Das lehrte den Roboter, wann er aufhören sollte, bestimmte Arten von Suppen zu versuchen.

Das Fazit

Dieser Artikel zeigt, dass man, wenn man KI zur Entwicklung neuer Medikamente (wie Peptid-Wirkstoffen) einsetzt, dem „Bauchgefühl" der KI nicht einfach blind vertrauen sollte. Man braucht ein System, das Ihnen sagt, wie sicher die KI ist.

Indem man diesen „Vertrauens-Check" (konforme Vorhersage) in den Lernprozess integriert, wird die KI zu einem intelligenteren, vorsichtigeren Entdecker. Sie stürzt sich nicht blind ins Unbekannte; sie weiß, wann sie beim sicheren Pfad bleiben muss und wann es sicher ist, etwas Neues zu versuchen. Dies führt zu besseren Wirkstoff-Designs, die tatsächlich funktionieren könnten, anstatt nur auf einem Computerbildschirm gut auszusehen.

Technische Zusammenfassung: Vertrauen ist der Schlüssel: Wie konforme Vorhersage das generative Design permeabler Peptide verbessert

Problemstellung
Generative Modelle in Kombination mit Reinforcement Learning (RL), wie REINVENT und PepINVENT, sind leistungsfähige Werkzeuge für das de-novo-Design von Molekülen. Ihre Abhängigkeit von prädiktiven Modellen als Bewertungsfunktionen führt jedoch zu einer kritischen Schwachstelle: dem Anwendungsbereich. Wenn RL-Agenten den chemischen Raum erkunden, schlagen sie häufig Moleküle vor, die außerhalb der Trainingsverteilung des prädiktiven Modells liegen. In diesen Bereichen werden Vorhersagen unzuverlässig und können die Optimierung potenziell in chemische Räume mit hoher Belohnung, aber auch hoher Unsicherheit lenken. Dieses Problem ist bei zyklischen Peptiden besonders akut, die zwar therapeutisches Potenzial zeigen, aber im Vergleich zu kleinen Molekülen in den Trainingsdaten unterrepräsentiert sind. Die Herausforderung besteht darin, zwischen genuinely durchlässigen Designs und Artefakten der Modell-Extrapolation zu unterscheiden, bei denen hohe vorhergesagte Wahrscheinlichkeiten möglicherweise keine Kalibrierung und Zuverlässigkeit aufweisen.

Methodik
Die Autoren schlagen ein unsicherheitsbewusstes generatives Framework vor, das Konforme Vorhersage (CP) direkt in den RL-Loop für das Design zell-permeabler zyklischer Peptide integriert.

Generatives Framework: Die Studie nutzt PepINVENT, ein auf Transformer basierendes Modell, das auf semi-synthetischen Daten trainiert wurde (natürliche und nicht-natürliche Aminosäuren in CHUCKLES-Notation). Der RL-Prozess umfasst das Maskieren von Aminosäurepositionen in Eingabe-zyklischen Peptiden und das Generieren von Ersatzstoffen.
Prädiktives Modell: Ein XGBoost-Klassifikator, der auf der CycPeptMPDB-Datenbank (6.876 Einträge zyklischer Peptide) trainiert wurde, sagt die passive Membranpermeabilität (PAMPA-Assay-Daten) voraus. Das Modell verwendet Extended Connectivity Fingerprints (ECFP) als Deskriptoren.
Unsicherheitsquantifizierung: Anstelle der rohen Modellwahrscheinlichkeiten verwenden die Autoren Mondrian Inductive Conformal Prediction (ICP). Dieses Framework kalibriert Vorhersagen, um gültige Vertrauensschätzungen für einzelne Instanzen zu liefern. Es generiert zwei p-Werte: $P_1$ $P_{1}$ (Vertrauen, dass das Molekül permeabel ist) und $P_0$ $P_{0}$ (Vertrauen, dass das Molekül nicht permeabel ist).
- Eine Vorhersage gilt als „konform effizient" (zuverlässig), wenn $P_1 > 0,2$ und $P_0 < 0,2$ (entsprechend einem Vertrauensniveau von 80 %).
- Ein Aggregierter Konformerer Prädiktor (ACP) unter Verwendung von 10 ICP-Modellen wurde eingesetzt, um die Effizienz zu verbessern.
Bewertungsstrategien: Die Studie bewertete sechs Bewertungsfunktionen innerhalb des RL-Loops:
1. Rohes Modell (RM): Wahrscheinlichkeit der permeablen Klasse (Basislinie).
2. CP P1: Maximierung des p-Werts für die permeable Klasse.
3. CP 1-P0: Maximierung des Komplements des p-Werts für die nicht-permeable Klasse.
4. CP P1-P0: Maximierung der Differenz zwischen den beiden p-Werten.
5. Harte Funktion: Eine binäre Belohnung (1 oder 0) nur, wenn sowohl $P_1 > 0,2$ als auch $P_0 < 0,2$ erfüllt sind.
6. Weiche Funktion: Eine Stufenfunktion, die eine teilweise Belohnung (0,5) gewährt, wenn eine der Bedingungen erfüllt ist, und eine volle Belohnung (1), wenn beide erfüllt sind.

Der RL-Loop optimiert diese Scores über 350 Epochen für 150 Testabfragen (zyklische Peptide mit 6–12 Resten) unter Maskierung von 1–4 Positionen pro Abfrage.

Hauptergebnisse

Grenzen roher Wahrscheinlichkeiten: Obwohl der RL-Agent die Wahrscheinlichkeiten des rohen Modells erfolgreich erhöhte (von 0,51 auf 0,87), blieb die Anzahl der konform effizienten Vorhersagen gering. Hohe rohe Wahrscheinlichkeiten garantierten nicht, dass die Moleküle innerhalb des Anwendungsbereichs des Prädiktors lagen, da $P_0$ oft über dem Signifikanzschwellenwert blieb.
Überlegenheit der CP-basierten Bewertung:
- Einzelne p-Wert-Ziele (P1 oder 1-P0) zeigten marginale Verbesserungen und konnten kein gemeinsames Vertrauen garantieren.
- Die „Weiche" Bewertungsfunktion schnitt bei allen anderen Methoden ab. Sie erreichte die schnellste Konvergenz (Erreichen des Ziels von 50 % konform effizienter permeabler Vorhersagen in ca. 150 Epochen) und generierte den höchsten Anteil an Molekülen mit vertrauenswürdigen permeablen Labels.
- Die „Harte" Funktion war lernbar, aber aufgrund spärlicher Belohnungen in der frühen Erkundung weniger effizient.
Validität vs. Effizienz: Die weiche Bewertungsfunktion erzeugte weniger insgesamt einzigartige gültige Moleküle im Vergleich zum rohen Modell oder Einzel-p-Wert-Methoden, aber ein signifikant höheres Verhältnis dieser Moleküle waren konform effiziente permeable Vorhersagen. Dies zeigt, dass das rohe Modell Trefferquoten mit unzuverlässigen Vorhersagen aufbläht, während der CP-weiche Ansatz auf zuverlässige Treffer abzielt.
Längenabhängigkeit: Die Leistung variierte je nach Peptidlänge. Die weiche Bewertungsfunktion optimierte Peptide der Längen 6, 7, 8 und 10 (gut in den Trainingsdaten vertreten) effektiv. Für Längen 9, 11 und 12 (weniger vertreten) hatte das Modell Schwierigkeiten, innerhalb von 350 Epochen hohe Vertrauensniveaus zu erreichen, was die Fähigkeit des Frameworks demonstriert, zu signalisieren, wenn ein Designziel den Anwendungsbereich des Prädiktors überschreitet.

Bedeutung und Behauptungen
Die Studie behauptet, das erste Framework vorzustellen, das konforme Vorhersage direkt in das durch Reinforcement Learning geleitete generative Design integriert. Die Autoren argumentieren, dass dieser Ansatz:

Die Lücke schließt: Er verbindet die inhärente Unsicherheit prädiktiver Modelle mit der strategischen Erkundung von RL und verhindert, dass der Agent unzuverlässige Regionen des chemischen Raums ausnutzt.
Zuverlässigkeit erhöht: Durch die Belohnung von Designs basierend auf kalibriertem Vertrauen statt roher Wahrscheinlichkeit stellt das Framework sicher, dass generierte Peptide nicht nur hoch bewertete, sondern auch innerhalb des Modellbereichs statistisch valide sind.
Effizienz verbessert: Die „weiche" Bewertungsstrategie beschleunigt die Konvergenz zu chemischen Räumen mit hoher Belohnung und Vertrauenswürdigkeit im Vergleich zu traditionellen, unsicherheitsunbewussten Methoden.
Praktischer Nutzen: Die Methode bietet einen justierbaren Mechanismus (über Signifikanzniveaus), um den Kompromiss zwischen Erkundung und der Strenge des Anwendungsbereichs zu steuern und bietet eine robuste Strategie für Moleküldesign-Aufgaben, bei denen die Vorhersagezuverlässigkeit von größter Bedeutung ist.

Die Studie kommt zu dem Schluss, dass zwar die spezifische optimale Bewertungsfunktion je nach Aufgabe variieren mag, der synergistische Effekt der Kombination von CP, RL und generativen Modellen jedoch einen generalisierbaren Weg zu zuverlässigerem und effizienterem de-novo-Moleküldesign bietet.