ConfHit: Conformal Generative Design with Oracle Free Guarantees

Das Paper stellt ConfHit vor, ein distributionsfreies Framework, das durch gewichtete Austauschbarkeit und eine verschachtelte Testprozedur zuverlässige statistische Garantien für die Generierung von Wirkstoffkandidaten ohne experimentelle Oracle bietet.

Das Wesentliche

Das große Problem: Der "Teure Blindflug" in der Medikamentenentwicklung

Stellen Sie sich vor, Sie sind ein Architekt, der neue, fantastische Häuser entwirft. Sie haben einen super-intelligenten Roboter (ein KI-Modell), der Ihnen tausende von Hausentwürfen pro Sekunde generiert. Das ist toll! Aber hier ist das Problem: Um zu wissen, ob ein Haus wirklich stabil ist und nicht einstürzt, müssen Sie es tatsächlich bauen und testen. Das kostet aber Millionen von Euro und Jahre an Zeit.

In der echten Welt der Medikamentenentwicklung ist es genau so:

1. Eine KI generiert Millionen von neuen Molekülen (den "Hausentwürfen").
2. Um zu prüfen, ob sie wirklich gegen eine Krankheit wirken, müssen Chemiker sie im Labor synthetisieren und testen. Das ist extrem teuer und langsam.
3. Das Risiko: Die KI könnte 99 % Müll produzieren. Wenn Sie alle testen, verschwenden Sie Ihr Budget. Wenn Sie nur wenige testen, verpassen Sie vielleicht das eine geniale Molekül.

Bisherige Methoden zur KI-Überprüfung hatten ein großes Manko: Sie gingen davon aus, dass man sofort "wissen" könnte, ob ein Molekül gut ist, ohne es zu testen (wie ein magischer Kristallball). In der Realität gibt es diesen Kristallball nicht.

Die Lösung: CONFHIT – Der "Statistische Sicherheitsgurt"

Die Forscher haben CONFHIT entwickelt. Man kann sich das wie einen Sicherheitsgurt für die KI vorstellen, der Ihnen garantiert: "Wenn wir diese kleine Auswahl an Molekülen im Labor testen, werden wir mit sehr hoher Wahrscheinlichkeit mindestens eines finden, das funktioniert."

Hier ist, wie CONFHIT funktioniert, mit ein paar einfachen Analogien:

1. Der "Geister-Orakel"-Trick (Kein magischer Kristallball nötig)

Frühere Methoden brauchten ein "Orakel" – eine perfekte Vorhersage, die sofort sagt, ob ein Molekül gut ist. Da das nicht existiert, haben die alten Methoden oft versagt.
CONFHIT ist schlauer. Es nutzt Vergangenheitsdaten.

• Die Analogie: Stellen Sie sich vor, Sie haben eine alte Liste von 10.000 bereits getesteten Molekülen (die "Kalibrierungsdaten"). Sie wissen, welche davon gut waren und welche schlecht.
• CONFHIT vergleicht die neuen, von der KI generierten Moleküle mit dieser alten Liste. Es fragt: "Ähneln sich die neuen Moleküle den alten, oder sind sie so fremdartig, dass unsere alten Regeln nicht mehr gelten?"
• Wenn sie zu fremd sind (ein sogenannter Verteilungs-Shift), passt CONFHIT die Bewertung an, genau wie ein Richter, der neue Gesetze für neue Umstände anwendet. So braucht man kein magisches Orakel für die Zukunft, sondern nutzt die Statistik der Vergangenheit.

2. Der "Schnelltest" für ganze Gruppen (Zertifizierung)

Statt jedes einzelne Molekül zu prüfen, prüft CONFHIT eine ganze Gruppe (einen "Batch") auf einmal.

• Die Analogie: Statt jeden einzelnen Apfel in einem Korb einzeln zu schmecken, um zu sehen, ob einer faul ist, nimmt CONFHIT einen cleveren statistischen Trick. Es berechnet eine Art "Wahrscheinlichkeits-Score".
• Wenn dieser Score niedrig genug ist, sagt CONFHIT: "Ich garantiere zu 95 % (oder wie hoch Sie es wünschen), dass in diesem Korb mindestens ein perfekter Apfel ist."
• Das ist die Zertifizierung. Sie müssen nicht alle testen, um sicher zu sein, dass der Korb "gut" ist.

3. Der "Scharfschützen-Modus" (Design & Verfeinerung)

Oft hat man ein Budget für nur 5 Labor-Tests. CONFHIT hilft Ihnen, die besten 5 aus 1000 Kandidaten auszuwählen.

• Die Analogie: Stellen Sie sich vor, Sie haben einen Haufen von 1000 Karten, und Sie wissen, dass mindestens eine "Joker-Karte" (das perfekte Molekül) dabei ist. Sie dürfen aber nur 5 Karten aufdecken.
• CONFHIT sortiert die Karten nicht einfach nach "Hoffnung", sondern nach statistischer Sicherheit. Es schneidet die unwahrscheinlichen Karten weg, bis nur noch ein kleiner, kompakter Haufen übrig bleibt.
• Das Ergebnis: Sie erhalten eine kurze Liste von vielleicht nur 3 oder 4 Molekülen. Die Garantie bleibt bestehen: "Wenn Sie diese 3 testen, ist die Wahrscheinlichkeit extrem hoch, dass Sie einen Treffer landen."

Warum ist das revolutionär?

1. Kein Orakel nötig: Es funktioniert auch dann, wenn man nicht sofort weiß, ob ein Molekül gut ist.
2. Sicherer Umgang mit neuen Daten: KI-Modelle generieren oft Dinge, die von den Trainingsdaten abweichen. CONFHIT korrigiert diese Unterschiede automatisch, damit die Statistiken nicht lügen.
3. Ressourcenschonend: In der Pharmaforschung ist jedes Labor-Test teuer. CONFHIT hilft, das Budget so zu nutzen, dass man nicht auf leere Hoffnungen setzt.

Zusammenfassung in einem Satz

CONFHIT ist ein cleveres statistisches Werkzeug, das KI-generierte Medikamentenkandidaten so filtert und bewertet, dass Wissenschaftler mit mathematischer Sicherheit wissen können: "Wir müssen nur diese wenigen, kleinen Gruppen im Labor testen, um garantiert einen Erfolg zu haben – ohne dabei Millionen von Dollar für unnötige Tests zu verschwenden."*

Es verwandelt den blinden Zufall der KI in einen verlässlichen, berechenbaren Weg zur Entdeckung neuer Heilmittel.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die Arbeit adressiert eine kritische Lücke im Bereich des wissenschaftlichen Entdeckens mittels tiefer generativer Modelle, insbesondere in der Wirkstoffentwicklung (Drug Discovery). Obwohl generative Modelle in der Lage sind, neue molekulare Kandidaten zu erzeugen, fehlt es oft an verlässlichen statistischen Garantien dafür, dass diese Kandidaten tatsächlich die gewünschten biochemischen Eigenschaften erfüllen.

Das Hauptproblem lässt sich in drei Herausforderungen unterteilen:

1. Budgetbeschränkungen: Experimentelle Validierungen (Wet-Lab) sind teuer und zeitintensiv. Man kann nicht alle generierten Kandidaten synthetisieren und testen.
2. Fehlender Oracle-Zugriff: Bestehende Methoden der konformen Vorhersage (Conformal Prediction, CP) benötigen einen „Oracle", der neue Proben sofort bewertet (z. B. durch Vergleich mit einem Goldstandard oder experimentelle Validierung). In der Wirkstoffentwicklung ist dies jedoch oft unmöglich, bevor die Synthese stattfindet.
3. Verteilungsverschiebung (Distribution Shift): Die von generativen Modellen erzeugten Kandidaten folgen oft einer anderen Verteilung als die historischen Kalibrierungsdaten. Dies verletzt die Annahme der Austauschbarkeit (Exchangeability), die für klassische konforme Methoden essenziell ist.

Das Ziel ist es, einen Rahmen zu schaffen, der für eine gegebene Eingabe (z. B. ein Leitmolekül oder eine Protein-Tasche) eine Menge generierter Kandidaten liefert, die mit einer vordefinierten statistischen Konfidenz $1-\alpha$ mindestens einen gültigen Treffer (Hit) enthält, ohne dabei einen Oracle für die neuen Proben zu benötigen.

2. Methodik: CONFHIT

CONFHIT ist ein modellagnostisches Framework, das zwei zentrale Fragen beantwortet:

• Zertifizierung (Certification): Kann garantiert werden, dass eine generierte Batch mindestens einen Hit enthält?
• Design: Kann diese Menge auf eine kompakte Teilmenge verkleinert werden, ohne die Garantie zu verlieren?

Die Methodik basiert auf drei technischen Säulen:

A. Gewichte basierend auf Dichteverhältnissen (Density Ratio Weighting)

Um die Verteilungsverschiebung zwischen historischen Kalibrierungsdaten ($P$) und generierten Testdaten ($Q$) zu korrigieren, nutzt CONFHIT das Dichteverhältnis $w(x) = dQ/dP(x)$.

• Anstatt die Austauschbarkeit innerhalb der generierten Daten zu fordern, nutzt das Framework die gewichtete Austauschbarkeit zwischen den inaktiven Kalibrierungsdaten (historische Moleküle ohne gewünschte Eigenschaft) und den generierten Testdaten.
• Dies eliminiert die Notwendigkeit eines Oracles für die neuen Proben, da die Korrektur rein auf der Struktur der Daten und geschätzten Dichteverhältnissen beruht.

B. Gemeinsame gewichtete konforme p-Werte (Joint Weighted Conformal P-Values)

Für das Zertifizierungsproblem wird ein p-Wert konstruiert, der die Nullhypothese testet, dass keines der generierten Moleküle einen Hit darstellt.

• Es wird eine Übereinstimmungsfunktion (Conformity Score) $V$ verwendet, die auf einem vorab trainierten Vorhersagemodell $\hat{\mu}$ basiert (z. B. ein Klassifikator für die gewünschte Eigenschaft).
• Durch Permutationen der Kalibrierungs- und Testdaten unter Berücksichtigung der Gewichte $w(x)$ wird ein gewichteter Permutations-p-Wert berechnet.
• Dieser p-Wert quantifiziert die Evidenz gegen die globale Nullhypothese. Ist der p-Wert kleiner als das Signifikanzniveau $\alpha$, wird die Menge zertifiziert.

C. Konforme verschachtelte Tests (Conformal Nested Testing)

Für das Design-Problem (Verkleinerung der Menge) wird eine sequenzielle Strategie angewendet:

• Es wird eine verschachtelte Folge von Kandidatenmengen betrachtet (z. B. die ersten $k$ generierten Moleküle).
• Für jede Menge wird ein p-Wert berechnet.
• Das Verfahren stoppt bei der kleinsten Menge $k$, deren p-Wert unter $\alpha$ fällt.
• Ein theoretischer Beweis zeigt, dass diese Strategie die Wahrscheinlichkeit, eine Menge ohne Treffer zurückzugeben, auf $\le \alpha$ begrenzt, selbst wenn multiple Tests durchgeführt werden, dank der verschachtelten Struktur der Hypothesen.

3. Schlüsselbeiträge

1. Formalisierung des Problems: CONFHIT definiert erstmals das Problem der generativen Modellierung unter Ressourcenbeschränkungen mit konformen Gültigkeitsgarantien, die explizit den Mangel an Oracle-Zugriff und Verteilungsverschiebungen adressieren.
2. Neue p-Wert-Konstruktion: Einführung einer Klasse von dichteverhältnis-gewichteten p-Werten für mehrere Testproben, die unter Verteilungsverschiebung gültig bleiben.
3. Verschachteltes Testverfahren: Entwicklung eines allgemeinen Rahmens für verschachtelte Tests, der finite-Stichproben-Garantien für die Konstruktion kompakter, zertifizierter Mengen bietet, ohne Multiplizitätskorrekturen (wie Bonferroni) zu benötigen, die oft zu konservativ sind.
4. Praktische Robustheit: Demonstration robuster Strategien für die Schätzung der Dichteverhältnisse und die Modellierung der Scores, die in realen Szenarien funktionieren.

4. Ergebnisse

Die Autoren evaluierten CONFHIT auf zwei repräsentativen Aufgaben:

1. Eingeschränkte Moleküloptimierung (CMO): Generierung von Molekülen, die eine Ziel Eigenschaft (z. B. DRD2-Bindung oder QED) erfüllen und einem Seed-Molekül ähnlich sind.
2. Strukturbasierte Wirkstoffentwicklung (SBDD): Generierung von Liganden, die an ein spezifisches 3D-Protein binden.

Ergebnisse:

• Gültige Abdeckung: CONFHIT hielt die Fehlerrate (die Wahrscheinlichkeit, eine Menge ohne Treffer zu zertifizieren) konsistent unter dem Zielniveau $\alpha$ über verschiedene Modelle (VAE, Diffusion, Transformer) hinweg.
• Kompaktheit: Im Vergleich zu Baselines wie der Bonferroni-Korrektur (die oft leere Mengen liefert) oder reinen Zertifizierungsansätzen (ohne Verkleinerung) lieferte CONFHIT deutlich kompaktere Listen (Shortlists).
  • Beispiel: Bei SBDD reduzierte CONFHIT die durchschnittliche Menge von 15 auf ca. 4 Moleküle, während die Fehlerrate kontrolliert blieb. Bonferroni lieferte in diesem Fall fast immer leere Mengen.
• Robustheit: Das Verfahren blieb auch bei Verwendung von geschätzten (und damit verrauschten) Dichteverhältnissen und schwächeren Vorhersagemodellen gültig, wenngleich die statistische Power (die Fähigkeit, echte Treffer zu finden) leicht abnahm.
• Oracle-Freiheit: Im Gegensatz zu früheren Methoden benötigte CONFHIT keine experimentelle Validierung der generierten Proben während des Trainings oder der Kalibrierung.

5. Bedeutung und Fazit

CONFHIT stellt einen Paradigmenwechsel dar, indem es generative Modelle in der wissenschaftlichen Entdeckung von reinen „Generatoren" zu verlässlichen Entscheidungswerkzeugen macht.

• Praktische Relevanz: In der pharmazeutischen Forschung, wo experimentelle Budgets begrenzt sind, ermöglicht CONFHIT Wissenschaftlern, eine kleine, aber statistisch garantierte Menge von Kandidaten für die Synthese auszuwählen. Dies minimiert das Risiko, Ressourcen für völlig unbrauchbare Moleküle zu verschwenden.
• Theoretische Stärke: Die Arbeit beweist, dass man auch ohne Oracle und bei Verteilungsverschiebungen strenge statistische Garantien für generative Modelle aufrechterhalten kann.
• Zukunftsperspektive: Obwohl die Validierung derzeit auf computergestützten Oracles (Simulationen) basiert, legt CONFHIT den Grundstein für den sicheren Einsatz generativer KI in kritischen Bereichen, wo reale Experimente teuer und riskant sind.

Zusammenfassend bietet CONFHIT einen prinzipiellen und robusten Rahmen, der die Lücke zwischen der Fähigkeit generativer Modelle, neue Ideen zu erzeugen, und der Notwendigkeit, deren Qualität mit hoher statistischer Sicherheit zu garantieren, schließt.