Conformal Candidate Certification for Offline Model-Based Optimization

Technisches Resümee: Konforme Kandidatenzertifizierung für die Offline-Modellbasierte Optimierung

Problemstellung
Die Offline-Modellbasierte Optimierung (MBO) zielt darauf ab, hochperformante Designs $x$ (z. B. in der Proteintechnik oder Materialwissenschaft) zu identifizieren, indem ausschließlich ein fester historischer Datensatz $D$ verwendet wird, ohne weiteren Zugriff auf einen Oracle-Mechanismus. Die Standard-Pipeline trainiert ein Surrogatmodell $\hat{f}_\theta$ auf $D$ und optimiert dieses, um Kandidaten vorzuschlagen. Dieser Prozess treibt die Kandidaten jedoch inhärent in Out-of-Distribution-Regionen (OOD), in denen das Surrogatmodell unzuverlässig ist, was zu einer systematischen Überschätzung führt.

Bestehende Methoden versuchen dies zu mildern, indem sie den Vorschlagsmechanismus modifizieren (z. B. durch konservative Surrogate, invariante Repräsentationen oder konditionale generative Modelle). Eine kritische Lücke bleibt bestehen: Diese Methoden bieten keine pro-Kandidaten-statistische Zertifizierung, die garantiert, dass ein vorgeschlagener Entwurf $x^*$ einen Zielschwellenwert $\tau$ erfüllt (d. h. $f(x^*) \ge \tau$) mit einem garantierten Konfidenzniveau. Die Vermischung der Aufgaben Vorschlag (Generierung) und Zertifizierung (Validierung) führt entweder zu einer Konservativitätsstrafe oder zu einem Mangel an rigorosen Abdeckungsgarantien für einzelne Kandidaten.

Methodik: Konforme Kandidatenzertifizierung (CCC)
Die Autoren schlagen die Conformal Candidate Certification (CCC) vor, einen Post-hoc-Wrapper, der jedem durch einen Offline-MBO-Algorithmus generierten Kandidaten eine kalibrierte einseitige Untergrenze zuordnet. CCC trennt die Aufgabe des Vorschlags von der Zertifizierung, indem es die Zertifizierung als ein Kovariatenverschiebung-Konformes-Prädiktionsproblem (covariate-shift conformal prediction problem) behandelt.

Die Kernkomponenten der Methodik sind:

1. Modellierung der Kovariatenverschiebung mittels Gibbs-Tilt:
   Die Autoren modellieren die Vorschlagsverteilung $Q_X$ (aus der die Kandidaten gezogen werden) als eine mittels Gibbs-Tilt modifizierte Version der historischen Datenverteilung $P_X$. Dies ergibt sich natürlich aus der Entropie-regulierten Surrogat-Maximierung:
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   Entscheidend ist, dass dasselbe Surrogat $\hat{f}_\theta$, das zur Generierung der Verschiebung verwendet wird, auch die Gewichtungsfunktionen $w(x) = dQ_X/dP_X(x)$ liefert, wodurch ein separater Schritt zur Schätzung des Dichteverhältnisses entfällt.

2. Temperaturschätzung:
   Der Temperaturparameter $T$ wird mittels Momentenabgleich (moment-matching) geschätzt. Um degenerative Gewichte zu vermeiden, wenn Kandidaten im Vergleich zum Validierungsset OOD sind, mischt die Autoren das Validierungsset $D_{val}$ mit den Scores des Kandidaten-Surrogats, um das obere Ende der Referenzverteilung zu verankern.

3. Gewichtete Konforme Prädiktion (IW-CP):
   CCC verwendet gewichtete konforme Prädiktion, um die marginale Validität unter der Kovariatenverschiebung wiederherzustellen.

   • Score-Funktion: Ein einseitiger Nichtkonformitäts-Score ist definiert als $s(x, y) = (\mu(x) - y)/\sigma(x)$, wobei $\mu$ und $\sigma$ der Mittelwert und die Unsicherheit des Surrogats sind. Dies fokussiert die Kalibrierungswahrscheinlichkeit auf das untere Ende (Überschätzung).
   • Gewichtetes Quantil: Für einen Kandidaten $x^*$ berechnet die Methode ein gewichtetes Quantil der Kalibrierungs-Scores unter Verwendung der aus dem Gibbs-Verfahren abgeleiteten Gewichte. Wenn das Gewicht des Testpunkts im Verhältnis zum Kalibrierungsset zu hoch ist, wird die Schranke trivial (was korrekt auf unzureichende Unterstützung hinweist).
   • Zertifizierung: Die Untergrenze wird berechnet als $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$. Ein Kandidat wird nur zertifiziert, wenn $y(x^*) \ge \tau$ gilt.

Wesentliche Beiträge

1. Formulierung: Das Paper formuliert die Post-hoc-Kandidatenzertifizierung für Offline-MBO als ein Problem der konformen Prädiktion unter Kovariatenverschiebung und entkoppelt explizit die Zertifizierung vom Vorschlag.
2. Gibbs-getiltes Proposal: Es zeigt auf, dass die Entropie-regulierte Surrogat-Maximierung eine Gibbs-getilte Vorschlagsverteilung induziert, was es ermöglicht, dass das Surrogat selbst die notwendigen Gewichte für die gewichtete konforme Prädiktion liefert, ohne dass eine externe Dichteschätzung erforderlich ist.
3. Theoretische Validität: Die Autoren beweisen die marginale Untergrenzen-Validität in endlichen Stichproben ($P\{Y^* \ge y(X^*)\} \ge 1-\alpha$) für einen frischen Kandidaten aus der Vorschlagsverteilung unter der Annahme von Oracle-Gewichten.
4. Empirische Demonstration: Eine synthetische Studie validiert, dass CCC erfolgreich eine nicht-triviale Teilmenge aggressiver Vorschläge mit nahezu null Fehlzertifizierungen zertifiziert, während die Standard-(ungewichtete) konforme Prädiktion unter Kovariatenverschiebung kollabiert.

Experimentelle Ergebnisse
In einer kontrollierten synthetischen Studie mit einem aggressiven Boltzmann-Proposal-Pool:

• Naives Surrogat: Akzeptierte alle Kandidaten, erreichte aber nur eine wahre Präzision von 41 % (viele Falsch-Positive).
• Ungewichtete konforme Prädiktion: Durch das Ignorieren der Kovariatenverschiebung resultierte eine empirische Abdeckung von 0,416 gegenüber einem nominalen Ziel von 0,90, mit einer Falschakzeptanzrate von 22,7 %.
• CCC: Zertifizierte 16,7 % des Kandidatenpools. Entscheidend ist, dass es eine empirische Abdeckung von 0,990 bei einem nominalen Niveau von 0,90 beibehielt, mit einer Falschakzeptanzrate von unter 0,5 %. Die Methode blieb konservativ, aber nicht trivial (non-vacuous) über verschiedene nominale Level ($\alpha \in \{0,05, \dots, 0,20\}$) hinweg.

Bedeutung und Behauptungen
Das Paper behauptet, dass CCC eine fundierte Lösung für die Frage bietet, die das Offline-MBO unbeantwortet gelassen hat: "Welche vorgeschlagenen Kandidaten sind vertrauenswürdig genug, um getestet zu werden?"

• Trennung der Zuständigkeiten: Durch das Einbetten (Wrapping) eines jeden bestehenden MBO-Algorithmus ermöglicht CCC es, den Vorschlagsmechanismus aggressiv zu halten, während gleichzeitig sichergestellt wird, dass nur Kandidaten mit ausreichender empirischer Unterstützung (über eine kalibrierte Untergrenze) zur teuren experimentellen Evaluierung weitergeleitet werden.
• Robustheit gegenüber Verschiebung: Die Methode adressiert explizit den Ausfallmodus der Standard-konformen Prädiktion unter Kovariatenverschiebung, welcher das dominante Merkmal von Offline-MBO ist.
• Modeste Einschränkungen: Die Autoren räumen ein, dass die Garantie in endlichen Stichproben streng genommen nur für Oracle-Gewichte gilt. In der Praxis bedeutet die Verwendung geschätzter Gibbs-Gewichte, dass die Garantie nicht exakt ist, obwohl die empirischen Ergebnisse darauf hindeuten, dass die Methode eher konservativ (behält die Abdeckung über dem nominalen Niveau) als anti-konservativ bleibt. Das Paper stellt fest, dass für verrauschte Messungen zusätzliche Annahmen erforderlich sind, um das latente Ziel $f(x^*)$ direkt zu zertifizieren, da die aktuelle Garantie auf die gemessene Antwort $Y^*$ anwendbar ist.

Zusammenfassend lässt sich sagen, dass CCC eine Post-hoc-Zertifizierungsschicht bietet, die potenziell unzuverlässige, aggressive MBO-Vorschläge in eine Menge von Kandidaten mit rigorosen statistischen Garantien transformiert und so die Lücke zwischen Offline-Optimierung und zuverlässiger Online-Entscheidungsfindung schließt.