Conformal Candidate Certification for Offline Model-Based Optimization

Technische Samenvatting: Conformal Candidate Certification voor Offline Model-Based Optimization

Probleemstelling
Offline Model-Based Optimization (MBO) streeft naar het identificeren van hoogpresterende ontwerpen $x$ (bijv. in eiwitengineering of materiaalkunde) met behulp van uitsluitend een vaste historische dataset $D$, zonder verdere toegang tot een oracle. De standaardpijplijn traint een surrogaatmodel $\hat{f}_\theta$ op $D$ en optimaliseert dit om kandidaten voor te stellen. Dit proces drijft kandidaten echter inherent naar out-of-distribution (OOD) regio's waar het surrogaatmodel onbetrouwbaar is, wat leidt tot systematische overschatting.

Bestaande methoden proberen dit te mitigeren door het voorstelmechanisme te modificeren (bijv. conservatieve surrogaten, invariante representaties of conditionele generatieve modellen). Er blijft echter een kritische kloof bestaan: deze methoden bieden geen per-kandidaat statistisch certificaat dat een voorgesteld ontwerp $x^*$ voldoet aan een doelwaarde $\tau$ (d.w.z. $f(x^*) \ge \tau$) met een gegarandeerd betrouwbaarheidsniveau. Het samenvoegen van de voorsteltaak (generatie) en de certificeringstaak (validatie) resulteert ofwel in een conservativiteitsstraf, ofwel in een gebrek aan rigoureuze dekking voor individuele kandidaten.

Methodologie: Conformal Candidate Certification (CCC)
De auteurs stellen Conformal Candidate Certification (CCC) voor, een post-hoc wrapper die een gekalibreerde eenzijdige ondergrens koppelt aan elke kandidaat die wordt gegenereerd door een offline MBO-algoritme. CCC scheidt de voorsteltaak van de certificeringstaak, waarbij de laatste wordt behandeld als een covariate-shift conformal prediction probleem.

De kerncomponenten van de methodologie zijn:

1. Covariate Shift Modellering via Gibbs Tilt:
   Het artikel modelleert de voorstelverdeling $Q_X$ (waaruit kandidaten worden getrokken) als een Gibbs-getilted versie van de historische datadistributie $P_X$:
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   Cruciaal is dat hetzelfde surrogaat $\hat{f}_\theta$ dat wordt gebruikt om de shift te genereren, ook de belangrijkheidsgewichten (importance weights) $w(x) = dQ_X/dP_X(x)$ levert, waardoor een aparte stap voor het schatten van de dichtheidsratio overbodig is.

2. Temperatuur Schatting:
   De temperatuurparameter $T$ wordt geschat via moment-matching. Om degeneratieve gewichten te voorkomen wanneer kandidaten OOD zijn ten opzichte van de validatieset, voegt de auteur de validatieset $D_{val}$ samen met de kandidaat-surrogaatscores om de bovenste staart van de referentiedistributie te verankeren.

3. Weighted Conformal Prediction (IW-CP):
   CCC maakt gebruik van importance-weighted conformal prediction om marginale validiteit onder de covariate shift te herstellen.

   • Score Functie: Een eenzijdige non-conformity score wordt gedefinieerd als $s(x, y) = (\mu(x) - y)/\sigma(x)$, waarbij $\mu$ en $\sigma$ het gemiddelde en de onzekerheid van het surrogaat zijn. Dit richt de kalibratiekans op de onderste staart (overschatting).
   • Gewogen Kwantiel: Voor een kandidaat $x^*$ berekent de methode een gewogen kwantiel van de kalibratiescores met behulp van Gibbs-afgeleide gewichten. Als het gewicht van het testpunt te hoog is ten opzichte van de kalibratieset, wordt de grens triviaal (wat correct aangeeft dat er onvoldoende steun is).
   • Certificering: De ondergrens wordt berekend als $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$. Een kandidaat wordt alleen gecertificeerd als $y(x^*) \ge \tau$.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert post-hoc kandidaatcertificering voor offline MBO als een covariate-shift conformal prediction probleem, waarbij de certificering expliciet wordt losgekoppeld van het voorstel.
2. Gibbs-Tilted Voorstel: Het toont aan dat entropie-geregulariseerde surrogaatmaximalisatie een Gibbs-getilde voorstelverdeling induceert, waardoor het surrogaat zelf de noodzakelijke gewichten voor weighted conformal prediction kan leveren zonder externe dichtheidschatting.
3. Theoretische Validiteit: De auteurs bewijzen eindige-steekproef marginale ondergrens-validiteit ($P\{Y^* \ge y(X^*)\} \ge 1-\alpha$) voor een nieuwe kandidaat uit de voorstelverdeling, uitgaande van oracle-gewichten.
4. Empirische Demonstratie: Een synthetische studie valideert dat CCC er succesvol in slaagt een niet-triviale subset van agressieve voorstellen te certificeren met een nagenoeg nul foutieve certificering, terwijl standaard (ongewogen) conformal prediction bezwijkt onder covariate shift.

Experimentele Resultaten
In een gecontroleerde synthetische studie met een agressieve Boltzmann-voorstelpool:

• Naïef Surrogaat: Accepteerde alle kandidaten maar behaalde slechts 41% ware precisie (veel fout-positieven).
• Ongewogen Conformal Prediction: Door de covariate shift te negeren, resulteerde dit in een empirische dekking van 0,416 tegenover een nominale doelwaarde van 0,90, met een fout-acceptatiepercentage van 22,7%.
• CCC: Certificeerde 16,7% van de kandidaatpool. Cruciaal was dat het een empirische dekking van 0,990 handhaafde bij de nominale 0,90, met een fout-acceptatiepercentage van minder dan 0,5%. De methode bleef conservatief maar niet-triviaal over diverse nominale niveaus ($\alpha \in \{0,05, \dots, 0,20\}$).

Betekenis en Claims
Het artikel claimt dat CCC een fundamentele oplossing biedt voor de vraag die offline MBO onbeantwoord heeft gelaten: "Welke voorgestelde kandidaten zijn betrouwbaar genoeg om te testen?"

• Scheiding van Zorgen: Door elke bestaande MBO-algoritme te wrappen, stelt CCC de voorstelmechanismen in staat om agressief te blijven, terwijl het garandeert dat alleen kandidaten met voldoende empirische steun (via een gekalibreerde ondergrens) worden doorgevoerd naar dure experimentele evaluatie.
• Robuustheid tegen Shift: De methode adresseert expliciet het faalmechanisme van standaard conformal prediction onder covariate shift, wat het dominante kenmerk is van offline MBO.
• Bescheiden Beperkingen: De auteurs erkennen dat de eindige-steekproef garantie strikt genomen alleen geldt voor oracle-gewichten. In de praktijk betekent het gebruik van geschatte Gibbs-gewichten dat de garantie niet exact is, hoewel de empirische resultaten suggereren dat de methode eerder conservatief (het behouden van dekking boven het nominale niveau) dan anti-conservatief is. Het artikel merkt op dat voor ruisige metingen aanvullende aannames vereist zijn om de latente doelfunctie $f(x^*)$ direct te certificeren, aangezien de huidige garantie betrekking heeft op de gemeten respons $Y^*$.

Samenvattend biedt CCC een post-hoc certificeringslaag die agressieve, potentieel onbetrouwbare MBO-voorstellen transformeert in een set kandidaten met rigoureuze statistische garanties, waarmee de kloof tussen offline optimalisatie en betrouwbare online besluitvorming wordt overbrugd.