🤖 machine learning

Safe Bayesian Optimization with Counterfactual Policies

Dit artikel stelt een Safe Bayesian Optimization-raamwerk voor dat conformal prediction gebruikt om de onzekere contrafeitelijke uitkomsten van een basisbeleid te schatten, waardoor wordt gewaarborgd dat nieuwe interventies voldoen aan veiligheidsbeperkingen ten opzichte van dat basisbeleid met een door de gebruiker gespecificeerde garantie op schendingspercentages.

Oorspronkelijke auteurs: Katherine Avery, Bruno Castro da Silva, David Jensen

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Katherine Avery, Bruno Castro da Silva, David Jensen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de chef-kok bent van een druk restaurant. Je hebt een beroemd, betrouwbaar "Standaardgerecht" waar klanten dol op zijn. Het is veilig, het smaakt goed en niemand wordt er ziek van. Nu wil je experimenteren met nieuwe, spannende recepten om het eten nog beter te maken.

Er is echter een addertje onder het gras: Je mag een nieuw gerecht niet serveren als het waarschijnlijk slechter is dan het Standaardgerecht.

Het probleem is: je hebt het nieuwe gerecht nog niet aan de klanten geserveerd, dus je weet niet zeker hoe ze zullen reageren. En je kunt het Standaardgerecht ook niet tegelijkertijd aan dezelfde klant serveren om het verschil te zien. Je hebt alleen een vermoeden (een schatting) van hoe het Standaardgerecht zou hebben geproefd als je het in plaats daarvan had geserveerd.

Dit is exact het probleem dat dit artikel aanpakt. Het gaat over Safe Bayesian Optimization met Counterfactual Policies. Laten we dat in een simpel verhaal uitleggen.

Het Probleem: Het "Wat als?" Dilemma

In de wereld van AI en besluitvorming willen we vaak de best mogelijke actie vinden (zoals de beste medicijn dosering of de beste film aanbeveling). Maar we hebben een veiligheidsregel: "Maak het niet slechter dan de huidige standaard."

Het lastige deel is de "counterfactual" (het tegenfeitelijke). Een counterfactual is een "wat als"-scenario.

Wat er echt gebeurde: De patiënt nam het nieuwe medicijn.
Wat er zou zijn gebeurd (Counterfactual): De patiënt had het oude, standaard medicijn genomen.

Omdat we niet terug in de tijd kunnen reizen om te zien wat er zou zijn gebeurd, moeten we de uitkomst van het standaard medicijn raden. Als onze gok fout is, serveren we per ongeluk een "slecht" nieuw gerecht, waardoor we de veiligheidsregel schenden.

De Oplossing: Het "Veiligheidsnet" (Conformal Prediction)

De auteurs stellen een slimme manier voor om dit gokspel te beheersen met een methode genaamd Conformal Prediction.

Denk aan een standaard gok als een enkel getal: "Het Standaardgerecht zou een score van 7/10 hebben gekregen."
De auteurs zeggen: "Nee, dat is te riskant! Wat als het eigenlijk een 9/10 was? Dan is jouw nieuwe gerecht (dat een 8/10 kreeg) eigenlijk slechter!"

In plaats van een enkel getal, creëren ze een Veiligheidsnet (een interval).

Ze zeggen: "We zijn voor 99% zeker dat het Standaardgerecht tussen de 6 en 8 zou hebben gescoord."
Als jouw nieuwe gerecht een 9 scoort, ben je veilig.
Als jouw nieuwe gerecht een 7 scoort, moet je voorzichtig zijn. Is het beter dan het worst-case scenario van het standaardgerecht (dat een 6 was)? Ja. Dus serveer je het.

Dit "Veiligheidsnet" zorgt ervoor dat zelfs als je gok iets afwijkt, je statistisch gezien gegarandeerd niet te vaak de veiligheidslijn overschrijdt.

De "Verkeersregelaar" (Online Conformal Prediction)

Het paper voegt een tweede laag bescherming toe. Stel je een verkeersregelaar voor die toezicht houdt op je restaurant.

Je mag een fout maken (een gerecht serveren dat achteraf slechter blijkt te zijn dan het standaardgerecht) slechts 1% van de tijd (dit is jouw door de gebruiker opgegeven foutmarge, $\alpha$ ).
Als je te veel fouten begint te maken, wordt de verkeersregelaar boos. Ze trekken het Veiligheidsnet aan, waardoor het moeilijker wordt voor je om nieuwe recepten te proberen.
Als je heel veilig bent en weinig fouten maakt, laat de regelaar het net versoepelen, zodat je meer spannende nieuwe gerechten kunt proberen.

Dit systeem past zichzelf constant aan om ervoor te zorgen dat je binnen de foutmarge van 1% blijft, zelfs terwijl je meer leert over de wereld.

Omgaan met "Nieuwe Klanten" (Covariate Shift)

Wat als je restaurant meestal jongeren bedient, maar plotseling een groep ouderen begint te bedienen? Het "Standaardgerecht" kan voor hen anders smaken.

Het paper legt uit hoe je dit Veiligheidsnet hiervoor kunt aanpassen. Het is als het herkalibreren van je weegschaal.

Als je data hebt van de "jonge" groep, maar je test op de "ouderen" groep, kun je de oude data niet zoma lòng gebruiken.
De auteurs laten zien hoe je de oude data kunt herwegen (re-weight). Het is also als zeggen: "Dit oude datapunt lijkt erg op onze nieuwe oudere klant, dus vertrouwen we dit meer. Dat andere oude datapunt is heel anders, dus vertrouwen we dat minder."
Dit stelt het systeem in staat om veilig te blijven, zelfs wanneer de omgeving verandert (zoals het verplaatsen naar een ander ziekenhuis met een andere patiëntenpopulatie).

De Resultaten: Werkt het?

De auteurs hebben dit idee op twee manieren getest:

Chemische Reacties: Een computersimulatie van het mengen van chemicaliën. Ze kenden het "ware" antwoord (omdat het een simulatie is) en controleerden of hun methode veilig bleef.
Film Aanbevelingen: Gebruikmakend van een echte dataset van filmbeoordelingen. Ze probeerden films aan te bevelen die minder populair waren maar wel hoog beoordeeld werden, waarbij ze ervoor zorgden dat ze geen film aanbevelen die slechter is dan de "standaard" populaire films.

De bevindingen waren:

De methode hield de "foutmarge" succesvol onder de limiet (bijv. onder de 1%).
Het vond betere "nieuwe gerechten" (hogere objectieve scores) dan wanneer men simpelweg bij de oude standaard zou blijven.
Het werkte zelfs wanneer de data uit verschillende bronnen kwam of wanneer het "Standaardgerecht" niet perfect bekend was.

De Kernboodschap

Dit paper geeft ons een wiskundige "autogordel" voor AI-experimenten. Het stelt ons in staat om nieuwe, potentieel betere dingen te proberen zonder angst om te crashen, door gebruik te maken van een slim, zelfregulerend veiligheidsnet dat rekening houdt met het feit dat we nooit echt kunnen weten "wat er zou zijn gebeurd" als we iets anders hadden gedaan. Het zorgt ervoor dat, zolang we de regels volgen, we de status quo niet vaker dan een minimaal, acceptabel aantal keren slechter maken.

Technische Samenvatting: Veilige Bayesiaanse Optimalisatie met Counterfactuele Beleidsregels

Probleemdefinitie

Het artikel behandelt de uitdaging van het uitvoeren van Veilige Bayesiaanse Optimalisatie (SafeOpt) in scenario's waar veiligheidsbeperkingen afhangen van counterfactuele uitkomsten. In veel sequentiële besluitvormingsscenario's (bijv. klinische trials) wordt een nieuwe interventie $x_t$ alleen als veilig beschouwd als de uitkomst $Y(x_t)$ niet significant lager valt dan de uitkomst van een gevestigde standaardzorgbeleid, $Y(x_{soc,t})$ .

De kern van de moeilijkheid is dat $x_{soc,t}$ een counterfact is: het standaardzorgbeleid wordt op tijdstip $t$ niet toegepast, waardoor $Y(x_{soc,t})$ niet geobserveerd kan worden. Traditionele SafeOpt-methoden vertrouwen op geobserveerde beperkingswaarden om een veilige verzameling acties te behouden. Wanneer de beperking $q(x_t)$ afhankelijk is van een niet-geobserveerde counterfact, zijn eenvoudige puntinschattingen van $Y(x_{soc,t})$ onvoldoende, omdat deze kunnen leiden tot schendingen van de veiligheidsbeperking die de door de gebruiker gespecificeerde tolerantiegraad $\alpha$ overschrijden.

Methodologie: SafeOpt-CPC

De auteurs stellen SafeOpt met Counterfactuele Beleidsbeperkingen (SafeOpt-CPC) voor, een framework dat split conformal prediction integreert in de SafeOpt-loop om niet-geobserveerde counterfacts te behandelen.

1. Conformal Estimatie van Counterfacts

In plaats van een puntinschatting voor de counterfactuele uitkomst te gebruiken, construeert de methode een valide onzekerheidsinterval (specifiek een eenzijdige bovengrens $\hat{U}^{soc}_t$ of ondergrens $\hat{L}^{soc}_t$ ) met behulp van split conformal prediction.

Data Splitting: De verzamelde data wordt gesplitst in een trainingsset $D_{train}$ (om een puntvoorspeller $\hat{Y}$ te trainen) en een kalibratieset $D_{cal}$ .
Scoring: Een scorefunctie $S(x, Y(x))$ wordt gedefinieerd als het verschil tussen de werkelijke uitkomst en de voorspelling (bijv. $Y(x) - \hat{Y}(x)$ voor maximalisatieproblemen).
Intervalconstructie: De bovengrens wordt berekend als:
$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$
waarbij $Q_{soc}$ het kwantiel van de scores is, $\epsilon$ een door de gebruiker gespecificeerde foutpercentage is, en $\tilde{w}$ genormaliseerde gewichten zijn.

2. Omgaan met Covariate Shift

De methode houdt rekening met distributieverschuivingen tussen de kalibratiedata en de testomgeving (waar SafeOpt wordt ingezet) door middel van weighted conformal prediction:

Scenario 1 (Verschillend Beleid): Als de kalibratiedata onder een ander beleid is verzameld dan het standaardzorgbeleid, worden Inverse Propensity Scoring (IPS) gewichten gebruikt: $w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$ .
Scenario 2 (Covariate Shift): Als de testpopulatie verschilt van de kalibratiepopulatie (bijv. andere ziekenhuisdemografie), worden gewichten afgeleid van de ratio van de dichtheden van de test- en kalibratiecovariaten: $w_i = P_{test}(x_i) / P_{cal}(x_i)$ .
Niet-stationariteit: Het artikel beschrijft algoritmen (Algoritmen 3 en 4) om changepoints (plotselinge verschuivingen) en drift (geleidelijke verschuivingen) te behandelen door gewichten opnieuw te berekenen of tijd-vervallende gewichten toe te passen.

3. Aanpassing van de Veiligheidsgarantie

Omdat de methode conformal prediction nest in SafeOpt, moet de doelstelling voor de scheidingsgraad worden aangepast. Laat $\epsilon'$ de gecombineerde foutkans van de conformal estimates zijn (afgeleid via een union bound voor meerdere geschatte termen). Het algoritme streeft naar een striktere interne scheidingsgraad $\alpha'$ om ervoor te zorgen dat de totale scheidingsgraad onder de door de gebruiker gedefinieerde $\alpha$ blijft:
$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$
Deze aanpassing houdt rekening met de kans dat de werkelijke counterfactuele uitkomst buiten het conformal interval valt.

4. Integratie met SafeOpt

Op elk tijdstip $t$ :

Als de voorgestelde actie $x_t$ de standaardzorg is, is de beperking triviaal voldaan.
Anders berekent het algoritme de conformal bovengrens $\hat{U}^{soc}_t$ voor de counterfactuele uitkomst.
De veiligheidsbeperking wordt geëvalueerd als $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$ , waarbij $\omega$ een tolerantieparameter is.
Standaard SafeOpt-logica (gebruikmakend van Gaussische processen en online conformal updates voor $\beta_t$ ) selecteert de volgende actie om de doelstelling te maximaliseren terwijl de veilige verzameling behouden blijft.

Belangrijkste Bijdragen

SafeOpt-CPC Framework: Een nieuwe methode die garandeert dat veilige Bayesiaanse optimalisatie-acties niet slechter presteren dan een bekend veilig beleid met meer dan een tolerantie $\omega$ voor $100(1-\alpha)\%$ van de samples, zelfs wanneer de uitkomsten van het beleid niet geobserveerd kunnen worden.
Robuustheid tegen Covariate Shift: De methode demonstreert hoe conformal estimates aangepast kunnen worden aan verschillende scenario's van covariate shift (beleidsmismatch en populatiedrift) via herwegingsmechanismen.
Formele Veiligheidsbewijzen: Het artikel levert een bewijs (Theorema 4.1) dat de methode voldoet aan de veiligheidsbeperkingen onder de aanname van weighted exchangeability. Het biedt ook een grens aan de coverage gap wanneer deze aanname wordt geschonden (Appendix B).
Empirische Validatie: Experimenten op een chemische reactiesimulator (waar werkelijke counterfacts bekend zijn) en de MovieLens-dataset (waar counterfacts gesimuleerd zijn) valideren dat de methode de scheidingsgraden onder $\alpha$ houdt terwijl de doelstelling wordt geoptimaliseerd.

Resultaten

Scheidingsgraden: In experimenten houdt SafeOpt-CPC de werkelijke scheidingsgraad consistent onder de gespecificeerde drempel $\alpha$ (bijv. 0,1). In contrast hiermee overschrijdt standaard Bayesiaanse optimalisatie zonder veiligheidsbeperkingen de drempel aanzienlijk.
Vergelijking met Oracle: SafeOpt-CPC is iets conservatiever dan een "oracle" baseline (die de ware counterfact kent), wat resulteert in een iets lagere maximale doelstellingwaarde, maar het garandeert veiligheid waar de oracle dat niet doet.
Gevoeligheid voor Tolerantie: Naarmate de tolerantieparameter $\omega$ toeneemt, keert het algoritme minder vaak terug naar het standaardzorgbeleid en bereikt het hogere doelstellingwaarden.
Niet-stationariteit: De methode past zich succesvol aan changepoints en drift aan wanneer gewichten correct worden herberekend. Het negeren van deze verschuivingen leidt tot een breuk in de coverage guarantees.
Gevoeligheid: De methode is robuust tegen ruis in data en estimator bias/variance, hoewel deze factoren het aantal fallback-stappen naar het standaardzorgbeleid verhogen.

Betekenis en Claims

Het artikel claimt dat SafeOpt-CPC een rigoureuze oplossing biedt voor hoog-risico toepassingen (zoals medische behandelingen) waar veiligheid wordt gedefinieerd relatief aan een standaardzorg in plaats van een absolute drempel. De auteurs benadrukken dat:

Het controleren van de scheidingsgraad cruciaal is voor veiligheid, maar de methode is ontworpen om distributie-vrij te zijn met betrekking tot de observaties van de veiligheidsbeperking.
De aanpak generaliseerbaar is naar elke beperking die een geschatte hoeveelheid vereist, niet alleen counterfacts.
De methode werkt onder minimale aannames (weighted exchangeability) en biedt formele grenzen aan veiligheidsschendingen.

De auteurs merken bescheiden beperkingen op: als de conformal quantiles te breed zijn of de tolerantie $\omega$ te laag is, kan het algoritme te conservatief worden en te vaak terugvallen op het standaardzorgbeleid. Daarnaast, als er meerdere geschatte termen in de beperking aanwezig zijn, wordt de effectieve scheidingsgraad $\alpha'$ zeer klein, wat de exploratie potentieel kan beperken. Het artikel concludeert dat hoewel de focus ligt op het controleren van de scheidingsgraad, het framework kan worden uitgebreid naar andere beperkingsfuncties, een richting die voor toekomstig werk wordt opengelaten.