📊 statistics

Regime-Conditioned Evaluation in Multi-Context Bayesian Optimization

Dit artikel betoogt dat standaard onvoorwaardelijke rangschikkingen in transfer Bayesiaanse optimalisatie instabiel zijn vanwege verborgen regimevariabelen, en stelt de Portable Regime Score (PRS) en het RegimePlanner-algoritme voor om de selectie van de acquisitiefunctie te conditioneren op waarneembare contextparameters zoals budget en voorafgaande kwaliteit, waardoor superieure prestaties worden bereikt en betrouwbaardere, contextbewuste evaluaties mogelijk worden gemaakt.

Oorspronkelijke auteurs: Noel Thomas

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Noel Thomas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die moet kiezen tussen twee kookstrategieën: De Gierige Chef en De Verkennende Chef.

De Gierige Chef kijkt naar de ingrediënten die je hebt, kiest degene die er op dit moment het beste uitziet en houdt daar vast aan. Als het recept zegt "gebruik de frisste tomaat", grijpen ze onmiddellijk de frisste tomaat.
De Verkennende Chef is iets nieuwsgieriger. Ze proberen misschien eerst een paar verschillende tomaatjes om te zien of er een verborgen juweeltje tussen zit, zelfs als de eerste er al prima uitzag. Ze zijn bereid een beetje tijd te verspillen aan proeven om de perfecte tomaat te vinden.

Jarenlang heeft de wetenschappelijke gemeenschap "Kookwedstrijden" gehouden om te zien welke chef beter is. Ze draaien hetzelfde recept (een benchmark) en verklaren een winnaar. Maar dit paper, "Regime-Conditioned Evaluation in Multi-Context Bayesian Optimization", betoogt dat deze wedstrijden gefixt zijn omdat ze de context van de keuken negeren.

De auteur, Noel Thomas, beweert dat of de Gierige Chef of de Verkennende Chef wint, volledig afhangt van twee onzichtbare factoren:

Hoeveel tijd je hebt (Budget): Heb je 5 minuten om te koken, of 5 uur?
Hoe goed je receptenboek is (Kwaliteit van de Prior): Is je receptenboek vol met accurate tips, of is het grotendeels fout?

Het "Flip-Flop"-probleem

Het paper wijst op een bizarre verschijnsel: Eenzelfde wedstrijd kan twee tegenovergestelde winnaars hebben, en beide zijn technisch correct.

Scenario A (Korte tijd, slecht recept): Je hebt zeer weinig tijd en een slecht receptenboek. De Gierige Chef wint omdat je geen tijd hebt om te verkennen, en het receptenboek zo slecht is dat "verkennen" op basis daarvan tijdverspilling is.
Scenario B (Lange tijd, slecht recept): Je hebt ruimschoots tijd en een slecht receptenboek. De Verkennende Chef wint omdat ze tijd hebben om het slechte recept te negeren en door middel van trial and error het echt beste ingrediënt te vinden.
Scenario C (Korte tijd, geweldig recept): Je hebt weinig tijd maar een perfect receptenboek. De Gierige Chef wint omdat het recept zo goed is dat je niet hoeft te verkennen; volg gewoon de instructies!

Het probleem: De meeste wetenschappelijke papers draaien alleen Scenario A of Scenario B, maar ze vertellen je niet welke ze hebben gedraaid. Ze zeggen gewoon: "De Gierige Chef is beter!" of "De Verkennende Chef is beter!" Het paper betoogt dat zonder kennis van de tijd en de kwaliteit van het recept, deze ranglijten betekenisloos zijn. Het is als zeggen "Hardloopschoenen zijn beter dan laarzen" zonder te zeggen of je een marathon loopt of door een moeras wandelt.

De oplossing: De "Portable Regime Score" (PRS)

Om dit op te lossen, bedenkt de auteur een eenvoudige score genaamd PRS (Portable Regime Score). Denk hierbij aan een Keukenthermometer.

Voordat je zelfs maar begint met koken, kun je je keuken meten:

Hoeveel tijd heb ik? (Budget)
Hoe betrouwbaar is mijn receptenboek? (Kwaliteit van de Prior)

De formule is eenvoudig:

PRS = (Beschikbare tijd) × (Hoe slecht het recept is)

Lage PRS: Je hebt weinig tijd of een geweldig recept. Strategie: Wees Gierig. Vertrouw op het recept.
Hoge PRS: Je hebt veel tijd of een vreselijk recept. Strategie: Wees een Verkennende Chef. Negeer het recept en proef alles.

De "Slimme Schakelaar" (REGIMEPLANNER)

Het paper diagnosticeert niet alleen het probleem; het bouwt een robotchef genaamd REGIMEPLANNER.

Deze robot kiest niet een strategie en houdt daar vast aan. In plaats daarvan controleert het constant de Keukenthermometer (PRS) terwijl het kookt.

Als de robot begint met een slecht recept en veel tijd, gedraagt het zich als een Verkennende Chef.
Terwijl het kookt en meer leert (waardoor het recept in real-time "beter" wordt), daalt de thermometer.
Zodra de thermometer een bepaald niveau bereikt, schakelt de robot direct over naar Gierig en stopt met tijd verspillen aan verkennen.

Het resultaat: In de tests versloeg deze slimme schakelende robot zowel de pure Gierige chef als de pure Verkennende chef, en het versloeg zelfs een "perfecte orakel" dat de beste strategie voor elk specifiek moment kende.

De grote les

Het paper auditteert 40 recente wetenschappelijke papers en stelt vast dat 98% van hen deze contextfactoren negeert. Ze rapporteren één winnaar zonder te zeggen of ze een kort of lang budget hadden, of of hun "prior" (startkennis) goed of slecht was.

De auteur noemt dit het "No-Free-Leaderboard"-principe. Het betekent dat je geen enkele, universele lijst van "Beste Algoritmen" kunt hebben, omdat de winnaar verandert afhankelijk van de situatie.

In eenvoudige termen:

Vertrouw niet op een ranglijst die je niet vertelt over het budget (tijd/geld) en de startkennis (hoe goed de initiële gok was).
Het "beste" hulpmiddel is geen vast hulpmiddel; het is een hulpmiddel dat verandert afhankelijk van de situatie.
Als je wilt weten welke methode je moet gebruiken, bereken eerst je PRS. Is deze laag, wees dan gierig. Is deze hoog, wees dan nieuwsgierig.

Het paper concludeert dat, zolang wetenschappers deze cijfers niet rapporteren (Budget, Kwaliteit van de Prior, Aantal Contexten), hun claims over welk algoritme "het beste" is, slechts metingen zijn van hun specifieke experimentele opstelling, en geen bewijs van een superieure methode.

Technische Samenvatting: Regime-geconditioneerde Evaluatie in Multi-Context Bayesiaanse Optimalisatie

Probleemstelling

Huidige evaluaties van transfer Bayesiaanse Optimalisatie (BO) en acquisitiefuncties lijden aan een fundamentele meetfout: ze rapporteren gemiddelde behandelingseffecten (ATE) over verborgen regimevariabelen in plaats van conditioneel gemiddelde behandelingseffecten (CATE) specifiek voor de context van de praktijk. Het artikel stelt dat de prestatieranking van acquisitiefuncties (bijv. Greedy versus UCB) geen intrinsieke eigenschap van het algoritme is, maar een functie van het evaluatieregime, specifiek gedefinieerd door de budgetratio ( $B/|A|$ ), de kwaliteit van de prior ( $\rho$ ), het aantal contexten ( $K$ ) en het metriektype.

Een audit van 40 recente papers (2022–2025) onthult dat 98% de budgetratio $B/|A|$ niet varieert als een gecontroleerde as, en dat 80% slechts één familie van metrieken rapporteert. Bijgevolg zijn bestaande leaderboards "regime-ongeregeld". De auteurs demonstreren dat identieke benchmarks volledig tegenstrijdige conclusies kunnen opleveren, uitsluitend gebaseerd op het budget: op de GDSC2-drugrespons-benchmark presteert Greedy 0,050 Hit@1 beter dan UCB bij $B=50$ , terwijl UCB 0,035 Hit@1 beter presteert dan Greedy bij $B=100$ . Dit zijn geen tegenstrijdigheden, maar verschillende CATE's. Het artikel stelt dat zonder controle over deze regimevariabelen, elke gerapporteerde ranking een eigenschap is van de meetopstelling, niet van het algoritme.

Methodologie

1. De Portable Regime Score (PRS)

Om het regime waarneembaar te maken, definiëren de auteurs de Portable Regime Score (PRS):
$PRS = \frac{B}{|A|} (1 - \rho)$
Waarbij:

$B$ : Budget per context.
$|A|$ : Grootte van de actieruimte.
$\rho$ : Spearman rangcorrelatie tussen prior-middens en ware actiewaarden (meetbaar vanuit een pilotrun).

De PRS dient als een een-dimensionale ordeparameter. Een hoge PRS duidt op een groot budget ten opzichte van de actieruimte en/of een zwakke prior, wat suggereert dat exploratie waarschijnlijk rendabel zal zijn. Een lage PRS duidt op een sterke prior of beperkt budget, wat uitbuiting (Greedy) bevoordeelt.

2. Theoretisch Kader

Het artikel introduceert de No-Free-Leaderboard Proposition (Propositie A.11). Het bewijst dat als het CATE van een acquisitiekeuze van teken verandert over een regimevariabele (zoals waargenomen met PRS), de ATE gerapporteerd op een willekeurige benchmark een vrije parameter is die wordt bepaald door de benchmark-mengeling. Door evaluatievoorwaarden op de juiste manier te kiezen, kan elke ranking (inclusief gelijke standen of omkeringen) worden bereikt zonder vervalsing. Dit formaliseert waarom regime-agnostische leaderboards onbetrouwbare beslissingshulpmiddelen zijn.

3. REGIMEPLANNER

Om aan te tonen dat het regimezicht benutbaar is, stellen de auteurs REGIMEPLANNER voor, een adaptief algoritme dat:

$\hat{\rho}$ online schat binnen elke context met behulp van opgeslagen prior-middens en waargenomen uitkomsten.
De dynamische PRS berekent ( $\hat{PRS}_t$ ).
Schakelt tussen Greedy en UCB op basis van een drempelwaarde $\theta = 0,10$ $θ = 0, 10$ .
- Als $\hat{PRS}_t < \theta$ : Schakel over naar Greedy (uitbuiting).
- Als $\hat{PRS}_t \ge \theta$ : Schakel over naar UCB (exploratie).

Dit stelt de planner in staat om zich aan te passen aan regimeschommelingen binnen een enkele context, een vermogen dat vaste beleidslijnen missen.

4. Empirische Audit en Validatie

Audit: Een systematische review van 40 transfer-BO-papers (NeurIPS, ICML, ICLR, enz.) kwantificeerde het gebrek aan regimeregeling (98% scant $B/|A|$ niet).
Benchmarks: Experimenten werden uitgevoerd op drie primaire benchmarks:
- Buchwald-Hartwig: Een chemische reactie-optimalisatietak met geschudde priors om effecten van prior-kwaliteit te isoleren.
- GDSC2: Een drug-respons biologie-benchmark met ruisachtige observaties.
- HPO-B: Een gemeenschapsbenchmark voor hyperparameteroptimalisatie over 16 zoekruimtes.
Analyse: De auteurs analyseerden 79 condities die deze benchmarks bestrijken, waarbij Hit@1 en Discovery AUC werden gemeten.

Belangrijkste Resultaten

1. Regimevoorspelbaarheid

De PRS voorspelt sterk het "exploratievoordeel" (het prestatieverschil tussen exploratie- en uitbuitingsstrategieën).

Over 79 condities correleert PRS met het exploratievoordeel met een hiërarchisch modelcoëfficiënt $\beta = 0,50$ ( $p = 1,1 \times 10^{-9}$ ).
Correlaties binnen benchmarks zijn sterk: GDSC2 ( $r=0,96$ ), HPO-B ( $r=0,83$ ) en Buchwald ( $r=0,75$ ).
PRS presteert beter als voorspeller dan zijn individuele componenten ( $B/|A|$ alleen of $1-\rho$ alleen).

2. Omkering van Rankings

De studie bevestigt dat acquisitierankings volledig omkeren op basis van het regime:

Budgetomkering: Op GDSC2 wint Greedy bij lage budgetten ( $B=50$ ), terwijl UCB/REIGN winnen bij hoge budgetten ( $B=100$ ).
Prior-kwaliteit omkering: Op Buchwald wint exploratie bij een zwakke prior; bij een sterke gestructureerde prior domineert Greedy met een grote marge (0,481 versus 0,389 Hit@1), waardoor de waarde van de acquisitiekeuze wordt gecomprimeerd.
Metriekomkering: Op GDSC2 domineert Greedy Discovery AUC bij alle budgetten, terwijl UCB/REIGN alleen boven de regimedrempel Hit@1 domineren.

3. Prestaties van REGIMEPLANNER

GDSC2: Bij $B=50$ bereikt REGIMEPLANNER 0,676 Hit@1, presteert beter dan alle vaste planners en overtreft de per-context oracle {Greedy, UCB} met 18%.
HPO-B: Bij $B=100$ wint REGIMEPLANNER op alle 16 zoekruimtes tegen Greedy (gemiddeld +0,103 Hit@1) en staat overall op #1, terwijl Greedy laatste staat.
Adaptiviteit: REGIMEPLANNER slaagt door de evolutie van $\hat{\rho}$ binnen een context te volgen. Op GDSC2 stijgt $\hat{\rho}$ van ~0,12 naar ~0,66 tijdens een episode, waardoor de planner kan schakelen van exploratie naar uitbuiting halverwege, een prestatie die voor vaste beleidslijnen onmogelijk is.

4. Falingsmodi en Equivalentiezones

Nauwkeurigheid: PRS voorspelt de empirische winnaar in 74,7% van de 79 condities.
Equivalentiezone: 19% van de condities valt in een equivalentiezone ($|voordeel| < 0,01$ Hit@1) waar verschillen praktisch niet te onderscheiden zijn, toch genereren deze "niet-verschillen" vaak publiceerbare rankings.
Grensfalen: Voorspellingen verslechteren nabij de drempel ( $PRS \in [0,05, 0,15)$ ) en in gevallen met zeer lage contextaantallen ( $K < K_{min}$ ) waar de prior nog niet tussen planners heeft gedifferentieerd.
Geregistreerde Validatie: Op 40 gehouden condities bereikte de methode 67,5% nauwkeurigheid, onder de 90%-doelstelling, wat benadrukt dat de drempel niet universeel domein-agnostisch is zonder ruischatting.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

Voorspelbaarheid: Het regime is voorspelbaar voordat er vergelijkingen worden uitgevoerd, met behulp van de PRS, die het exploratievoordeel rangschikt over diverse domeinen (chemie, biologie, HPO).
Benutbaarheid: Het CATE is online benutbaar. REGIMEPLANNER demonstreert dat een adaptieve regel gebaseerd op waarneembare grootheden ( $B/|A|$ en $\hat{\rho}$ ) vaste beleidslijnen en zelfs per-context orakels kan overtreffen in specifieke regimes.
Diagnostische Transparantie: De "No-Free-Leaderboard" propositie formaliseert waarom regime-agnostische rankings onbetrouwbaar zijn. Het artikel stelt dat het weglaten van $B/|A|$ , $\rho$ , $K$ en metriektype leidt tot "meetclaims, geen algoritmische claims".

De auteurs concluderen dat het veld heeft gediscussieerd over niet-verschillen (equivalentiezones) en dat de "beste" acquisitiefunctie een eigenschap is van het regime waarin het werd geëvalueerd. Zij stellen een nieuw rapportageprotocol voor: acquisitie-vergelijkingen moeten de prior-voorwaarde, budgetratio, metriektype en contextaantal rapporteren om interpreteerbaar te zijn. Het werk dient als een diagnostisch hulpmiddel (PRS) en een existentiebewijs (REGIMEPLANNER) dat regime-geconditioneerde evaluatie noodzakelijk is voor betrouwbare algoritmische beoordeling.