Counterfactual Credit Guided Bayesian Optimization

Dit paper introduceert CCGBO, een nieuw raamwerk voor Bayesiaanse optimalisatie dat de bijdrage van individuele observaties kwantificeert via contrafactuele kredietverdeling om de zoektocht naar het globale optimum te versnellen en de spijt te verlagen.

De kern

Stel je voor dat je een schat zoekt op een enorm, mistig eiland. Je hebt een kaart (een wiskundig model) die je vertelt waar de schat waarschijnlijk ligt, maar het eiland is zo groot dat je niet overal tegelijk kunt kijken. Elke stap die je zet om te kijken, kost tijd en energie (dit noemen we "duur" in de wereld van computers).

Dit is precies het probleem dat Bayseaanse Optimalisatie probeert op te lossen: hoe vind je de beste plek (de schat) met zo min mogelijk stappen?

Het artikel dat je deelt, introduceert een slimme nieuwe methode genaamd CCGBO. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: Iedereen is even belangrijk?

Standaard methodes kijken naar alle plekken die je al hebt bezocht en denken: "Oké, deze plek was goed, die was minder goed, en die was slecht. Laten we ze allemaal even zwaar wegen bij het beslissen waar we als volgende naartoe gaan."

Maar in het echte leven is dat niet waar.

• Soms heb je een punt gemeten dat toevallig heel dicht bij de schat lag. Dat punt is goud waard voor je zoektocht.
• Soms heb je een punt gemeten in een leeg veld, ver weg van de schat. Dat punt is minder nuttig.

De oude methodes behandelen deze twee punten alsof ze even belangrijk zijn. Dat is als een detective die evenveel aandacht besteedt aan een valse aanwijzing als aan een echte aanwijzing. Je verspillat tijd en geld.

2. De nieuwe oplossing: "Counterfactual Credit" (Het "Wat-zou-er-gebeurd-zijn"-principe)

De auteurs van dit paper zeggen: *"Laten we niet doen alsof alle meetpunten even belangrijk zijn. Laten we eerlijk vragen: Hoeveel heeft dit specifieke punt bijgedragen aan het vinden van de schat?"*

Ze gebruiken een slimme truc die ze Counterfactual Credit noemen. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel:
Stel je voor dat je een meetpunt (een steen) uit je verzameling haalt.

• Vraag: "Zou ik de schat nog steeds zo snel hebben gevonden als ik deze steen niet had gemeten?"
• Antwoord:
  • Als het antwoord "Nee, dan was ik verdwaald" is, dan krijgt die steen een hoge credit (een hoge beloning). Het was cruciaal!
  • Als het antwoord "Nee, dat maakt niet uit" is, dan krijgt die steen een lage credit. Het was niet zo belangrijk.

3. Hoe werkt het in de praktijk? (De Metafoor van de Kompasnaald)

In de nieuwe methode (CCGBO) krijgt elk punt op je kaart een "gewicht" op basis van deze credit.

• De oude kompasnaald (Standaard BO): Draait naar de plek die het meest onbekend is (om te verkennen) of de plek die er het beste uitziet (om te benutten).
• De nieuwe kompasnaald (CCGBO): Draait naar de plek die het meest onbekend is, MAAR hij is ook sterk aangetrokken door plekken die door hun "verleden" (de hoge credit) bewijzen dat ze dicht bij de schat liggen.

Het is alsof je een magneet hebt die alleen werkt op de plekken waar je al hebt gezien dat het "goed" was. Je versnelt je zoektocht door je energie te focussen op de gebieden die het meest beloven, in plaats van tijd te verspillen aan gebieden die al bewezen hebben leeg te zijn.

4. Waarom is dit zo goed?

• Snelheid: Omdat je niet overal evenveel tijd aan besteedt, vind je de schat veel sneller.
• Slimme verdeling: Je verspillat geen energie aan "slechte" plekken, maar je negeert ze ook niet volledig (zodat je niet vastloopt in een valstrik). Je geeft ze gewoon minder aandacht.
• Geen vooringenomenheid: Veel andere methodes hebben een "gids" nodig die al weet waar de schat ligt (een expert). Deze methode heeft dat niet. Hij leert het zelf uit de data die hij verzamelt.

Samenvattend

Stel je voor dat je een team van zoekers hebt.

• De oude methode zegt: "Iedereen mag elke dag evenveel zoeken."
• De nieuwe methode (CCGBO) zegt: "Kijk eens naar de zoekers die gisteren de beste aanwijzingen vonden. Laten we hen morgen meer middelen geven om daar verder te zoeken, terwijl we de zoekers die in de leegte liepen, iets minder middelen geven."

Door deze "vergoeding" (credit) slim toe te passen, vinden ze de beste oplossing sneller, met minder kosten en zonder dat iemand ze hoeft te vertellen waar ze moeten zoeken.

Technische samenvatting

Titel: Counterfactual Credit Guided Bayesian Optimization (CCGBO)

Auteurs: Qiyu Wei, Haowei Wang, Richard Allmendinger, Mauricio A. Álvarez
Conferentie: AISTATS 2026

---

1. Het Probleem

Bayesian Optimization (BO) is een krachtige methode voor het optimaliseren van dure zwarte-doosfuncties, waarbij een Gaussisch Proces (GP) wordt gebruikt als surrogate-model. Traditionele BO-algoritmen balanceren exploratie (het verkennen van onzekere gebieden) en exploitatie (het benutten van bekende goede gebieden) via verzamelingsfuncties (acquisition functions) zoals UCB (Upper Confidence Bound).

De auteurs identificeren echter twee fundamentele beperkingen in bestaande methoden:

1. Gelijke bijdrage-aanneming: Standaard BO-methoden gaan er impliciet van uit dat alle historische waarnemingen even waardevol zijn voor het vinden van het globale optimum. In werkelijkheid dragen sommige steekproeven (bijv. die dicht bij het optimum liggen) veel meer bij dan andere (bijv. ruis of lokale optimums).
2. Inefficiënte resource-allocatie: Door deze heterogeniteit te negeren, worden waardevolle evaluatie-begrotingen vaak verspild aan minder informatieve gebieden. Bestaande methoden die proberen dit op te lossen (zoals het toevoegen van regionale beperkingen of het gebruik van expertkennis), zijn vaak afhankelijk van handmatige drempelwaarden of externe priors die in de praktijk moeilijk te verkrijgen zijn.

Het doel is dus om een methode te ontwikkelen die expliciet kwantificeert welke historische observaties het meest bijdragen aan het vinden van het optimum, zonder afhankelijk te zijn van externe priors.

---

2. Methodologie: CCGBO

De auteurs introduceren Counterfactual Credit Guided Bayesian Optimization (CCGBO). Deze framework introduceert een derde dimensie in de trade-off: Exploratie-Exploitatie-Importantie.

A. Counterfactual Credit (Contrasterende Krediet)

In plaats van te vragen "Hoe beïnvloedt het kiezen van een punt $x$ de toekomst?", stelt CCGBO de vraag: "Hoe sterk zou onze voorspelling van het huidige optimum verslechteren als een specifieke observatie $x_i$ afwezig was?"

De berekening verloopt als volgt:

1. Proxy voor het Globale Optimum ($Z_t$): In plaats van het waargenomen maximum te gebruiken, worden $K$ onafhankelijke steekproefpaden getrokken uit het GP-posterior. Voor elk pad wordt het lokale maximum $Z_t^{(j)}$ gevonden. Het gemiddelde hiervan vormt een Monte Carlo-proxy $Z_t$ voor het ware globale optimum.
2. Likelihood Score: Voor elke waarneming $x_i$ wordt berekend hoe waarschijnlijk het is dat deze $x_i$ de waarde $Z_t$ heeft geproduceerd, gegeven het GP-posterior ($\mu_t(x_i), \sigma_t(x_i)$). Dit wordt gedaan via een Gaussische dichtheidsfunctie:
   $$\ell_i = \phi(Z_t; \mu_i, \sigma_i^2 + \epsilon_c)$$
3. Credit Toewijzing: De ruwe score wordt genormaliseerd ten opzichte van een onvoorwaardelijke baseline. Observaties die dicht bij het geschatte optimum liggen (en dus een hoge likelihood hebben) krijgen een hoge "credit" $c_i$. Waarnemingen die weinig bijdragen (ver weg van het optimum of ruis) krijgen een lage credit.
4. Propagatie: Omdat credit alleen voor waargenomen punten bestaat, wordt deze via een K-Nearest Neighbors (KNN) methode gepropageerd naar continue kandidaat-punten om een glad veld $\pi(x)$ te creëren.

B. Credit-Gewogen Verzamelingsfunctie

De standaard UCB-functie wordt aangepast door de counterfactual credits te integreren:
$$\text{UCB}_{\text{credit}}(x) = [(1 - \lambda) + \lambda w_t(x)] \cdot \tilde{\alpha}(x)$$
Waarbij:

• $\tilde{\alpha}(x)$ de verschoven standaard UCB is (om negatieve waarden te voorkomen).
• $w_t(x)$ een gewichtsfactor is gebaseerd op de credit $\pi(x)$, vermenigvuldigd met een vervalken factor die afhankelijk is van de iteratie $t$.
• $\lambda$ de sterkte van de credit-invloed regelt.
• Vervalken Mechanisme: De invloed van de credit neemt af naarmate de iteraties vorderen (gestuurd door parameter $M$). Dit zorgt ervoor dat CCGBO in het begin sterk focust op veelbelovende gebieden, maar later terugkeert naar een gebalanceerde exploratie-exploitatie om lokale optimums te vermijden.

---

3. Belangrijkste Bijdragen

1. Nieuw Kader (CCGBO): Een framework dat expliciet de bijdrage van individuele historische observaties kwantificeert via counterfactual redenering, zonder externe priors nodig te hebben.
2. Theoretische Analyse:
   • Bewezen dat de Monte Carlo-proxy $Z_t$ met hoge waarschijnlijkheid dicht bij het ware optimum ligt.
   • Bewezen dat CCGBO een sublineaire regret behoudt. De cumulatieve regret is begrensd door een constante factor vermenigvuldigd met de standaard GP-UCB-regret, wat betekent dat de convergentiesnelheid theoretisch behouden blijft.
3. Empirische Validatie: Uitgebreide tests op synthetische en real-world benchmarks tonen aan dat CCGBO sneller convergeert en lagere simple regret bereikt dan state-of-the-art methoden.

---

4. Resultaten

De auteurs hebben CCGBO getest op 8 benchmarks (5 synthetisch, 3 real-world) en vergeleken met:

• Standaard GP-UCB en Random Search.
• Methodes voor niet-stationaire omgevingen (WGP, RGP).
• Robuuste methodes voor outliers (OutlierBO).
• Methodes met priors (PiBO, ColaBO).

Kernbevindingen:

• Snellere Convergentie: CCGBO bereikt een snellere daling van de simple regret, vooral in de vroege fasen van de optimalisatie.
• Lagere Cumulatieve Regret: Het algoritme presteert consistent beter dan de baselines over de hele optimalisatietraject.
• Robuustheid zonder Priors: In tegenstelling tot PiBO en ColaBO, die afhankelijk zijn van door de gebruiker opgegeven priors (die soms verkeerd kunnen zijn), presteert CCGBO zonder enige externe kennis even goed of beter.
• Ruisbestendigheid: Door lage credits toe te kennen aan ruis en outliers, werkt CCGBO effectiever dan OutlierBO in gelardeerde omgevingen.
• Plug-and-Play: De methode werkt goed met verschillende verzamelingsfuncties (UCB, TS, JES) en in hoge dimensies.

---

5. Betekenis en Impact

CCGBO vertegenwoordigt een significante doorbraak in Bayesian Optimization door de traditionele tweedimensionale trade-off (exploratie vs. exploitatie) uit te breiden naar een driedimensionale trade-off die ook belangrijkheid (importance) van data meeneemt.

• Efficiëntie: Het maximaliseert de waarde van elke dure evaluatie door resources te richten op gebieden die historisch gezien het meest informatief waren.
• Autonomie: Het elimineert de noodzaak voor menselijke expertkennis of handmatige drempelwaarden, wat het toepasbaar maakt in complexe, real-world scenario's waar dergelijke kennis ontbreekt.
• Theoretische Garantiën: Het behoudt de wiskundige garanties van standaard BO (sublineaire regret), wat het een veilige en betrouwbare keuze maakt voor kritieke toepassingen.

Kortom, CCGBO biedt een intelligente, datagedreven manier om te bepalen welke eerdere metingen het meest waardevol zijn voor het vinden van het globale optimum, waardoor het optimalisatieproces aanzienlijk wordt versneld.