Technische Samenvatting: DT-PBO – Een Interpreteerbaar Boomgebaseerd Surrogaatmodel voor Preferentiële Bayesiaanse Optimalisatie

1. Probleemstelling

Preferentiële Bayesiaanse Optimalisatie (PBO) beoogt de meest gewenste oplossing van een beslissingsmaker (DM) binnen een zoekruimte te identificeren met zo min mogelijk paarwijze vergelijkingen (PC's). Hoewel bestaande PBO-methode voornamelijk vertrouwen op Gaussian Process (GP) surrogaatmodellen, lijden deze modellen onder een kritieke beperking: het gebrek aan interpreteerbaarheid. GPs fungeren als black-box-modellen, waardoor het voor DM's moeilijk is om te begrijpen waarom bepaalde oplossingen de voorkeur krijgen. Deze ondoorzichtigheid vormt een aanzienlijke barrière in hoog-risicodomeinen (bijvoorbeeld gezondheidszorg, defensie) waar regelgevende kaders (zoals de AVG van de EU) en ethische richtlijnen (bijvoorbeeld de verantwoordelijke AI-strategie van de NAVO) uitlegbaarheid voorschrijven. Bovendien zijn post-hoc uitlegmethode voor GPs vaak niet getrouw aan het onderliggende model, wat potentieel tot misleidende inzichten kan leiden.

Het artikel adresseert de behoefte aan een surrogaatmodel dat inherent interpreteerbaar is, terwijl het tegelijkertijd het vermogen behoudt om preferentieonzekerheid te modelleren en actief leren (steekproefefficiëntie) te ondersteunen.

2. Methodologie: DT-PBO

De auteurs stellen DT-PBO voor, een nieuw surrogaatmodel op basis van Beslissingsbomen (DT) dat specifiek is ontworpen voor PBO. In tegenstelling tot standaard beslissingsbomen die worden getraind op classificatie- of rangschikkingsdata, leert DT-PBO direct uit paarwijze vergelijkingen. De methode volgt de standaard PBO-optimalisatielus (Figuur 1), maar vervangt de GP-surrogaat door een boomgestructureerde structuur.

2.1 Partitioneren van de Ruimte (Splitting-Heuristiek)

De kerninnovatie is een Consistentiescore-splitting-heuristiek die is ontworpen om de kengetallenruimte te partitioneren op basis van waargenomen preferenties in plaats van rangschikkingslabels.

• Mechanisme: Voor een knooppunt $A$ met een set vergelijkingen $D_A$, evalueert het algoritme kandidaat-splits (kenmerkindex $k$ en drempelwaarde $t$).
• Consistentiescore ($S_A$): Een split wordt gescoord op basis van hoe goed deze "winnaars" van "verliezers" scheidt. Specifiek berekent het het empirisch gemiddelde van een variabele $Z_i(s)$, die $+1$ is als de winnaar aan de ene kant van de split ligt en de verliezer aan de andere, $-1$ als dit omgekeerd is, en $0$ als beide aan dezelfde kant liggen. De score is de absolute waarde van dit gemiddelde.
• Uitsluiting van 'Straddlers': Een belangrijke structurele eigenschap is de uitsluiting van "straddlers" (paren waarbij één item in het linkerkind valt en het andere in het rechterkind) uit de datasets die worden gebruikt voor splitsen van afstammende knooppunten. De auteurs beweren wiskundig dat straddlers geen informatie bevatten over de interne structuur van de kindknooppunten zodra de ouder-split is vastgesteld. Deze uitsluiting reguleert de boomgroei op natuurlijke wijze, waardoor ondiepe, interpreteerbare bomen worden bevorderd zonder dat agressieve hyperparameter-tuning nodig is.

2.2 Schatting van Bladparameters

Zodra de boomstructuur is bepaald, wijst het model een probabilistische schatting toe aan elk blad om actief leren te ondersteunen.

• Probabilistische Bladen: In plaats van een enkele waarde, wordt elk blad $j$ gemodelleerd als een Gaussische verdeling met gemiddelde $f_j$.
• Laplace-benadering (LA): De auteurs maken gebruik van een Bayesiaanse aanpak waarbij de latente nutswaarden over de bladen een gezamenlijke multivariate Gaussische prior volgen. Zij gebruiken de Laplace-benadering om de Maximum A Posteriori (MAP)-schatting en de posterior-covariantie te vinden.
• Identificeerbaarheid: Om de translatie-invariantie inherent aan paarwijze waarschijnlijkheden op te lossen (waarbij het toevoegen van een constante aan alle nutswaarden de preferenties niet verandert), wordt een som-tot-nul-beperking ($\sum f_i = 0$) toegepast. Dit zorgt ervoor dat het model identificeerbaar is en irreduceerbare variantie in de richting van constante verschuiving verwijdert.
• Hyperparameters: Het model is afhankelijk van de verhouding van ruisvariantie tot prior-variantie ($\sigma^2_{noise}/\sigma^2_{prior}$), wat blijkt de enige identificeerbare parameter te zijn die de optimalisatie regelt.

2.3 Actief Leren

Het model maakt gebruik van de qEUBO-acquisitiefunctie (Expected Utility of Best Option) om de volgende meest informatieve paarwijze vergelijking te selecteren.

• Inter-blad versus Intra-blad: Hoewel qEUBO effectief vergelijkingen tussen verschillende bladen selecteert, valt het binnen een enkel blad samen (waar het voorspellend gemiddelde constant is). Om dit aan te pakken, maken de auteurs gebruik van een heuristiek voor prioritering binnen bladen in discrete settings, waarbij de exploratie wordt gefocust op het blad dat momenteel wordt geacht de optimum te bevatten.

3. Belangrijkste Bijdragen

1. Boomgebaseerd Preferentieleren: De ontwikkeling van een algoritme dat interpreteerbare beslissingsbomen direct leert uit paarwijze vergelijkingen, gebruikmakend van een nieuwe consistentiegebaseerde splitting-heuristiek en probabilistische bladschatting.
2. Numerieke Evaluatie: Empirische verificatie die aantoont dat DT-PBO concurrerende convergentie bereikt ten opzichte van state-of-the-art GP-gebaseerde modellen (SkewGP en LA-gebaseerde GP), met name op functies met ruwe optimalisatielandschappen (bijvoorbeeld De Jong, Holder, Schwefel). De methode vertoont aanzienlijk snellere computertijden (10–400x sneller dan GPs).
3. Real-life Casestudies: Demonstratie van de interpreteerbaarheid en bruikbaarheid van het model in twee verschillende scenario's:
   • Sushi-preferenties: Aantonen dat het model gebruikerspreferenties kan herstellen en kan generaliseren naar ongezonde items.
   • Rangschikking van Patiëntberichten (PMR): Een hoog-risico klinische triage-taak waarbij het model specifieke kenmerken identificeert (bijvoorbeeld "rode vlag syndroom", "actiebaarheid van bericht") die urgentie aandrijven, en inzichten biedt die ondoorzichtig zijn voor black-box LLM- of GP-benaderingen.

4. Resultaten

• Convergentie: Over acht benchmarkfuncties presteert DT-PBO concurrerend. Het scoort iets minder op gladde, niet-ruwe functies (bijvoorbeeld Rosenbrock, Hartmann), maar presteert beter dan of gelijk aan GPs op ruwe functies.
• Efficiëntie: DT-PBO is computationeel superieur, met looptijden van ongeveer 12 seconden voor 200 iteraties, vergeleken met honderden of duizenden seconden voor GP-varianten. Dit wordt toegeschreven aan het vermijden van hyperparameteroptimalisatie voor kernel-lengteschalen en de verkleining van de grootte van de Hessiaan-matrix van het aantal unieke items ($m$) naar het aantal bladen ($m_l$).
• Robuustheid: Het model is robuust tegen ruis in preferenties en ongevoelig voor kleine veranderingen in de ruis/prior-verhouding-hyperparameter.
• Interpreteerbaarheid: In casestudies bieden de resulterende bomen (diepte 4–6) duidelijke, voor mensen leesbare regels (bijvoorbeeld "Als er sprake is van borstpijn, prioriteren") die overeenkomen met domeinkennis, in tegenstelling tot de black-box-uitvoer van GPs of Large Language Models (LLMs).

5. Betekenis en Beperkingen

Het artikel stelt dat DT-PBO een levensvatbaar, inherent interpreteerbaar alternatief biedt voor black-box GP-surrogaatmodellen in PBO. De betekenis ligt in het overbruggen van de kloof tussen steekproefefficiënte optimalisatie en de behoefte aan uitlegbaarheid in kritieke besluitvormingsdomeinen. Door transparante modellen te bieden, stelt het beslissingsmakers in staat om hun preferenties met meer vertrouwen en vertrouwen te verfijnen.

Beperkingen erkend door de auteurs:

• Onverschilligheid: Het huidige model kan onverschilligheidsverklaringen ($A \sim B$) niet expliciet modelleren.
• Hoge Dimensies: De prestaties verslechteren op niet-ruwe functies naarmate de dimensionaliteit toeneemt ($D > 7$), waarschijnlijk vanwege de as-uitgelijnde aard van beslissingsboom-splitsen die worstelt met complexe, diagonale beslissingsgrenzen die vaak voorkomen in hoge-dimensionale gladde functies.
• Functie-extractie: In de PMR-casestudy hangt de kwaliteit van het uiteindelijke model af van de betrouwbaarheid van de LLM die wordt gebruikt voor functie-extractie.

De auteurs concluderen dat hoewel beperkingen bestaan, DT-PBO succesvol aantoont dat interpreteerbare surrogaatmodellen concurrerende prestaties kunnen behalen in PBO, met name in scenario's waar interpreteerbaarheid een voorwaarde is voor implementatie.