Technische Samenvatting: QUIVER – Kostenbewuste Adaptieve Voorkeursquery

1. Probleemstelling

Interactieve systemen voor Multi-Objective Optimization (MOO) staan voor een fundamenteel dilemma in de toewijzing van middelen. Gegeven een vast budget moet een optimizer beslissen hoe middelen worden verdeeld tussen objectieve evaluaties (duur, bijvoorbeeld fysieke simulaties) en voorkeurselicitatie (het identificeren van het door de besluitnemer (DM) geprefereerde gebied van de Pareto-set).

Dit probleem wordt verergerd door de heterogeniteit van voorkeursquery-modaliteiten:

• Paarwijze Voorkeuren (PS): "Preferreer je A of B?" Deze zijn cognitief goedkoop maar leveren slechts ordinaire (1-bit) informatie op.
• Indifferentie-aanpassingen (IA): "Hoeveel moet je objectief $k$ aanpassen om A en B even preferabel te maken?" Deze zijn cognitief veeleisender maar onthullen cardinale trade-off-informatie (marginale substitutieratio's).

Bestaande methoden stellen het queryprotocol typisch vast (bijvoorbeeld periodieke paarwijze vergelijkingen) of behandelen de DM als een post-hoc selecteur. Er ontbreekt een kader dat adaptief een uniek budget toewijst over objectieve evaluaties en heterogene voorkeursqueries, gebaseerd op hun relatieve Waarde van Informatie (VOI) per kostenunit.

2. Methodologie: Het QUIVER-kader

De auteurs stellen QUIVER (Query-Informed Value Estimation for Regret) voor, een door surrogate ondersteunde evolutionaire multi-objective optimizer. Het systeem koppelt een NSGA-II-zoeklaag aan een kostenbewuste controller die dynamisch acties selecteert uit een uniforme ruimte: $\{ \text{Eval}, \text{PS}, \text{IA} \}$.

2.1 Kerncomponenten

• Zoeklaag: Gebruikt NSGA-II om een populatie van kandidaat-oplossingen en een archief van geëvalueerde punten te onderhouden. Het maakt gebruik van een partikelfilter-posterior om de verdeling van latente voorkeursgewichten $w$ weer te geven.
• Voorkeurmodelleren:
  • Gaat uit van een lineaire scalarisatie-utility $u(f; w) = w^\top f$.
  • PS-kans: Gemodelleerd via een logistische functie (Bradley-Terry-stijl) met ruis.
  • IA-kans: Gemodelleerd als een Gaussische verdeling waarbij de DM een aanpassing $\tilde{\delta}$ rapporteert om de utility gelijk te maken. Dit levert cardinale informatie op over het gewichtsvector.
  • Inferentie: Gebruikt Sequential Monte Carlo (SMC) met een partikelfilter om de posterior $p(w | \mathcal{D}_{pref})$ te updaten op basis van observaties.
• Kostenbewuste Actieselectie:
  Op elk moment selecteert de controller de actie $a$ die de verwachte verbetering in besluitkwaliteit per kostenunit maximaliseert:
  $$a^* = \arg \max_{a} \frac{\mathbb{E}[\Delta Q \mid a, \mathcal{H}_t]}{c(a)}$$
  Waarbij:
  • $c(a)$ de kosten van de actie zijn ($c_{eval} \gg c_{IA} > c_{PS}$).
  • $\Delta Q$ de verwachte verbetering in besluitkwaliteit is.
    • Voor Voorkeursqueries (PS/IA): $\Delta Q$ is de verwachte entropiereductie (Informatiewinst) in de voorkeursposterior.
    • Voor Evaluaties: $\Delta Q$ is de Waarde van Alwetendheid (VOC), wat de verwachte verbetering in de posterior-gebruikswaarde van de beste kandidaat voorstelt.
  • Schatting: De Verwachte Informatiewinst (EIG) wordt geschat via Monte Carlo-simulatie. Om een eerlijke vergelijking te waarborgen tussen continue IA-antwoorden en binaire PS-antwoorden, worden IA-uitkomsten gediscrétiseerd in bins voordat de wederzijdse informatie wordt berekend.

2.2 Query-selectiestrategie

• Paarselectie: Voor voorkeursqueries worden paren geselecteerd op basis van posterior-onenigheid (het maximaliseren van de waarschijnlijkheid dat de DM indifferent is, d.w.z. $p \approx 0.5$).
• Dimensieselectie (voor IA): De objectiefdimensie $k$ wordt geselecteerd om de posterior-variatie van het corresponderende gewicht $w_k$ te maximaliseren.

3. Belangrijkste Bijdragen

1. Formalisatie: Definieerde kostenbewuste interactieve MOO onder een onbekende lineaire scalarisatie, waarbij objectieve evaluaties en heterogene voorkeursqueries (PS en IA) worden behandeld als een uniforme budgettaire actieruimte.
2. VOI-gebaseerde Selectieregel: Afgeleid een praktische actieselectieregel met Monte Carlo-schatting van verwachte entropiereductie, die objectieve exploratie en voorkeurslering verenigt onder één criterium.
3. Algoritme-implementatie: Stelde QUIVER voor, een evolutionair algoritme met een NSGA-II-ruggengraat dat dit adaptieve beleid implementeert via een partikelfilter-voorkeursposterior.
4. Empirische Validatie: Toonde aan dat adaptieve modale selectie een lagere utility-regret per kostenunit oplevert in vergelijking met vaste schema's en baselines met één modaliteit.

4. Experimentele Resultaten

Het kader werd geëvalueerd op DTLZ- en WFG-benchmarks met synthetische besluitnemers.

• Prestaties op Eenvoudige Problemen (DTLZ2): Alle methoden, inclusief "alleen Eval" en "alleen PS", bereikten een regret dicht bij nul. QUIVER selecteerde voornamelijk goedkope PS-query's (ongeveer 80–87% van de voorkeursqueries), aangezien het probleem met minder informatie oplosbaar was.
• Prestaties op Moeilijke Problemen (WFG4, WFG9):
  • QUIVER behaalde de laagste utility-regret en presteerde beter dan alle baselines.
  • Op WFG9 (het meest uitdagende) behaalde QUIVER een regret van 2,82, een verbetering van 25% ten opzichte van de beste baseline (3,77–3,90).
  • Adaptieve Verschuiving: Op moeilijke problemen verschuift QUIVER zijn strategie en verhoogt het aandeel IA-query's naar 35% (tegenover 20% op eenvoudige problemen). Dit demonstreert het vermogen van het systeem om te herkennen wanneer de hogere informatie-inhoud van IA zijn extra kosten rechtvaardigt.
• Kostengevoeligheid: Wanneer de relatieve kosten van IA ($c_{IA}/c_{PS}$) werden verhoogd, verminderde het systeem automatisch het gebruik van IA, wat de kostenbewuste aard van de controller bevestigt.
• Vermoeidheidsregime: In een dynamisch kostenscenario waarbij IA-kosten toenamen met het gebruik (wat cognitieve vermoeidheid simuleert), verminderde QUIVER adaptief het IA-gebruik en verschoven het budget naar evaluaties, wat een genadige degradatie in prestaties toonde in plaats van een catastrofale uitval.

5. Betekenis en Claims

De auteurs stellen dat de primaire betekenis van QUIVER ligt in zijn adaptieve modale selectie. Door $\{ \text{Eval}, \text{PS}, \text{IA} \}$ te behandelen als een uniforme actieruimte, kan het systeem middelen dynamisch toewijzen op basis van probleemcomplexiteit en de evoluerende trade-off tussen kosten en informatie.

• Theoretisch Inzicht: De auteurs stellen een drempel voor modale schakeling vast: IA wordt alleen geselecteerd boven PS wanneer de verhouding van hun informatiewinsten de verhouding van hun kosten overtreft ($IG_{IA}/IG_{PS} > c_{IA}/c_{PS}$).
• Praktische Impact: Het kader demonstreert dat voor uitdagende optimalisatieproblemen rigide strategieën (vaste schema's of enkele modaliteiten) suboptimaal zijn. In plaats daarvan staat een op kosten genormaliseerde VOI-aanpak de optimizer toe om "meer uit te geven" aan rijke, dure query's alleen wanneer de onzekerheid groot genoeg is om dit te rechtvaardigen.
• Generaliseerbaarheid: De controller is optimizer-onafhankelijk. Hoewel geïmplementeerd met NSGA-II, kan het VOI-per-kostenprincipe worden toegepast op andere backends (bijvoorbeeld Bayesiaanse Optimalisatie, Random Search), mits deze kandidaten kunnen genereren en een voorkeursposterior kunnen onderhouden.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat het huidige kader uitgaat van lineaire utility (wat moeite kan hebben met niet-convexe Pareto-fronten) en synthetische DM's. Zij identificeren het uitbreiden naar niet-lineaire utility-modellen en valideren met echte menselijke besluitnemers (rekening houdend met complexe vermoeidheids- en inconsistentiepatronen) als noodzakelijk toekomstig werk.