🤖 machine learning

Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation

Dit artikel behandelt de uitdaging van het evalueren van configuraties van grote taalmodellen onder beperkte budgetten door de taak te formuleren als een kostenbewust multi-objective banditprobleem, waarbij nieuwe algoritmen worden voorgesteld voor online selectie en Pareto-identificatie met theoretische garanties op budgettaire regret en foutkans, en de effectiviteit ervan wordt gevalideerd door middel van experimenten.

Oorspronkelijke auteurs: Bo Xue, Zhi Hong, Jiayi Li, Yuanyu Wan, Ji Cheng, Shuang Qiu

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Xue, Zhi Hong, Jiayi Li, Yuanyu Wan, Ji Cheng, Shuang Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip, maar je brandstoftank is pieklein en je kaart zit vol mist. Je moet de beste route naar een verre planeet vinden, maar je weet niet welk pad snel is, welk veilig is en welk de minste brandstof verbruikt. In de wereld van kunstmatige intelligentie gebeurt precies dit wanneer ingenieurs proberen "Large Language Models" (LLM's) te tunen — de superintelligente computerbreinen die verhalen schrijven, wiskundige problemen oplossen en met ons chatten. Deze modellen hebben duizenden verschillende instellingen, zoals de grootte van het brein, de manier waarop het denkt en hoe snel het praat. Het testen van elke mogelijke instelling is alsof je naar elke ster in de melkweg probeert te vliegen; het kost te veel geld, kost te veel tijd en verbruikt te veel computerbronnen.

Om dit op te lossen, gebruiken wetenschappers een slimme truc genaamd het "bandit-probleem". Denk aan een rij gokautomaten in een casino. Je weet niet welke machine het meest uitbetaalt, dus je moet een paar hendels overhalen om te gokken. Maar hier komt de twist: sommige machines kosten een cent per beurt, terwijl andere een dollar kosten. Als je alleen de dure speelt in de hoop op een grote winst, ga je failliet voordat je de beste hebt gevonden. Je moet ook meerdere doelen combineren: misschien wil je de machine die het meeste uitbetaalt én de machine die het snelst is. Dit paper pakt exact dat puzzel aan: hoe vind je de beste AI-instellingen wanneer elke test een andere prijs heeft, en je snelheid, nauwkeurigheid en kosten tegelijkert je moet balanceren?

De auteurs van dit paper, Bo Xue en hun team, besloten de zoektocht naar de perfecte AI-instellingen te behandelen als een hoogwaardig spel van "raad de beste route" met een strikt budget. Ze realiseerden zich dat eerdere methoden twee belangrijke aanwijzingen misten: ze negeerden vaak dat sommige tests veel meer kosten dan andere, en ze zochten meestal slechts naar één "beste" antwoord in plaats van naar een groep "goed genoeg" antwoorden die verschillende sterktes tegen elkaar afwegen. Dus bouwden ze twee nieuwe spelstrategieën om dit budgettaire spel slimmer te spelen.

Eerst creëerden ze een strategie voor het maken van beslissingen aan de lopende band, genaamd CoHV-UCB. Stel je voor dat je door een bos loopt met een beperkte hoeveelheid geld voor snacks. Elke keer dat je stopt om een besje te proeven, kost dat een ander bedrag aan contant geld. Sommige besjes zijn goedkoop maar smaken oké; andere zijn duur maar fantastisch. Dit algoritme fungeert als een superintelligente verzamelaar. Het kijkt niet alleen naar hoe lekker een besje is; het berekent een "prijs-kwaliteitverhouding". Het vraagt: "Als ik mijn laatste paar munten uitgeef aan dit dure besje, geeft het mij dan een betere smaak-per-dollar dan het goedkope besje?" Het paper bewijst wiskundig dat deze methode ongelooflijk efficiënt is. Het laat zien dat de "regret" — de hoeveelheid heerlijkheid die je mist door niet elke keer het perfecte besje te kiezen — zeer langzaam groeit, namelijk alleen zo snel als het logaritme van je budget. In gewone mensentaal: zelfs als je een enorm budget hebt, zorgt deze methode ervoor dat je geen geld verspilt aan de verkeerde besjes, en het krijgt de wiskunde correct tot op de laatste decimaal.

Ten tweede bouwden ze een strategie voor het vinden van de "Pareto-set", wat een chique manier is om te zeggen: "de groep van alle beste afwegingen". Stel je voor dat je een auto koopt. Je kunt niet de snelste auto, de veiligste auto en de goedkoopste auto in één hebben. Je moet misschien kiezen tussen een snelle, dure sportwagen of een veilige, langzame gezinswagen. De "Pareto-set" is de lijst met auto's waarbij je niet sneller kunt gaan zonder meer te betalen, of veiliger kunt rijden zonder te vertragen. Het nieuwe algoritme van de auteurs, CoPSI, is als een detective die de slechte auto's snel elimineert. Het kijkt naar de auto's die je tot nu toe hebt getest, bepaalt welke duidelijk slechter zijn dan andere, en stopt met het testen van die auto's om je budget te sparen voor de lastige exemplaren die nog steeds in de race zijn. Het paper laat zien dat deze methode ongelooflijk goed is in het vinden van de juiste lijst met afwegingen. Als je het genoeg budget geeft, daalt de kans dat het een fout maakt zo snel dat het bijna onmogelijk is om het fout te doen. Het is alsof, als je genoeg geld hebt om elke auto te testen, je bijna zeker de perfecte lijst met opties zult vinden.

Het team heeft deze ideeën niet alleen op papier gezet; ze hebben ze in de echte wereld getest met daadwerkelijke Large Language Models. Ze zetten experimenten op waarbij ze moesten kiezen tussen verschillende modellen, prompts en instellingen met echte data van wiskunde- en redeneertests. De resultaten waren duidelijk: hun nieuwe methoden versloegen de oude manieren van werken. Wanneer ze de "prijs-kwaliteitverhouding"-strategie gebruikten, bespaarden ze een enorme hoeveelheid geld (tokens) terwijl ze nog steeds de beste AI-instellingen vonden. Wanneer ze de "afwegingen-vinder" gebruikten, waren ze veel beter in het identificeren van de groep beste opties vergeleken met het simpelweg willekeurig testen van alles of het negeren van de kosten.

Kortom, dit paper geeft ons een nieuw regelboek voor het spelen van het spel van AI-tuning. Het vertelt ons dat als we de beste AI-instellingen willen vinden zonder de bank te breken, we moeten stoppen met elke test te behandelen alsof deze hetzelfde kost. We moeten slim zijn over hoe we ons budget uitgeven, waarbij we de kosten van een test afwegen tegen de meerdere doelen die we willen bereiken. De auteurs hebben aangetoond dat we door dit te doen, AI-ontwikkeling sneller, goedkoper en effectiever kunnen maken, zodat we niet onze beperkte middelen verspillen aan experimenten die niet renderen.

Technische Samenvatting: Kostenbewuste Multi-Objective Bandits voor de Evaluatie van LLM-configuraties

1. Probleemformulering

Het artikel behandelt de uitdaging van het evalueren van Large Language Model (LLM) configuraties onder beperkte budgetten. In praktische scenario's houdt het selecteren van optimale configuraties (bijv. basismodellen, prompt-templates, decoderingsparameters) het balanceren in van meerdere concurrerende doelstellingen — zoals taaknauwkeurigheid, latentie en robuustheid — terwijl er variërende evaluatiekosten optreden. Deze kosten ontstaan door tokenconsumptie, API-vergoedingen of menselijke annotatie-inspanningen, die aanzienlijk verschillen per configuratie.

De auteurs formuleren deze uitdaging als een koste-bewust multi-objective bandit-probleem met een eindig evaluatiebudget $B$ . Het probleem wordt gedefinieerd door twee complementaire leerdoelstellingen:

Online Configuratie Selectie: Het minimaliseren van regret over de tijd door adaptief configuraties te selecteren om de cumulatieve nut per eenheid kost te maximaliseren.
Pareto Configuratie Identificatie: Het identificeren van de set niet-gedomineerde (Pareto-optimale) configuraties binnen een vast budget.

Het framework modelleert elke configuratie als een arm die een stochastische vector-waardige beloning $\mathbf{r}_{i,t} \in [0,1]^D$ oplevert en een configuratie-afhankelijke kost $c_{i,t}$ met zich meebrengt. In tegenstelling tot eerder werk, houdt deze formulering expliciet rekening met de afweging tussen multi-objective prestaties en de heterogene kosten van evaluatie.

2. Methodologie

Het artikel stelt twee verschillende algoritmen voor die zijn afgestemd op de twee leerdoelstellingen:

A. CoHV-UCB: Cost-Aware Hypervolume UCB (Online Selectie)

Voor het online selectieprobleem stellen de auteurs CoHV-UCB voor, een algoritme gebaseerd op het "optimism-in-the-face-of-uncertainty" principe.

Mechanisme: Het algoritme construeert een optimistische beloningsvector $\mathbf{U}_{i,t}$ voor elke configuratie met behulp van upper confidence bounds. Het berekent vervolgens een hypervolume-per-kost index:
$I_{i,t} = \frac{HV(\mathbf{U}_{i,t})}{\underline{c}_{i,t}}$
waarbij $HV(\cdot)$ de hypervolume-indicator is (die de multi-objective kwaliteit meet) en $\underline{c}_{i,t}$ een lower confidence bound is op de verwachte evaluatiekost.
Kostafhandeling: Om te voorkomen dat de index kunstmatig wordt opgeblazen door een onderschatting van de kosten, gebruikt het algoritme een getrunceerde lower confidence bound voor de kost-noemer, waardoor deze ver van nul wordt gehouden.
Selectie: In elke ronde wordt de configuratie met de hoogste index geselecteerd totdat het budget is uitgeput.

B. CoPSI: Cost-Aware Pareto Set Identification (Vast Budget)

Voor het fixed-budget identificatieprobleem stelt de auteurs CoPSI voor, een successive-rejects algoritme dat samples toeweist op basis van de kosten van configuraties.

Mechanisme: Het algoritme werkt in fasen. In elke fase onderhoudt het een actieve set van configuraties en berekent het een sampling target $n_r$ die proportioneel is aan de inverse van de totale kost van de actieve set.
Gap-gebaseerde Eliminatie: Het berekent empirische Pareto-gaps ( $\hat{\gamma}_{i,r}$ ) voor actieve configuraties. Deze gaps meten het empirische bewijs voor een configuratie die ofwel gedomeerd is, ofwel Pareto-optimaal is.
Strategie: Het algoritme identificeert de configuratie met de grootste empirische classificatie-gap en verwijdert deze uit de actieve set (door deze te accepteren als Pareto-optimaal of te verwerpen als gedomeerd). Dit proces gaat door totdat er slechts één configuratie overblijft, die in de uiteindelijke output wordt opgenomen.
Kostbewustzijn: De sampling target in elke fase wordt expliciet aangepast op basis van de geaggregeerde kost van de resterende actieve configuraties, waardoor wordt gewaarborgd dat het budget efficiënt wordt benut.

3. Theoretische Bijdragen

Het artikel stelt rigoureuze theoretische garanties vast voor beide algoritmen:

Regret Bound voor CoHV-UCB: De auteurs bewijzen dat de hypervolume-efficiëntie regret begrensd is door:
$O\left(\sum_{i \neq i^*} \frac{\log B}{\Delta_i}\right)$
waarbij $B$ het budget is, $i^*$ de optimale configuratie is in termen van hypervolume-efficiëntie, en $\Delta_i$ de efficiëntie-gap is. Deze bound behoudt de logaritmische afhankelijkheid van het budget die wordt gevonden in klassieke single-objective budgeted bandits.
Foutkans voor CoPSI: Voor fixed-budget identificatie wordt de kans op het foutief identificeren van de Pareto-set begrensd door:
$O\left(\exp\left(-\frac{B}{H_{\mu,c}}\right)\right)$
waarbij $H_{\mu,c}$ een kost-bewuste complexiteitsmaat is die afhangt van configuratiekosten en Pareto-classificatie-gaps. Dit resultaat toont aan dat de foutkans exponentieel afneemt met het budget en de standaard Pareto-set identificatie garanties herstelt wanneer alle kosten identiek zijn.

4. Experimentele Resultaten

De auteurs evalueren hun methoden op LLM-configuratietaken met behulp van de GSM8K en PIQA datasets. Configuraties omvatten diverse modellen, temperaturen en prompting-strategieën, met doelstellingen waaronder nauwkeurigheid en genormaliseerde inverse latentie.

Online Selectie: CoHV-UCB presteert significant beter dan baselines (inclus kind van de kost-ongevoelige HV-UCB en single-objective Accuracy-Cost-UCB). Op de PIQA dataset verminderde CoHV-UCB de hypervolume-efficiëntie regret met 83,2% vergeleken met uniforme allocatie. De resultaten benadrukken dat het rekening houden met de spreiding in kosten cruciaal is wanneer de configuratie die de ruwe prestaties maximaliseert verschilt van de configuratie die de efficiëntie maximaliseert.
Pareto Identificatie: CoPSI vertoont superieure prestaties bij het identificeren van de Pareto-set vergeleken met uniforme allocatie en de kost-ongevoelige successive-rejects (PSI-SR). Op GSM8K verminderde CoPSI de identificatiefoutkans met 84,6% ten opzichte van uniforme allocatie bij het grootste budget. De experimenten bevestigen dat kost-bewuste sampling het algoritme in staat stelt om middelen te concentreren op ambigue configuraties nabij de Pareto-grens.

5. Betekenis en Claims

Het artikel claimt de eerste studie van cost-aware multi-objective bandits te zijn. De primaire betekenis ligt in het overbruggen van de kloof tussen theoretische bandit-frameworks en de praktische beperkingen van LLM-evaluatie, waarbij:

Kosten zijn heterogeen: Evaluatiekosten variëren aanzienlijk op basis van modelgrootte en prompting-strategieën.
Doelstellingen zijn multi-dimensionaal: Praktijkgebruikers moeten nauwkeurigheid, latentie en efficiëntie simultaan balanceren.
Budgetten zijn beperkt: Uitputtende evaluatie is computationeel en financieel onbetaalbaar.

De auteurs stellen dat hun framework efficiënte online besluitvorming en accurate kost-bewuste Pareto-identificatie mogelijk maakt. Door gezamenlijk te optimaliseren voor prestaties en kosten, stellen de voorgestelde methoden praktijkgebruikers in staat om meer waarde te halen uit beperkte evaluatiebudgetten, waarbij ze de valkuilen vermijden van strategieën die kostenvariaties negeren of zich op enkele doelstellingen richten. Het werk biedt een principieel fundament voor adaptieve LLM-evaluatie, waarbij men verder gaat dan statische benchmarking naar resource-efficiënte, multi-criteria optimalisatie.