ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving
Dit paper introduceert ParetoBandit, een open-source, adaptieve router voor niet-stationaire LLM-diensten die via contextuele bandieten en online budgetcontrole dynamisch de afweging tussen kwaliteit en kosten optimaliseert, nieuwe modellen zonder downtime integreert en zich aanpast aan prijswijzigingen of kwaliteitsregressies binnen een strikt dollar-budget.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent in een drukke restaurantketen. Je hebt drie verschillende koks in je team:
- De Snelle Jongen: Goedkoop, snel, maar soms maakt hij een simpele fout.
- De Vakman: Iets duurder, zeer betrouwbaar en maakt zelden fouten.
- De Sterrenchef: Zeer duur, maakt prachtige gerechten, maar kost een fortuin.
Je hebt een strakke dagbegroting (bijvoorbeeld €10 per klant). Je wilt dat elke klant een heerlijk maaltje krijgt, maar je mag je budget niet overschrijden.
Het probleem?
De wereld verandert constant.
- Soms verlaagt de Sterrenchef zijn prijzen plotseling.
- Soms wordt de Vakman ineens minder goed (zonder dat je het merkt, misschien heeft hij een nieuwe assistent die alles verpest).
- Soms komt er een nieuwe kok bij die je nog niet kent.
De meeste huidige systemen zijn als een stijve receptboek: ze hebben een vaste regel (bijv. "gebruik altijd de Vakman als de vraag moeilijk is"). Als de prijzen veranderen of de kwaliteit zakt, blijven ze stug doorgaan met het oude plan. Dat kost je geld of je serveert slecht eten.
De oplossing: ParetoBandit
Dit artikel introduceert ParetoBandit, een slimme, lerende restaurantmanager die in real-time beslissingen neemt. Het is geen statisch boekje, maar een levendige manager die elke seconde leert.
Hier is hoe het werkt, vertaald naar alledaagse termen:
1. De Slimme Begrotingsmanager (De "Budget Pacer")
Stel je voor dat deze manager een slimme portemonnee heeft die direct reageert.
- Als de Sterrenchef zijn prijs halveert, ziet de manager dit direct. "Wauw! Nu is hij bijna even goedkoop als de Snelle Jongen, maar veel beter!" Hij stuurt dan meer klanten naar de Sterrenchef.
- Als de prijzen weer stijgen, stopt hij direct met het dure eten bestellen.
- Het magische: Hij houdt de totale rekening altijd binnen je dagbegroting. Hij zorgt dat je niet per ongeluk €100 uitgeeft aan één klant, maar dat je gemiddeld precies op je limiet zit. Hij is als een strakke butler die je nooit laat overschrijden, maar wel het beste haalt uit je geld.
2. Het Vergeten Mechanisme (Geometric Forgetting)
Dit is het meest creatieve deel. Stel je voor dat de manager een geheugen heeft, maar geen onuitwisbaar schrift.
- Normale systemen onthouden alles voor altijd. Als de Sterrenchef vorige maand slecht was, denkt het systeem: "Die is slecht!" en gebruikt hem nooit meer, zelfs niet als hij nu weer top is.
- ParetoBandit gebruikt geometrisch vergeten. Het is alsof de manager zegt: "Ik herinner me wat je gisteren deed, maar wat je een maand geleden deed, wordt steeds vaagder."
- Als de kwaliteit van een kok plotseling zakt (bijvoorbeeld door een stilte-update van de leverancier), "vergeet" de manager de oude, goede reputatie snel genoeg om te zien dat er nu iets mis is. Hij schakelt direct over naar een andere kok, zonder dat jij hoeft in te grijpen.
3. De Proefperiode voor Nieuwe Koks (Hot-Swap)
Stel, er komt een nieuwe kok bij. Je weet niet of hij goed is.
- Een dom systeem zou zeggen: "Weet ik niet, gebruik de oude."
- Een ander systeem zou zeggen: "Laat hem maar alles doen!" (te risicovol).
- ParetoBandit doet een korte proefperiode. Hij stuurt een paar klanten naar de nieuwe kok (een "gedwongen proef"). Als die het goed doet, krijgt hij meer werk. Als hij slecht is, wordt hij snel afgewezen. De manager leert in een paar seconden of de nieuwe kok de moeite waard is, zonder je budget te laten exploderen.
Waarom is dit zo belangrijk?
In de echte wereld van AI (Large Language Models) gebeurt dit allemaal constant:
- Bedrijven veranderen hun prijzen.
- Modellen worden soms "dommer" door updates.
- Er komen elke maand nieuwe, betere modellen.
ParetoBandit is de eerste manager die dit allemaal tegelijk regelt:
- Hij houdt strikt vast aan je euro-budget.
- Hij past zich direct aan als prijzen of kwaliteit veranderen.
- Hij kan nieuwe modellen toevoegen terwijl het restaurant open is, zonder dat de deur dicht hoeft.
De snelheid:
Het systeem is zo snel dat het nauwelijks merktbaar is. Het duurt minder dan 1% van de tijd die nodig is om een AI-antwoord te genereren. Het is alsof de manager in een flits een beslissing neemt terwijl de klant nog aan het wachten is.
Kortom:
ParetoBandit is de slimme, flexibele manager die ervoor zorgt dat je altijd de beste kwaliteit krijgt voor het laagste mogelijke prijsje, zelfs als de wereld om je heen continu verandert. Geen starre regels, maar een levendige aanpassing aan de realiteit.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.