Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems
Deze survey biedt een uitgebreid overzicht van routingstrategieën in op Large Language Models gebaseerde systemen, waarbij wordt geanalyseerd hoe het dynamisch sturen van queries naar de juiste modellen het resourceverbruik kan optimaliseren, kosten kan verlagen en de prestaties kan verbeteren door de inefficiënties van monolithische architecturen aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin elke keer dat je een vraag stelt, een team van experts naar voren schiet om deze te beantwoorden. Sommigen zijn briljant maar traag en duur, zoals een Nobelprijswinnende professor die per uur rekent. Anderen zijn snel en goedkoop, zoals een deskundige vriend die de meeste dingen kan afhandelen maar misschien struikelt over een echt lastig raadsel. In de wereld van kunstmatige intelligentie zijn deze "experts" Large Language Models (LLM's). Op dit moment zijn de meeste computersystemen gebouwd als een eigenwijzig restaurant dat elke bestelling, van een simpel glas water tot een complex vijfgangenmenu, naar de duurste chef in de keuken stuurt. Dit werkt wel, maar het is verspillend, traag en verbruikt veel energie. De grote vraag die wetenschappers stellen is: Hoe kunnen we een slimmere "maître d'" bouwen die naar jouw bestelling kijkt en direct beslist of hij de snelle, goedkope hulp of de dure genie moet sturen? Dit is de kern van een nieuw veld genaamd "routing", en het draait allemaal om meer doen met minder.
Dit artikel, getiteld "Doing More with Less", is een uitgebreide tour langs de verschillende manieren waarop onderzoekers proberen die slimme maître d' te bouwen. De auteurs, een team uit Frankrijk, hebben niet zoma van een nieuwe truc uitgevonden; ze hebben het hele landschap van de momenteel geteste strategieën verzameld en georganiseerd. Ze ontdekten dat de beste manier om geld en energie te besparen niet is om één gigantisch brein voor alles te gebruiken, maar om een systeem te creëren dat vragen doorstuurt naar het juiste instrument op basis van hoe moeilijk de vraag is. Ze ontdekten dat je vaak een piepklein, goedkoop model kunt gebruiken voor eenvoudige begroetingen en de grote, dure modellen alleen bewaart voor de echt moeilijke logische puzzels. Ze waarschuwen echter ook dat dit nog geen toverstaf is. Sommige methoden zijn geweldig in het besparen van geld, maar missen misschien de plank wat betreft nauwkeurigheid, terwijl andere te ingewikkeld zijn om in de echte wereld te draaien. Het artikel suggereert dat de toekomst ligt in "adaptieve" systemen die kunnen leren en van gedachten kunnen veranderen naarmate er nieuwe tools beschikbaar komen, in plaats van vast te zitten aan een rigide reeks regels.
Het Grote Probleem: De "One-Size-Fits-All" Chef
Denk aan een Large Language Model (LLM) als een superintelligente chef. Sommige chefs zijn generalisten; ze kunnen bijna alles koken, van een broodje tot een soufflé. Maar ze zijn duur om in te huren en doen er lang over om te werken. Andere chefs zijn specialisten; misschien zijn ze geweldig in het maken van pizza, maar verschrikkelijk in het bakken van taarten.
Op dit moment zijn de meeste AI-systemen als een restaurant dat de menukaart negeert. Als je om een glas water vraagt, roept het systeem de duurste, krachtigste chef op (zoals GPT-4 of Claude) om het te doen. Dit is een enorme verspilling. Het kost veel geld, verbruikt een enorme hoeveelheid elektriciteit en duurt langer dan nodig is. Het artikel betoogt dat we een "router" nodig hebben — een slimme ober — die naar je verzoek kijkt en beslist: "Hé, dit is gewoon een simpele vraag. Laten we het naar de snelle, goedkope stagiair sturen." Maar als je een complexe wiskundevraag stelt, moet de ober zeggen: "Oké, hiervoor hebben we de chef-kok nodig."
De Drie Grote Vragen die het Artikel Beantwoordt
De auteurs breken het probleem af in drie eenvoudige vragen: Wat moeten we optimaliseren? Wanneer moeten we de beslissing nemen? en Hoe bouwen we de router daadwerkelijk?
1. Wat proberen we te besparen?
De meeste mensen denken dat alleen geld het enige is dat telt. Maar het artikel wijst erop dat we ook moeten geven om tijd (latentie) en het milieu (energie).
- Geld: Elke keer dat een AI een vraag beantwoordt, kost het een klein beetje geld per woord (token).
- Tijd: Wachten op een trage, krachtige AI om een simpel "Hallo" te beantwoorden, is irritant.
- De Planeet: Grote AI-modellen verbruiken veel elektriciteit. Als we een kleiner model kunnen gebruiken voor 80% van onze vragen, besparen we een enorme hoeveelheid energie en verminderen we onze ecologische voetafdruk.
2. Wanneer nemen we de beslissing?
Het artikel identificeert twee hoofdmomenten waarop de "ober" een keuze kan maken:
- Vóór de generatie van het antwoord (Pre-generatie): De ober kijkt naar je vraag voordat iemand begint met koken. Ze raden: "Dit ziet eruit als een simpele pizza-bestelling," en sturen het direct naar de goedkope chef. Dit is snel en bespaart geld omdat de grote chef nooit betrokken wordt.
- Ná de generatie van het antwoord (Post-generatie/Cascade): De ober laat de goedkope chef eerst proberen. Als het antwoord er slecht uitziet of als de chef onzeker lijkt, stuurt de ober de vraag dan pas naar de dure chef. Dit is als het bestellen van een pizza, een hapje proeven, en als het verbrand is, de chef-kok bellen om een nieuwe te maken. Dit is veiliger maar trager en kan meer kosten als de goedkope chef vaak faalt.
3. Hoe bouwen we de ober?
Dit is het leukste deel. Het artikel beoordeelt tientallen verschillende "ober"-strategieën, die ze indelen in vier hoofdfamilies:
- De "Look-Alike" Ober (Gebaseerd op gelijkenis): Deze ober houdt een plakboek bij van eerdere vragen. Als je een vraag stelt die lijkt op een vraag die je vorige week stelde, stuurt de ober het naar dezelfde chef die die vraag beantwoordde. Het is als zeggen: "Vorige keer dat je over katten vroeg, was de kattenexpert geweldig, dus ik stuur deze kattenvraag ook naar hen."
- De "Teacher" Ober (Gesuperviseerd): Deze ober wordt getraind als een student. Het leert patronen te herkennen. Bijvoorbeeld: het leert dat vragen over "wiskunde" meestal een wiskundespecialist nodig hebben, en vragen over "grappen" een creatief model nodig hebben. Het is als een student die een tekstboek heeft uit het hoofd geleerd over "Welke chef behandelt welk gerecht."
- De "Gambler" Ober (Reinforcement Learning): Deze ober leert door middel van vallen en opstaan, zoals een personage in een videogame. Het probeert verschillende chefs, ziet of het antwoord goed was, en krijgt een "beloning" als het geld bespaarde en een goed antwoord gaf. Na verloop van tijd leert het de beste strategie zonder dat er een tekstboek nodig is.
- De "Self-Reflecting" Ober (Generatief): Dit is waar de AI met zichzelf praat. De ober vraagt aan de goedkope chef: "Weet je het zeker?" Als de chef zegt: "Ik weet het niet zeker," stuurt de ober de vraag onmiddellijk naar de grote chef. Het is als een vriend vragen: "Weet je dit?", en als hij aarzelt, bel je de expert.
Wat het Artikel Uitsluit (De "Niet Proberen" Lijst)
De auteurs zijn heel duidelijk over wat niet telt als een goede routingstrategie. Ze zeggen expliciet dat het simpelweg verzamelen van antwoorden van vijf verschillende chefs en de beste kiezen (genaamd "ensemble methoden") niet hetzelfde is als routing. Dat is als het bestellen van vijf pizza's en de slechte weggooien; dat is te duur. Het doel is om de juiste chef te kiezen voordat je begint met koken, niet om alles te koken en dan te kiezen.
Ze merken ook op dat sommige methoden, zoals de AI vragen om zijn eigen vertrouwen in te schatten, lastig kunnen zijn. Soms is de AI overmoedig en zegt: "Ik weet het!", terwijl dat eigenlijk niet zo is. Dit kan leiden tot slechte antwoorden als het systeem de verkeerde chef vertrouwt.
Het Oordeel: Het is Veelbelovend, Maar Niet Perfect
Het artikel concludeert dat routing een krachtig hulpmiddel is, maar het is nog geen opgelost mysterie.
- Het werkt: In veel tests kan slimme routing de kosten met de helft of meer verlagen, terwijl de antwoorden net zo goed blijven als bij het gebruik van de grote modellen.
- Het is lastig: De beste strategie hangt af van de situatie. Soms werkt een "look-alike" benadering het best; op andere momenten is een "teacher" benadering beter.
- De toekomst: De auteurs suggereren dat de volgende grote stap het "adaptief" maken van deze routers is. Nu, als je een nieuwe chef aan de keuken toevoegt, moet je vaak het hele waiter-systeem opnieuw trainen. Het doel voor de toekomst is een ober die onmiddellijk de vaardigheden van een nieuwe chef begrijpt en deze kan gaan gebruiken, zonder dat er een lange trainingsperiode nodig is.
Kortom, dit artikel is een gids voor het bouwen van slimmere, goedkopere en groenere AI-systemen. Het vertelt ons dat we geen moker nodig hebben om een noot te kraken. Door een slim systeem te bouwen dat weet wanneer het een kleine hamer moet gebruiken en wanneer een grote, kunnen we AI sneller, goedkoper en beter voor de planeet maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.