💬 NLP

Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

Dit artikel stelt een tweestaps gekaskadeerd framework voor dat queries clustert voor kosteneffectieve modelroutering en kwalitatief minderwaardige outputs escaleert naar sterkere modellen, waarmee een bijna optimale nauwkeurigheid wordt bereikt terwijl de inferentiekosten aanzienlijk worden verminderd zonder dat handmatige herconfiguratie vereist is.

Oorspronkelijke auteurs: Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan

Gepubliceerd 2026-06-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een druk klantenservicecentrum runt voor een groot bedrijf. Je hebt twee soorten medewerkers beschikbaar om je klanten te helpen:

De "Snelheids-stagiairs": Ze zijn erg snel, goedkoop in dienst te nemen en geweldig in het beantwoorden van eenvoudige vragen zoals "Wat zijn jullie openingstijden?". Maar als je ze een complexe wiskundige som of een lastig technisch probleem voorlegt, kunnen ze er naast zitten.
De "Senior Experts": Ze zijn ongelooflijk slim en krijgen bijna alles goed, zelfs de moeilijkste problemen. Echter, ze zijn traag, duur en hebben veel tijd nodig om na te denken voordat ze antwoord geven.

Het Probleem:
Als je elke klant naar een Senior Expert stuurt, verspil je veel geld en tijd aan eenvoudige vragen. Als je elke klant naar een Snelheids-stagiair stuurt, bespaar je geld, maar begin je veel foutieve antwoorden te krijgen op de moeilijke vragen. De meeste bedrijven kiezen gewoon één type medewerker en houden zich daaraan, wat inefficiënt is.

De Oplossing: Een Tweestaps "Slimme Filter"
Dit artikel stelt een slim systeem voor genaamd Cluster, Route, Escalate dat werkt als een slimme verkeersregelaar voor je klantenservice. Het gebruikt een tweestaps proces om de beste balans tussen snelheid, kosten en nauwkeurigheid te vinden.

Fase 1: De "Groepering & Routering" (De Verkeersregelaar)

Eerst kijkt het systeem naar de binnenkomende vragen en groepeert deze in "clusters" op basis van waar ze over gaan.

De Analogie: Stel je voor dat je de post sorteert. Je legt alle "rekeningen" in één stapel, "klachten" in een andere en "algemene vragen" in een derde.
De Actie: Het systeem besluit: "Oké, de stapel 'Algemene Vragen' is makkelijk, dus we sturen al die vragen naar de Snelheids-stagiairs. Maar de stapel 'Complexe Wiskunde' is te moeilijk voor hen, dus we sturen die rechtstreeks naar de Senior Experts."
De Controleknop: Er is een speciale draaiknop (een hyperparameter, $\lambda$ ) waar de operators aan kunnen draaien. Als ze meer geld willen besparen, draaien ze de knop zodat er meer vragen naar de stagiairs gaan. Als ze een hogere nauwkeurigheid willen, draaien ze de knop zodat er meer naar de experts gaat. Deze knop wordt vooraf ingesteld op basis van een budget voor hoe snel de antwoorden moeten zijn.

Fase 2: De "Kwaliteitscontrole" (Het Veiligheidsnet)

Zelfs na de eerste fase kunnen sommige vragen die naar de Snelheids-stagiairs zijn gestuurd nog steeds te moeilijk zijn, waardoor de stagiair een fout antwoord kan geven.

De Analogie: Stel je voor dat een junior redacteur een concepttekst controleert. Als het concept er goed uitziet, sturen ze het naar de drukker. Als het er slordig of riskant uitziet, sturen ze het naar de Senior Redacteur voor een tweede blik.
De Actie: Wanneer een Snelheids-stagiair een antwoord geeft, scant een kleine, snelle "Kwaliteitscontroleur" (een lichtgewicht AI) het antwoord snel.
- Als het antwoord er goed uitziet? Accepteer het en stuur het naar de klant.
- Als het antwoord wankel of van lage kwaliteit lijkt? Escaleer het. Het systeem stuurt die specifieke vraag onmiddellijk naar de Senior Expert om het te herstellen.

Waarom dit een Groot Ding is

Het artikel testte dit systeem op twee zeer verschillende soorten taken:

Telecomvragen: Technische vragen over telefoonnetwerken.
Wiskundige problemen: Moeilijke wiskundige problemen op competitieniveau.

De Resultaten:

Nauwkeurigheid: Het systeem behield bijna de volledige nauwkeurigheid van de Senior Experts (ongeveer 97–99% van hun prestaties).
Snelheid & Kosten: Het was aanzienlijk sneller en goedkoper dan het gebruiken van de Senior Experts voor alles. In de wiskundetests was het 18% sneller terwijl het nog steeds bijna elk antwoord correct kreeg.
Geen Extra Werk: Het systeem hoefde alleen maar te weten of een antwoord "goed" of "fout" was (wat gemakkelijk te verkrijgen is van standaardtests). Het had geen dure menselijke labels of complexe hertraining nodig telkens wanneer een nieuw model werd toegevoegd.

De Kernboodschap

Dit framework is als het hebben van een slimme manager die precies weet wanneer hij de stagiairs het werk moet laten doen en wanneer hij de experts moet inschakelen. Het bespaart geld en tijd op eenvoudige taken, maar zorgt ervoor dat moeilijke taken nog steeds de topkwaliteit aandacht krijgen die ze nodig hebben, en dat alles zonder dat er telkens handmatig een menselijke beslissing nodig is.

Technische Samenvatting: Cluster, Route, Escalate: Een Gekalibreerd Framework voor Kostenbewuste LLM-serving

Probleemstelling

Efficiënte implementatie van Large Language Models (LLM's) in productieomgevingen vereist een afweging tussen nauwkeurigheid en de kosten van het serveren. Operators kiezen doorgaans standaard voor één enkel model: ofwel een groot, duur model dat te veel rekenkracht investeert in eenvoudige queries, ofwel een kleiner, efficiënter model dat tekortschiet bij moeilijke vragen. Bestaande systemen voor model-routing vereisen vaak annotaties die verder gaan dan standaard taakevaluatie (bijv. menselijke voorkeursdata of complexe moeilijkheidsgraden labels) en worstelen met het gelijktijdig optimaliseren van routing onder een expliciet inferentie-kostenbudget, terwijl de nauwkeurigheid wordt hersteld via kwaliteitsinschatting na de generatie. Bovorm bovendien passen veel benaderingen zich niet gemakkelijk aan bij veranderingen in de beschikbare modelpool zonder handmatige herconfiguratie.

Methodologie

De auteurs stellen een tweestaps gekalibreerd framework voor dat de routing gezamenlijk optimaliseert onder een Time Per Output Token (TPOT) budget en de nauwkeurigheid herstelt met behulp van uitsluitend taak-correctheid labels.

Fase 1: Clustering-gebaseerde Routing

De eerste fase opereert op clusterniveau om queries vooraf te routeren, om de inefficiëntie te vermijden van het draaien van een efficiënt model op elke query voordat er wordt besloten tot escalatie.

Semantische Clustering: Inkomende queries worden gecodeerd met behulp van all-MiniLM-L6-v2 en gepartitioneerd in coherente groepen ( $N$ clusters) met behulp van k-means. Het aantal clusters wordt geselecteerd door de gemiddelde Silhouette-score te maximaliseren.
Kostenbewuste Routing: Voor elk cluster $c$ en model $m$ wordt een routing-score berekend:
$\text{Score}(m, c) = \text{Error}(m, c) + \lambda \cdot \text{Cost}_{\text{norm}}(m)$
Waarbij $\text{Error}(m, c)$ de empirische foutmarge op de trainingsdata is, en $\text{Cost}_{\text{norm}}(m)$ de genormaliseerde TPOT van het model is (0 voor de snelste, 1 voor de langzaamste).
Hyperparameter Tuning ( $\lambda$ ): Een interpreteerbare hyperparameter $\lambda$ regelt de afweging tussen nauwkeurigheid en latentie. De optimale $\lambda^*$ wordt automatisch offline getuned op de trainingsdata om aan een door de gebruiker gespecificeerd TPOT-budget $B$ te voldoen.
Pareto-analyse: Voordat de routing plaatsvindt, worden modellen die Pareto-gedomineerd zijn (trager en minder accuraat dan een ander model over alle clusters heen) uit de pool verwijderd.
Routingbeslissing: Elke query wordt toegewezen aan het dichtstbijzijnde clustercentrum en gerouteerd naar het model dat de score voor dat cluster minimaliseert.

Fase 2: Kwaliteitsinschatting (QE) Cascade

De tweede fase fungeert als een vangnet voor queries die naar efficiënte modellen zijn gerouteerd.

Mechanisme: Een lichtgewicht binaire classifier (fijn afgestelde ModernBERT-base) inspecteert de output van efficiënte modellen.
Input: De classifier neemt de query, de output van het model en de gegenereerde lengte als input.
Beslissing: Op basis van taak-correctheid labels, afgeleid van de prestaties van het efficiënte model op de trainingsdata, beslist de classifier of de output wordt geaccepteerd of dat de query moet worden geëscaleerd naar een sterker model.
Integratie: Deze fase wordt alleen toegepast op outputs van efficiënte modellen; queries die direct naar sterke modellen zijn geroteerd in Fase 1, omzeilen de classifier om de latentiewinst te behouden.

Belangrijkste Bijdragen

Tweestaps Framework: Een nieuwe architectuur die pre-generatie cluster-niveau routing combineert met post-generatie kwaliteitsinschatting, waarmee de "multi-stage cascade gap" wordt geadresseerd die in eerder werk werd geïdentificeerd.
Kostenbewuste Optimalisatie: Het systeem optimaliseert gezamenlijk de routing onder een expliciet TPOT-budget met behulp van een enkele, interpreteerbare hyperparameter ( $\lambda$ ), in plaats van het doorzoeken van een monetaire kostencurve.
Minimale Annotatievereiste: Het framework vereist uitsluitend standaard taak-correctheid labels (beschikbaar uit standaard benchmark-evaluaties) voor zowel de clustering-gebaseerde routing als de training van de QE-classifier.
Dynamische Aanpasbaarheid: Het systeem past zich automatisch aan bij veranderingen in de modelpool (toevoeging of verwijdering van modellen) door middel van Pareto-analyse en het opnieuw berekenen van routingtabellen, zonder handmatige herconfiguratie.
Generalisatie: De aanpak wordt gevalideerd over twee verschillende domeinen: telecommunicatie (TeleQnA) en wiskundige redenering (AIME 2024).

Experimentele Resultaten

Het framework werd geëvalueerd op TeleQnA en AIME 2024 met pools uit de Qwen 3/3.5 en Gemma 4 families.

AIME 2024 (Wiskundige Redenering):
- Het gecombineerde Fase 1+2 systeem behaalde 88,4% nauwkeurigheid met een TPOT van 9,7 ms.
- Dit behoudt 97% van de nauwkeurigheid van het sterkste model (Qwen3-30B, 89,1%) terwijl de latentie met 18% wordt verminderd (2,1 ms sneller).
- Fase 2 herstelde een nauwkeurigheidswinst van 2,0% ten opzichte van alleen Fase 1 met slechts een toename van 0,2 ms in TPOT.
TeleQnA (Telecommunicatie QA):
- Het gecombineerde systeem behaalde 74,3% nauwkeurigheid met een TPOT van 23,8 ms.
- Dit ligt binnen 2,1% van de nauwkeurigheid van het sterkste model (76,4%) terwijl het 0,7 ms sneller is.
- Fase 2 herstelde 3,1 procentpunt aan nauwkeurigheid ten opzichte van alleen Fase 1.
Uitbreidbaarheid: Experimenten waarbij nieuwe modellen aan de pool werden toegevoegd, toonden aan dat het framework automatisch gedomineerde modellen wegfiltert en superieure modellen integreert, waarbij Pareto-verbeteringen worden behaald zonder handmatige interventie.

Betekenis en Claims

Het artikel beweert dat dit framework een praktische, interpreteerbare oplossing biedt voor het implementeren van LLM's in kostenbeperkte omgevingen, met name voor autonome agenten in sectoren zoals telecommunicatie waar on-premise implementatie en lage latentie cruciaal zijn.

Efficiëntie versus Nauwkeurigheid: Het systeem toont aan dat operators niet hoeven te kiezen tussen één sterk model of één efficiënt model. In plaats daarvan kan een gekalibreerde aanpak bijna de staat van de kunst (SOTA) nauwkeurigheid behouden terwijl de inferentiekosten (TPOT) aanzienlijk worden verlaagd.
Operationele Eenvoud: Door te vertrouren op taak-correctheid labels en een interpreteerbare hyperparameter ( $\lambda$ ), biedt het framework aan operators een "eenvoudig pad" voor het beheren van modelpools, waardoor de complexiteit van het trainen van complexe routers op voorkeursdata wordt vermeden.
Schaalbaarheid: Het gebruik van Pareto-analyse zorgt ervoor dat de routinglogica robuust blijft naarmate de modelpools evolueren, wat het framework geschikt maakt voor dynamische productieomgevingen waar nieuwe modellen beschikbaar kunnen komen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het framework momenteel vertrouwt op offline clustering (niet aanpasbaar aan verschuivingen in de query-distributie tijdens de inferentie) en TPOT gebruikt als een proxy voor kosten, wat geen rekening houdt met wachtrijen of netwerkoverhead. Zij stellen echter dat het framework een fundamentele, kostenbewuste architectuur biedt voor efficiënte LLM-serving.