Technische Samenvatting: Het Routing-Plateau: Het begrijpen en doorbreken van de nauwkeurigheidslimieten van LLM-routers

1. Probleemstelling

LLM-routing beoogt de kostprijs–kwaliteit-afweging van LLM-diensten te optimaliseren door dynamisch de meest geschikte modellen te selecteren uit een vaste pool voor elke inkomende query. Hoewel recente literatuur uiteenlopende routingstrategieën heeft voorgesteld—waaronder op gelijkenis gebaseerde retrieval, geleerde classificators, paarwijze rangschikking en op vertrouwen gebaseerde methoden—is er een gebrek aan een verenigd begrip met betrekking tot hun fundamentele prestatiegrenzen. Bestaande studies rapporteren vaak incrementele winsten onder specifieke experimentele opstellingen, waardoor het onduidelijk blijft of deze verbeteringen echte vooruitgang in routingcapaciteit weerspiegelen of artefacten zijn van evaluatieprotocollen. Het kernprobleem dat wordt aangepakt, is of huidige routingmethoden een prestatieplafond hebben bereikt en zo ja, welke structurele factoren hen verhinderen het theoretische optimum (de "oracle" router) te benaderen.

2. Methodologie

De auteurs voerden een grootschalige empirische studie uit waarbij 21 verschillende routingmethoden werden geëvalueerd over vijf representatieve benchmarks (RouterBench, Nine-by-30k, EmbedLLM, R2-Bench, en CARROT/SPROUT) onder een verenigd experimenteel protocol.

• Experimentele reikwijdte: De studie omvatte belangrijke ontwerpfamilies: classifier-stijl voorspellers, retrieval routers (bijv. kNN), paarwijze rangschikking, latent-factor/IRT-modellen, contrastieve routers en bandit/cost-aware benaderingen.
• Encoders: Zes query-encoders werden gebruikt, variërend van sentence-transformers (MINILM, MPNET) tot BERT-familie modellen (BGE, ModernBERT) en een decoder-only LLM encoder (Qwen2.5-0.5B).
• Benchmarks: Om het gebrek aan grootschalige data voor schaalingsanalyse aan te pakken, hebben de auteurs een nieuwe benchmark-suite geconstrueerd: Nine-by-30k (30k queries, 9 modellen) en Nine-by-300k (300k queries, 9 modellen). Deze gekoppelde datasets maken een gecontroleerde analyse van data-schaling en end-to-end fine-tuning mogelijk.
• Evaluatiemetrieken: Prestaties werden gemeten via routingnauwkeurigheid ($\lambda=0$) en cost-utility ($U(\lambda)$) over variërende kosten-afwegingen. De "oracle" nauwkeurigheid werd berekend als de bovengrens die haalbaar is als het juiste model vooraf bekend zou zijn voor elke query.
• Analysetechnieken: De auteurs gebruikten stratificatie van queries in "harde" (vereist instantie-specifieke selectie) en "gemakkelijke" subsets, pairwise disagreement analyse, en ablatie-studies op datagrootte, encoder-capaciteit en fine-tuning.

3. Belangrijkste Bevindingen en Resultaten

Het Routing-Plateau

De studie onthult een consistent fenomeen dat het routing-plateau wordt genoemd:

• Convergentie: Ondanks diverse architecturen en trainingsdoelstellingen convergeren 21 verschillende routingmethoden naar een smalle prestatieband. Op RouterBench verschillen de top 15 routers slechts 0,23 procentpunt (pp) in nauwkeurigheid.
• Oracle Gap: Alle bestaande routers blijven significant onder de oracle router, met een achterstand van 10–30 pp over de benchmarks heen.
• Eenvoud vs. Complexiteit: Eenvoudige, bevroren-encoder retrieval methoden (bijv. kNN, KMeans) presteren competitief met, en overtreffen vaak, geavanceerde geleerde routers. kNN staat in de top 2 van methoden over alle vijf de benchmarks.

Oorzaak: De Correctness-Prediction Bottleneck

Het plateau wordt toegeschreven aan een fundamentele beperking in de correctheid-voorspelling (correctness prediction):

• Grofmazig vs. Fijnmazig: Huidige routers leren grove, globale patronen van modelcapaciteit (bijv. "Model A is over het algemeen beter dan Model B") in plaats van fijnmazige, instantie-specifieke signalen die vereist zijn om te voorspellen welk specifiek model een specifieke query correct zal beantwoorden.
• Falen bij Harde Queries: Het grootste deel van het prestatieverschil (69,9%–90,8%) komt voort uit "harde" queries waar het globaal beste model incorrect is. Routers falen om onderscheid te maken tussen modellen op deze instanties, waarbij ze terugvallen op het globaal sterkste model.
• Error Exchange: Disagreements tussen routers resulteren in een "error exchange" in plaats van consistente nauwkeurigheidswinsten. Wanneer Router A slaagt waar Router B faalt, slaagt Router B doorgaans waar Router A faalt, waardoor de geaggregeerde verbeteringen elkaar opheffen.

Het Plateau Doorbreken

De auteurs verkenden drie hefbomen om voorbij het plateau te gaan met behulp van de Nine-by-300k dataset:

1. Data Scaling: Het vergroten van de trainingsdata van 30k naar 300k queries.
2. Encoder Scaling: Het upgraden van ModernBERT-Base (110M params) naar ModernBERT-Large (340M params).
3. End-to-End Fine-Tuning: Het aanpassen van de query-encoder aan de routing-doelstelling.

Resultaten: Het combineren van alle drie de factoren leverde een maximale nauwkeurigheidswinst op van 2,13 pp, waarmee ongeveer 14,6% van de oracle gap werd gedicht. Hoewel dit de prestaties verbetert, blijft een aanzienlijke kloof bestaan, wat aangeeft dat huidige statische query-representaties onvoldoende zijn om het routing-probleem volledig op te lossen.

4. Bijdragen

• Verenigde Evaluatie: De eerste uitgebreide evaluatie van 21 routingmethoden over vijf benchmarks onder een enkel protocol, die het wijdverbreide "routing-plateau" onthult.
• Diagnostisch Inzicht: Identificatie van de correctness-prediction bottleneck als de primaire oorzaak van het plateau, waarbij wordt aangetoond dat routers falen in het leren van instantie-specifieke signalen die nodig zijn voor harde queries.
• Nieuwe Benchmark: Constructie van Nine-by-30k en Nine-by-300k, die de eerste grootschalige routing-datasets bieden met model-correctheid labels om data-schaling en fine-tuning onderzoek te ondersteunen.
• Actiegerichte Richtingen: Empirisch bewijs dat het schalen van data, het versterken van encoders en end-to-end fine-tuning de nauwkeurigheid kunnen verbeteren, hoewel aanzienlijke uitdagingen resteren om de kloof naar de oracle te overbruggen.

5. Betekenis en Claims

Het artikel beweert de structurele limieten van huidige LLM-routingmethoden te karakteriseren. Het stelt dat het veld een punt heeft bereikt waarop architecturale nieuwheid alleen al verminderde meeropbrengsten oplevert, omdat de bottleneck ligt in de voorspelbaarheid van instantie-niveau correctheid vanuit statische query-embeddings.

De auteurs suggereren dat toekomstige vooruitgang vereist dat men verder gaat dan eenvoudige query-model matching naar:

• Rijkere Supervisie: Het gebruik van meer instantie-specifiek bewijs.
• Model-Pool-Bewuste Doelstellingen: Trainingsdoelstellingen die modellen gezamenlijk vergelijken (bijv. pairwise losses) in plaats van correctheid in isolatie te voorspellen.
• Dynamische Signalen: Het integreren van lichtgewicht lookahead-signalen (bijv. gedeeltelijke generatie of betrouwbaarheidsschattingen) in plaats van uitsluitend te vertrouwen op statische query-representaties.

Dit werk dient als een waarschuwing tegen overmatig optimisme in router-ontwerp en biedt een duidelijk stappenplan voor de gemeenschap om meer capabele volgende generatie routing-systemen te ontwikkelen.