💬 NLP

Scalable Prompt Routing via Fine-Grained Latent Task Discovery

Dit paper introduceert een schaalbaar prompt-routingsysteem dat via geautomatiseerde, fijnmazige taakontdekking en een mixture-of-experts-architectuur de prestaties optimaliseert en de kosten verlaagt door de meest geschikte grote taalmodellen te selecteren voor complexe query's.

Oorspronkelijke auteurs: Yunyi Zhang, Soji Adeshina, Patrick Guan, Ashwin Ganesh, Zhen Han, Vassilis N. Ioannidis, Huzefa Rangwala, George Karypis

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yunyi Zhang, Soji Adeshina, Patrick Guan, Ashwin Ganesh, Zhen Han, Vassilis N. Ioannidis, Huzefa Rangwala, George Karypis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met 11 verschillende super-intelligente bibliothecarissen (deze zijn de "modellen" of AI's). Sommige zijn experts in wiskunde, anderen in coderen, weer anderen in creatief schrijven of het beantwoorden van moeilijke vragen.

Het probleem is: geen enkele bibliothecaris is de beste in alles. Als je een vraag over wiskunde stelt, is de ene bibliothecaris misschien sneller, maar als je een vraag over geschiedenis stelt, is een ander weer beter.

Vroeger hadden we twee manieren om de juiste bibliothecaris te kiezen:

De handmatige lijst: Iemand schreef van tevoren op: "Vragen over wiskunde gaan naar bibliothecaris A." Maar dit werkt niet goed meer, want de vragen zijn heel subtiel. Soms is een wiskundevraag eigenlijk een taalkundig raadsel, en dan faalt de lijst.
De één-voor-alle-manager: Je hebt één manager die elke vraag moet beoordelen. Maar omdat er nu zo veel bibliothecarissen zijn met heel kleine verschillen in hun kunnen, raakt deze manager in de war en maakt hij fouten.

De oplossing in dit papier: "FineRouter" (De Slimme Wegwijzer)

De auteurs van dit paper hebben een slimme, twee-staps strategie bedacht om altijd de perfecte bibliothecaris te vinden, zonder dat het te duur wordt. Ze noemen hun systeem FineRouter.

Hier is hoe het werkt, vertaald naar alledaagse taal:

Stap 1: De "Onzichtbare Groepen" Ontdekken (De Verkenner)

In plaats van te wachten tot iemand een lijst maakt, laat het systeem de vragen zelf praten.

Het idee: Het systeem kijkt naar duizenden vragen en zegt: "Hé, deze vragen lijken op elkaar, en ze worden allemaal het beste beantwoord door dezelfde groep bibliothecarissen."
De analogie: Stel je voor dat je een grote feestzaal binnenloopt. In plaats van dat een gastheer iedereen in een vooraf bepaald groepje stopt, ziet het systeem dat er vanzelf groepjes ontstaan: de "wiskundige puzzelaars", de "telefoonnummer-zoekers" en de "code-schrijvers".
Het systeem maakt automatisch een landkaart van deze verborgen groepen. Voor elke groep weet het nu precies welke 2 of 3 bibliothecarissen het beste zijn. Dit is veel slimmer dan een handgeschreven lijst, want het ontdekt zelfs rare, kleine groepjes die niemand eerder had bedacht (zoals "vragen over telefoonnetnummers").

Stap 2: De "Specialisten" (De Expert-Manager)

Nu we weten in welke groep een vraag hoort, komen we bij de tweede stap.

Het idee: In plaats van dat één manager alles doet, hebben we nu een team van specialisten.
De analogie: Als een vraag binnenkomt, kijkt de "Verkenner" (Stap 1) eerst: "Ah, dit is een wiskundevraag!" Dan roept hij de Wiskunde-Manager aan. Die manager heeft een speciaal team van bibliothecarissen dat alleen naar wiskunde kijkt. Die teamleden weten precies wie er vandaag goed presteert op wiskunde.
Als de vraag niet in een groep past, gebruikt hij een algemene manager.
Het resultaat: De beslissing is super-snel en super-accuraat, omdat de manager zich focust op het specifieke type vraag, in plaats van alles tegelijk te proberen te onthouden.

Waarom is dit zo geweldig?

Het bespaart geld: Je hoeft niet de duurste, meest krachtige bibliothecaris (die kost misschien 10 euro per vraag) te gebruiken voor elke vraag. Voor simpele vragen gebruik je een goedkopere, snellere bibliothecaris. Het papier laat zien dat je meer dan de helft van de kosten kunt besparen.
Het is slimmer dan de beste enkeling: Zelfs als je de allerbeste bibliothecaris van de wereld neemt, kan die niet alles perfect doen. Door slim te schakelen tussen de 11 modellen, doet het systeem het beter dan welke enkele bibliothecaris ook.
Het werkt voor de toekomst: Omdat het systeem zelf de groepen ontdekt, hoeft niemand nieuwe lijsten te schrijven als er morgen een nieuwe, super-snelle bibliothecaris bij komt. Het systeem past zich automatisch aan.

Kort samengevat:
Stel je voor dat je een restaurant hebt met 11 top-koks. In plaats van dat elke klant naar de duurste chef-kok moet (die ook nog eens traag is), heeft dit systeem een slimme conciërge. Deze conciërge kijkt naar je bestelling, herkent dat het een "pittig Aziatisch gerecht" is, en stuurt je direct door naar de kok die daar het allerbeste in is. Het resultaat? Je krijgt een betere maaltijd, sneller, en voor een veel lagere prijs.

Dat is wat FineRouter doet voor AI-vragen: het vindt de perfecte match tussen vraag en model, automatisch en op een slimme manier.

1. Probleemstelling

De snelle evolutie van Large Language Models (LLMs) heeft geleid tot een diversiteit aan modellen met zeer specifieke, maar subtiele sterktes en zwaktes. Traditionele prompt routing-methodes (die dynamisch het beste model selecteren voor een query) stuiten op twee grote beperkingen bij het schalen naar grote pools van frontier-modellen:

Manuele taxonomieën: Bestaande methodes vertrouwen vaak op handmatig gedefinieerde, grofkorrelige taakcategorieën (bijv. "wiskunde", "coderen"). Deze kunnen de fijne nuances en specifieke vaardigheidsverschillen tussen moderne modellen niet vangen (bijv. het verschil tussen symbolische algebra en contextuele woordproblemen).
Monolithische routers: Methoden die één enkel router-model trainen om de kwaliteit van alle prompts te voorspellen, worstelen om de subtiele verschillen in prestaties tussen modellen te onderscheiden wanneer de prestatiekloof klein is.

Het doel is om een schaalbare oplossing te vinden die de prestaties optimaliseert en de kosten verlaagt, zelfs wanneer er tientallen sterke kandidaat-modellen zijn met nauwe prestatieverschillen.

2. Methodologie: FineRouter

De auteurs stellen FineRouter voor, een tweefasige routing-architectuur die automatiseert hoe fijne taakstructuren worden ontdekt en hoe deze worden gebruikt voor kwaliteitschatting.

Fase 1: Ontdekking en Matching van Taaktypen (Offline)

In plaats van vooraf gedefinieerde categorieën te gebruiken, ontdekt deze fase automatisch fijne taaktypen uit de trainingsdata.

Semantische en Prestatie-gebaseerde Clustering: Voor elke prompt wordt een beknopte taakomschrijving gegenereerd door een LLM. Vervolgens wordt een graf-gebaseerde clustering toegepast. De randen in deze graaf combineren twee signalen:
1. Semantische similariteit: Gebaseerd op de embeddings van de taakomschrijvingen.
2. Prestatie-voorkeur: Gebaseerd op de ranglijst van favoriete LLM's voor die prompt (berekend via Rank Biased Overlap - RBO).
Iteratief Clustering: Met behulp van de Leiden-community detection-algoritme worden clusters gevormd. Elke cluster vertegenwoordigt een latent taaktype ( $t_i$ ) met een specifieke set van kandidaat-modellen die het beste presteren op die taak.
Task Classifier: Een tekstclassificator wordt getraind om nieuwe prompts toe te wijzen aan deze ontdekte taaktypen. Deze classifier kan een prompt toewijzen aan meerdere taaktypen met verschillende betrouwbaarheidsscores.

Fase 2: Taak-bewuste Dynamische Router (Online)

Deze fase gebruikt de taaktypen uit Fase 1 om een gespecialiseerde kwaliteitsschatting te maken via een Mixture-of-Experts (MoE) architectuur.

Architectuur: De router bestaat uit een prompt-encoder, een LLM-embedding-laag en een Quality Estimation (QE) laag.
Experts:
- Algemene adapters: MLP's die de kwaliteit voorspellen voor elk model op basis van globale kennis (voor alle prompts).
- Taak-specifieke adapters: Voor elk ontdekt taaktype $t_i$ worden specifieke adapters getraind voor de geselecteerde kandidaat-modellen van die taak.
Inference: Wanneer een prompt binnenkomt, wordt deze eerst toegewezen aan een taaktype. Vervolgens worden de bijbehorende taak-specifieke adapters geactiveerd voor de relevante modellen, terwijl de algemene adapters voor de overige modellen worden gebruikt.
Aggregatie: De uiteindelijke score is een gewogen som van de taak-specifieke voorspelling (Fase 2) en de aggregatie van de taak-niveau scores (Fase 1), wat zorgt voor een balans tussen stabiliteit en aanpassingsvermogen.

3. Belangrijkste Bijdragen

Automatische Fijne Taakontdekking: Een schaalbare methode die semantische en prestatie-gebaseerde signalen combineert om fijne taaktypen te identificeren zonder menselijke tussenkomst.
Taak-bewuste Routing Architectuur: Een MoE-ontwerp met gespecialiseerde voorspellingskoppen die gebruikmaken van de ontdekte taakstructuur voor nauwkeurigere modelselectie.
Uitgebreide Evaluatie: Testen op 10 benchmarks met 11 state-of-the-art frontier-modellen (inclusief Claude-Sonnet-4.5, DeepSeek-R1, Llama-4-Maverick, Qwen3), wat laat zien dat de methode robuust is bij nauwe prestatiekloven.

4. Resultaten

De evaluatie toont aan dat FineRouter significant beter presteert dan bestaande baselines (zoals kNN, MLP, RouteLLM, GraphRouter) en zelfs beter dan het sterkste individuele model in de pool.

Prestatie: FineRouter behaalde de hoogste gemiddelde kwaliteitsscore over alle 10 benchmarks.
Kosten-efficiëntie: Het systeem bereikt een betere prestatie dan het sterkste kandidaat-model (Claude-Sonnet-4.5) terwijl het minder dan de helft van de inferentiekosten incasseert. Dit wordt bereikt door het slimme toewijzen van prompts aan goedkopere, maar voor die specifieke taak geschikte modellen.
Ablatiestudies: De studie bevestigt dat beide fasen essentieel zijn. Fijne taakontdekking levert effectievere signalen op dan grofkorrelige taxonomieën, en de combinatie van beide fasen overtreft het gebruik van slechts één fase.
Case Studies: De clustering ontdekte verrassende, niche-domeinen (bijv. telefoonnetwerkcodes) en maakte fijne onderscheidingen binnen brede categorieën (bijv. symbolische wiskunde vs. woordproblemen), wat leidde tot betere modelselectie.

5. Betekenis en Impact

Dit paper is significant omdat het de schaalbaarheid van prompt routing oplost in een tijdperk van "frontier-modellen" waar de prestatieverschillen tussen modellen zeer klein zijn.

Paradigmaverschuiving: Het verlegt de focus van handmatige categorisatie naar datagedreven, automatische ontdekking van latent taakstructuren.
Praktische Toepasbaarheid: Voor organisaties die meerdere LLM's beheren, biedt FineRouter een manier om de kosten drastisch te verlagen zonder in te leveren op kwaliteit, door precies het juiste model te kiezen voor de specifieke nuance van een vraag.
Toekomstgericht: De methode is ontworpen om mee te groeien met de pool van beschikbare modellen, wat essentieel is nu het aantal krachtige AI-modellen exponentieel toeneemt.

Kortom, FineRouter demonstreert dat het expliciet modelleren van latent taakstructuren leidt tot nauwkeurigere, schaalbaardere en kostenefficiëntere routing-beslissingen.