Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios

1. Probleemstelling

Grote Taalmodellen (LLMs) vertonen aanzienlijke variatie in prestaties en rekenkosten afhankelijk van de specifieke taak en de query. Het doel van LLM-routing is om voor elke inkomende query het meest geschikte model uit een kandidatenpool te selecteren, gebaseerd op een afweging tussen kosten en prestaties (bijv. kostenbesparing versus maximale nauwkeurigheid).

De huidige uitdaging is het Cold-Start-probleem:

• Bestaande routers vereisen doorgaans een gelabelde trainingsdataset binnen het specifieke domein (in-domain data) om te leren welke modellen voor welke queries het beste presteren.
• In realistische scenario's, zoals voor startups of individuele gebruikers, is deze gelabelde data vaak niet beschikbaar.
• Zonder data presteren bestaande methoden (zoals regressie- of classificatie-routers) slecht door domeinverschuivingen (domain shift) tussen trainings- en testdata. Simpele regels (bijv. "gebruik altijd het grootste model") zijn vaak inefficiënt.

2. Methodologie

De auteurs stellen een tweeledige oplossing voor: een framework voor datageneratie en een nieuw routeringsmodel.

A. Multi-Level Task-Profile-Guided Data Synthesis Framework

Om het gebrek aan trainingsdata op te lossen, stellen de auteurs een framework voor om synthetische vraag-antwoord (QA) paren te genereren die de verdeling van testqueries nabootsen. Dit proces bestaat uit drie componenten:

1. Task Type Generator: Bouwt een hiërarchische taxonomie op van taken, bestaande uit drie niveaus:
   • Domein (bijv. Wiskunde, Creatief Schrijven).
   • Subcategorie (bijv. Algebra, Verhaalschrijven).
   • Moeilijkheidsgraad (bijv. Gemakkelijk, Moeilijk).
     De generator gebruikt LLMs om deze taxonomie recursief uit te breiden op basis van domeinbeschrijvingen.
2. Task Type Quality Evaluator: Voert een zelf-critiek uit op de gegenereerde taksonomieën om redundantie te minimaliseren en de specificiteit en volledigheid te waarborgen.
3. Question-Answer Pair Generator: Genereert diverse QA-paren voor elk profiel (combinatie van domein, subcategorie en moeilijkheid). Er wordt gebruikgemaakt van semantische filtering om dubbele vragen te verwijderen, zodat een diverse dataset ontstaat die de testverdeling benadert.

Deze synthetische dataset ($D_{syn}$) wordt vervolgens gebruikt om de router te trainen zonder menselijke annotatie.

B. TRouter: Task-Type-Aware Routing

In plaats van kosten en prestaties direct te voorspellen op basis van ruwe query-kenmerken, introduceert de auteurs TRouter. Dit model introduceert een latente taakvariabele ($t$) die de semantische structuur van de taak vastlegt.

• Probabilistisch Kader: TRouter deconstrueert de conditionele verdeling van prestaties/kosten $p(h | q, m)$ (waarbij $h$ de metric is, $q$ de query en $m$ het model) als volgt:
  $$p(h | q, m) = \sum_{t \in T} p(h | t, m) \cdot p(t | q)$$
  Hierbij is $p(t|q)$ de kans dat een query tot een bepaald taaktype behoort, en $p(h|t,m)$ de prestatie van een model voor dat specifieke taaktype.
• Implementatie:
  • Een Task Recognition Module voorspelt de verdeling over taaktypes ($p(t|q)$) voor een gegeven query.
  • Metric Prediction Modules voorspellen kosten en prestaties voor elk taaktype-model paar.
  • De uiteindelijke voorspelling is een gewogen som van deze taakspecifieke voorspellingen.
• Regularisatie: Het model wordt getraind met een variational lower bound (ELBO) waarbij een prior over de gesynthetiseerde taxonomie wordt gebruikt om overfitting te voorkomen en de generalisatie te verbeteren.

3. Belangrijkste Bijdragen

1. Eerste identificatie van het Cold-Start-probleem: De auteurs zijn de eersten die specifiek het probleem van LLM-routing zonder in-domain data adresseren en een oplossing bieden.
2. Nieuw Data Synthesis Framework: Een multi-level framework dat alleen domeinbeschrijvingen nodig heeft om een hiërarchische taxonomie en diverse QA-data te genereren, waardoor menselijke annotatie overbodig wordt.
3. TRouter Architectuur: Een regressie-benadering die latente taakvariabelen integreert. Dit zorgt voor een robuustere routing door de onderliggende semantische structuur van taken te modelleren in plaats van alleen oppervlakkige query-kenmerken.
4. Uitgebreide Validatie: De methode is getest op meerdere LLM-pools (open-source en commercieel) en evaluatieprotocollen (traditionele metrics en LLM-as-a-judge), zowel in cold-start als in-domain scenario's.

4. Resultaten

De experimenten tonen aan dat:

• Cold-Start Prestaties: TRouter, getraind uitsluitend op de synthetische data ($D_{syn}$), significant beter presteert dan bestaande baselines (zoals Adaptive LLM of Prompt LLM) en zelfs concurrerend is met methoden die in-domain data gebruiken.
• Robuustheid: TRouter vertoont minder variatie in prestaties bij domeinverschuivingen dan regressiemethoden zonder taak-regularisatie (zoals MetricRouter).
• Efficiëntie: Het model is zeer sample-efficiënt; zelfs met slechts 5 tot 10 synthetische voorbeelden per taaktype bereikt het bijna optimale prestaties.
• Kosten-Prestatie Afweging: TRouter slaagt erin om de juiste trade-off te vinden tussen kosten en prestaties voor verschillende gebruikersvoorkeuren (kosten-gedreven, gebalanceerd, prestatie-gedreven), wat resulteert in een hogere totale "utility" dan concurrenten.

5. Betekenis en Impact

Deze studie is significant omdat het een praktische oplossing biedt voor een veelvoorkomend probleem in de industrie: het ontbreken van trainingsdata bij de implementatie van nieuwe LLM-systemen.

• Schaalbaarheid: Door de noodzaak van handmatige datacollectie te elimineren, kunnen organisaties direct starten met geoptimaliseerde routing.
• Interpreteerbaarheid: De hiërarchische taxonomie biedt inzicht in hoe het model beslissingen neemt, wat makkelijker te onderhouden en aan te passen is dan "black-box" embeddings.
• Toekomstbestendigheid: De methode is flexibel en kan worden toegepast op verschillende domeinen en LLM-pools, wat het een krachtig instrument maakt voor het beheer van LLM-ecosystemen in een dynamische markt.

Kortom, het paper introduceert een paradigmaverschuiving van data-afhankelijke routers naar taak-bewuste, synthetisch getrainde routers, wat de drempel voor efficiënt LLM-gebruik aanzienlijk verlaagt.