RouteProfile: Elucidating the Design Space of LLM Profiles for Routing

1. Probleemstelling

Naarmate het ecosysteem van Large Language Models (LLM) uitbreidt, vertonen individuele modellen heterogene capaciteiten over verschillende queries, taken en domeinen. Dit vereist LLM-routing, een mechanisme om het meest geschikte model voor een gegeven query te selecteren.

Echter, bestaand onderzoek richt zich voornamelijk op het optimaliseren van router-mechanismen (bijvoorbeeld leer-gebaseerde, graf-gebaseerde of contrastieve routers) en verwaarloost grotendeels het ontwerp van LLM-profielen. LLM-profielen zijn representaties van de capaciteiten van een model, afgeleid van interactiegeschiedenissen. Huidige profileringbenaderingen zijn vaak:

• Heterogeen en Verstrengeld: Gemengd met routingstrategieën, waardoor het moeilijk is om de bron van prestatiewinst te isoleren.
• Beperkt in Granulariteit: Variërend van simpele index-gebaseerde one-hot vectoren (semantisch arm) tot grove benchmark-samenvattingen (die fijnmazige signalen weggooien) of door LLM gegenereerde tekst (vaak beperkt in dekking).
• Ongestructureerd: Ze slagen er niet in de complexe, onderling afhankelijke relaties tussen modellen, taken, domeinen en specifieke query-instanties te integreren.

De kernvraag van het onderzoek is: Hoe beïnvloedt het ontwerp van LLM-profielen de routingprestaties over verschillende routers?

2. Methodologie: Het RouteProfile Framework

De auteurs stellen RouteProfile voor, een algemeen framework dat LLM-profilering behandelt als een gestructureerd informatie-integratieprobleem over heterogene interactiegeschiedenissen. Ze formaliseren de databronnen als een Heterogeen Interactiagraaf ($G$) en definiëren een ontwerpruimte die wordt gekenmerkt door vier sleuteldimensies.

A. Data Representatie: De Interactiagraaf

De graaf $G = (V, E)$ integreert vier primaire databronnen:

1. Modelfamilie: Architecturale afstamming en ontwikkelaarsvoorkeuren.
2. Domeindekking: Specialisatiegebieden (bijvoorbeeld Wiskunde, Programmeren).
3. Taakevaluatie: Gestandaardiseerde benchmarkscores (bijvoorbeeld MMLU, HumanEval).
4. Query-niveau Instanties: Specifieke probleeminstanties geassocieerd met taken.

Knopen: Model, Modelfamilie, Domein, Taak, Query.
Randen: Model-Familie, Model-Taak, Taak-Domein, Taak-Query.
Features: Tekstuele beschrijvingen (gegenereerd door LLM's zoals GPT-4o) voor knopen en prestatiescores voor randen.

B. De Vier Ontwerpdimensies

Het framework karakteriseert profielconstructie via de aggregatiefunctie $f(\omega, \gamma, K, \ell)$:

1. Organisatievorm ($\omega$):
   • Vlak: Directe concatenatie van data in tekst of vectoren zonder graafstructuur.
   • Gestructureerd: Gebruik maken van de graf-topologie (bijvoorbeeld via Graph Neural Networks) om relationele informatie te modelleren.
2. Representatietype ($\gamma$):
   • Tekst: Profielen uitgedrukt als natuurlijke taal samenvattingen (vaak via LLM prompting).
   • Embedding: Profielen uitgedrukt als dichte vectoren (via PLM's of GNN's).
3. Aggregatiediepte ($K$):
   • Het aantal hops in de graaf gebruikt voor informatiepropagatie (0 tot 4). Bepaalt of het profiel vertrouwen stelt op directe buren of hogere-orde context.
4. Leercconfiguratie ($\ell$):
   • Zonder training: Statische aggregatie (bijvoorbeeld het prompten van een LLM of een vaste GCN).
   • Trainbaar: Geoptimaliseerd via zelftoezichtend leren (bijvoorbeeld gemaskerde reconstructie) op de interactiagraaf.

C. Experimentele Opstelling

• Datasets: 15 datasets voor graafconstructie (Kennis, Redeneren, Wiskunde, Programmeren) en 12 voor downstream evaluatie.
• Modellen: 25 LLM's in totaal (8 kandidaten voor routing, 17 hulpmiddelen voor graafcontext).
• Geëvalueerde Routers:
  1. SimRouter: Similariteit-gebaseerd, niet-parametrisch (baseline).
  2. MLPRouter: Leer-gebaseerd (MLP projectie).
  3. GraphRouter: Graf-gestructureerde GNN router.
• Instellingen: Standaard routing en Cold-Start (generalisatie naar een nieuw, onbekend LLM).

3. Belangrijkste Bijdragen

1. Systematische Ontwerpruimte: Introductie van RouteProfile, het eerste uitgebreide framework om profielontwerp te ontkoppelen van routerontwerp, met definitie van vier orthogonale dimensies voor profilering.
2. Gestructureerde Informatie-integratie: Formalisering van LLM-profilering als een heterogeen grafprobleem, verdergaand dan vlakke feature-extractie naar relationele integratie.
3. Empirische Ontvlechting: Uitvoering van een grootschalige systematische evaluatie over drie verschillende router-architecturen om de impact van profielontwerpkeuzes te isoleren.

4. Belangrijkste Resultaten & Bevindingen

RQ1: Impact van Profielontwerp op Routingkwaliteit

• Gestructureerd > Vlak: Gestructureerde profielen (gebruikmakend van graf-topologie) presteren consequent beter dan vlakke baselines over alle routers en representatietypes heen. Dit geeft aan dat het behouden van structurele relaties cruciaal is voor informatieve profielen.
• Diepte is belangrijk (Context-afhankelijk): Het verhogen van de aggregatiediepte (hops) helpt over het algemeen in settings zonder training. Echter, in trainbare settings kan excessieve diepte leiden tot over-smoothing, wat de prestaties verslechtert bij MLPRouter en GraphRouter, hoewel het SimRouter ten goede komt.

RQ2: Effectiviteit van Databronnen

• Query-niveau > Domein-niveau: Signalen op query-niveau (fijnmazige interactie-instanties) zijn aanzienlijk betrouwbaarder en informatiever dan grove domein-niveau samenvattingen.
• Ruis in Domeinen: Het toevoegen van domeinknopen leidt vaak niet tot verbetering van de prestaties en kan ruis introduceren, waardoor anders sterke profielen verzwakken.

RQ3: Generalisatie naar Nieuwe LLM's (Cold-Start)

• Gestructureerd + Trainbaar is Kritiek: Generalisatie naar nieuw geïntroduceerde modellen (Cold-Start) is bijna onmogelijk met vlakke profielen (nabij nul succes).
• Synergie: De beste cold-start prestaties worden bereikt door gestructureerde profielen te combineren met trainbare configuraties. Deze combinatie stelt de router in staat om relationele structuur en geleerde integratie te benutten om capaciteiten voor onbekende modellen af te leiden.
• Co-ontwerp: Generalisatiewinsten zijn niet uniform; ze hangen af van het co-ontwerp van het profiel en de router (bijvoorbeeld GraphRouter profiteert het meest van gestructureerde profielen).

5. Betekenis en Conclusie

Dit werk verschuift het paradigma van LLM-routingonderzoek van een uitsluitende focus op router-mechanismeontwerp naar een gebalanceerd perspectief dat prioriteit geeft aan LLM-profielontwerp.

• Theoretisch Inzicht: Het toont aan dat de kwaliteit van de inputrepresentatie (het profiel) een knelpunt is voor routingprestaties, vaak meer dan de router-architectuur zelf.
• Praktische Richtlijnen:
  • Vermijd vlakke, index-gebaseerde of grove domein-only profielen.
  • Prioriteer gestructureerde, query-niveau data-integratie.
  • Voor robuuste generalisatie naar nieuwe modellen, gebruik trainbare, gestructureerde profielconstructie.
• Toekomstige Richting: Het artikel vestigt LLM-profilering als een kritieke, onderbelichte onderzoeksrichting, en biedt een principiële basis voor het ontwikkelen van effectievere en generaliseerbaardere multi-LLM routing systemen.