LLM Router: Prefill is All You Need

Titel: LLM Router: Prefill is All You Need

Auteurs: Tanay Varshney et al. (NVIDIA)
Kernidee: Het paper introduceert een nieuwe benadering voor het routeren van vragen naar Large Language Models (LLMs) door gebruik te maken van interne prefill-activaties in plaats van semantische query-embeddings.

---

1. Het Probleem

Bestaande methoden voor het routeren van LLM-taken (het selecteren van het juiste model voor een specifieke vraag) lijden onder twee fundamentele tekortkomingen:

• Gebrek aan mechanische interpretatie: Huidige routers vertrouwen op semantische signalen (zoals query-embeddings of intentie-classificatie). Deze negeren de intrinsieke generatieve limieten van de modellen zelf.
• Semantische-complexiteitskloof: Semantische gelijkenis correleert niet noodzakelijk met de moeilijkheidsgraad van een taak. Routers die zijn getraind op representaties falen vaak bij het voorspellen van hoe een model zal presteren op een specifieke vraag.

Daarnaast zijn traditionele evaluaties vaak vertekend door "akkoordgevallen" (waar alle modellen hetzelfde fout antwoord geven), wat de prestaties van routers onder strikte kostenbeperkingen (SLA's) ondermijnt.

2. Methodologie

De auteurs stellen een nieuw architecturaal raamwerk voor dat draait om Encoder-Target Decoupling en het gebruik van interne modelactivaties.

A. Encoder-Target Decoupling

In tegenstelling tot eerdere werken waarbij het doelmodel zelf zijn eigen prestaties probeert te voorspellen, gebruiken ze een gescheiden architectuur:

• Encoder: Een (vaak open-source) model dat de invoer verwerkt en interne signalen levert.
• Target: Het model waarvan de prestatie (correctheid) wordt voorspeld.
• Inzicht: Het paper toont aan dat "vreemde" encoders (bijv. Qwen) de prestaties van gesloten bronnen (bijv. Claude) beter kunnen voorspellen dan het doelmodel zijn eigen interne staat.

B. Signalen en Architectuur

• Prefill Activaties: In plaats van de volledige generatie af te wachten, worden de verborgen staten (hidden states) geëxtraheerd tijdens de prefill-fase (de eerste pass van het model).
• Layer Selectie: De auteurs gebruiken wiskundige probes om de beste laag te identificeren:
  • Fisher Separability (J): Meet hoe goed de lagen correcte en incorrecte antwoorden van elkaar kunnen scheiden.
  • Effective Dimensionality ($d_{eff}$): Meet de informatieverspreiding in de lagen.
  • De beste laag wordt geselecteerd op basis van Fisher Separability, wat een robuustere voorspelling geeft dan het gebruik van alleen de laatste laag.
• SharedTrunkNet: Een multi-output MLP-architectuur die de gereduceerde PCA-features van de encoder gebruikt om gelijktijdig de correctheidskansen ($P(correct)$) voor meerdere doelmodellen te voorspellen. Dit zorgt voor cross-model context en inherente kalibratie.

C. Routingsfunctie

De router berekent een score voor elk model $k$ op basis van een afweging tussen verwachte correctheid en kosten:
$$score_{k,q} = \lambda \cdot P(correct_k) - (1 - \lambda) \cdot cost_{k,q}$$
Waarbij $\lambda$ de afweging tussen nauwkeurigheid en kosten regelt. De kosten worden geschat op basis van input-tokens en een geschatte output-lengte (gebaseerd op mediaan trainingsdata), zonder de daadwerkelijke output te genereren.

3. Belangrijkste Bijdragen

1. Encoder-Target Decoupling: Het bewijs dat open-source encoders gesloten bronnen beter kunnen voorspellen dan hun eigen interne staten.
2. Fisher-based Layer Selection: Het gebruik van wiskundige probes (Fisher J) om de meest informatieve transformer-laag te identificeren, in plaats van te vertrouwen op heuristieken of de laatste laag.
3. SharedTrunkNet: Een efficiënte architectuur die context deelt tussen modellen om relatieve moeilijkheidsgraden te beoordelen.
4. Nieuwe Evaluatie-metrics: Introductie van P-AUCCC (Padded Area Under the Cost Coverage Curve) en Router Efficacy, die de prestaties van een router meten ten opzichte van een theoretische "Oracle" (de perfecte selector) en een statische model-selectie.

4. Resultaten

De auteurs evalueerden hun methode op drie datasets (Frontier, Small en Mixed pools) met diverse modellen (o.a. GPT-5, Claude, Qwen, Nemotron).

• Voorspellende Kracht: De SharedTrunkNet (gebaseerd op prefill-activaties) overtrof alle semantische backbones (zoals kNN op embeddings, DeBERTa, etc.) consistent in AUC (Area Under Curve) en Brier Score.
• Nauwkeurigheid vs. Oracle: De router sloot 45,58% van de kloof tussen de sterkste standalone-modellen en de theoretische Oracle (de perfecte selector).
• Kostenefficiëntie: In vergelijking met het duurste model in de pool, werd 74,31% aan kostenbesparing bereikt.
• P-AUCCC: De router behaalde een significante verbetering in het gebied onder de kosten-nauwkeurigheidscurve ten opzichte van statische modelselectie (Model-only Pareto).
• Encoder Selectie: Grote open-weight modellen (zoals Qwen3.5-122B) bleken de beste encoders te zijn, zelfs voor het voorspellen van gesloten modellen.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving van "semantische" naar "mechanistische" routing. Door te vertrouwen op de geometrie van transformer-activaties tijdens de prefill-fase, kunnen systemen:

• De intrinsieke moeilijkheidsgraad van een taak voor een specifiek model voorspellen zonder het model volledig te laten draaien.
• Propriëtaire API's (gesloten bronnen) efficiënter benutten door lichte, lokale modellen als "voorspellers" te gebruiken.
• Een robuustere, theoretisch onderbouwde basis bieden voor collaboratieve LLM-systemen die kosten en prestaties optimaliseren.

De conclusie is dat "Prefill is All You Need": de interne staten van een model tijdens de eerste pass bevatten voldoende informatie om nauwkeurige routing-beslissingen te nemen, wat leidt tot aanzienlijke kostenbesparingen zonder in te leveren op kwaliteit.