Technische Samenvatting: R2-ROUTER: Een Nieuw Paradigma voor LLM-Routing met Redeneren

1. Probleemstelling

Huidige systemen voor het routeren van Large Language Models (LLM's) streven ernaar om het optimale model voor een gegeven query te selecteren door de kwaliteit van de respons af te wegen tegen de inferentiekosten. Echter, bestaande routers opereren onder een kritieke beperking: ze gaan er impliciet vanuit dat elk LLM beschikt over een enkelvoudig, vaststaand kwaliteit-kostenprofiel voor elke gegeven input. Dit "puntgebaseerde" profileren negeert de intra-model variabiliteit, specifiek het feit dat de kwaliteit van de output van een model een functie is van de outputlengte.

Consequent sluiten traditionele routers vaak krachtige, dure modellen (bijv. 235B parameter modellen) uit, simpelweg omdat hun geschatte kosten een budget overschrijden, waarbij zij over het hoofd zien dat deze modellen hoogwaardige antwoorden kunnen leveren als ze worden beperkt tot kortere outputlengtes. Dit leidt tot suboptimale routeringsbeslissingen waarbij zwakkere modellen worden geselecteerd boven krachtigere modellen die beter zouden kunnen presteren onder een beperkt budget.

2. Methodologie: R2-ROUTER

De auteurs stellen R2-ROUTER voor, een routingframework dat de paradigma verschuift van "routeren op punten" naar "routeren op curven". In plaats van één enkel model te selecteren, selecteert R2-ROUTER gezamenlijk de beste LLM en een passende outputlengte-budget.

Kernconcept: Routeren als Redeneren

R2-ROUTER behandelt het outputlengte-budget als een controleerbare variabele. Door lengtebeperkingen af te dwingen via instructies (bijv. "gebruik maximaal $K$ tokens"), verkent de router de afweging tussen kwaliteit en kosten voor elk model. Dit transformeert de zoekruimte van de router van een discrete set modellen naar een continue (of gediscretiseerde) ruimte van (LLM, Token Budget) paren.

Architectuur

• Kwaliteit-Kosten Voorspeller: R2-ROUTER maakt gebruik van een gedeelde encoder om query-representaties te genereren. Voor elke LLM in de pool gebruikt het een multi-head voorspeller waarbij elke head overeenkomt met een specifiek "anker" token-budget. Deze heads voorspellen de verwachte kwaliteitsscore voor dat specifieke model bij dat specifieke budget.
• Interpolatie: Om de computationele overhead te vermijden van het trainen van heads voor elk mogelijk aantal tokens, gebruikt het systeem een ijle set anker-budgetten (bijv. 6 tot 16 punten) en maakt gebruik van stuksgewijze lineaire interpolatie om de kwaliteit voor tussenliggende budgetten te schatten.
• Besluitvormer: Tijdens de inferentie berekent de router een afwegingsscore $S = (1-\lambda)Q - \lambda C$ voor alle (Model, Budget) combinaties en selecteert het paar dat deze score maximaliseert. De geselecteerde model wordt vervolgens aangeroepen met een prompt die het specifieke token-budget afdwingt.

Integratie

Het redeneervermogen is ontworpen als een plug-in module. Het artikel demonstreert de integratie van R2-ROUTER met UniRouter, een framework voor dynamische LLM-pools. Door de feature-representatie van UniRouter uit te breiden van een enkel werkpunt naar een kwaliteit-kosten curve, behoudt het geïntegreerde systeem zijn adaptiviteit aan nieuwe modellen terwijl de efficiëntie aanzienlijk wordt verbeterd.

3. Belangrijkste Bijdragen

R2-BENCH: De Eerste Lengte-bewuste Routing Dataset

Om routers te trainen en te evalueren die redeneren over kostenafhankelijke kwaliteit, hebben de auteurs R2-BENCH geconstrueerd.

• Dataverzameling: In tegen tegenstelling tot eerdere benchmarks die een enkele respons per model per query vastleggen, verzamelt R2-BENCH meerdere responsen voor hetzelfde (query, model) paar onder diverse outputlengte-budgetten (variërend van 10 tot 4000 tokens).
• Omvang: De dataset beslaat 30.968 queries over 6 benchmarks (inclusief GPQA, MMLU-Pro en MATH) en 15 open-source LLM's van verschillende groottes (0.6B tot 235B parameters).
• Evaluatie: Het introduceert een "Oracle" bovengrens die het optimale (Model, Budget) paar selecteert, wat een verbetering van 15% in Area Under the Deferral Curve (AUDC) laat zien ten opzien van statische benchmarks zoals SPROUT.

Theoretische Formulering

Het artikel formaliseert de verschuiving van Reactieve Routing (selecteren uit vaste punten) naar Redeneringsgebaseerde Routing (selecteren uit een Cartesiaans product van modellen en budgetten). De auteurs bewijzen dat de zoekruimte van redeneringsgebaseerde routing een bovenset is van reactieve routing, wat garandeert dat de optimale oplossing gevonden door R2-ROUTER minstens even goed is als, en potentieel superieur aan, elke reactieve router.

4. Experimentele Resultaten

Prestatiewinst

• Kostenefficiëntie: R2-ROUTER bereikt state-of-the-art prestaties en bereikt vergelijkbare kwaliteitsniveaus als bestaande methoden bij een 4–5× lagere kosten.
• Metrieken: Op R2-BENCH bereikt R2-ROUTER een AUDC van 0.71 (vs. 0.67 voor de op één na beste baseline, CARROT-L) en vermindert het de Query-Genormaliseerde Kosten (QNC) naar 0.26 (vs. 0.56 voor CARROT-L).
• Leaderboard: Op het moment van acceptatie nam R2-ROUTER de eerste plaats in op het publieke RouterArena leaderboard.

Generalisatie en Robuustheid

• Dynamische Pools: Wanneer geïntegreerd met UniRouter om een uitgebreide pool van ongeziene modellen te beheren, verbeterde het systeem de AUDC met 5% en verminderde het de kosten met 80% vergeleken met de originele UniRouter.
• Out-of-Distribution (OOD): Het model demonstreerde robuustheid op OOD-queries (STEM vs. non-STEM splits), waarbij het superieure prestaties behield ten opzien van baselines.
• Data-efficiëntie: Het systeem is zeer data-efficiënt; trainen met slechts 6–8 ankerpunten levert bijna optimale prestaties op, en het trainen van de volledige router voor 15 modellen duurt ongeveer 30 minuten op een enkele GPU.

Ablatie-studies

• Embedding Modellen: Het framework blijft robuust bij het vervangen van het standaard embedding model (Qwen3-Embedding-0.6B) door kleinere alternatieven zoals MiniLM.
• Predictor Architectuur: De prestatiewinsten worden toegeschreven aan de curve-gebaseerde optimalisatiestrategie in plaats van de specifieke predictor-architectuur, aangezien het systeem goed presteert met zowel MLPs als Gradient Boosting (LGBM) regressoren.
• Prompting vs. Routing: Het simpelweg toevoegen van lengtebeperkende prompts aan reactieve baselines levert niet dezelfde voordelen op, aangezien reactieve routers nog steeds vertrouwen op statische kostenramingen die krachtige modellen uitsluiten. Het voordeel van R2-ROUTER komt voort uit het vermogen om over de kwaliteit-kosten curve te redeneren en de optimale configuratie te selecteren.

5. Betekenis en Claims

Het artikel claimt een nieuwe richting in LLM-infrastructuur te openen: "Routing als Redeneren."

• Paradigmaverschuiving: Het betoogt dat routers moeten evolueren van reactieve selectoren (het kiezen van een vast model) naar doelbewuste redeneerders die de volledige configuratieruimte van modellen en hun operationele parameters (specifiek outputlengte) verkennen.
• Onthullen van Verborgen Efficiëntie: De primaire betekenis ligt in het ontdekken van "efficiënte configuraties die onzichtbaar zijn voor voorgaande methoden" — specifiek dat krachtige LLM's de voorkeur kunnen geven aan zwakkere modellen bij vergelijkbare kosten wanneer hun outputlengte passend wordt beperkt.
• Toegankelijkheid: Door hoogwaardige responsen mogelijk te maken tegen aanzienlijk lagere computationele kosten, beoogt het werk de mogelijkheden van LLM's toegankelijker te maken en de ecologische voetafdruk van AI-systemen te verkleinen.

De auteurs benadrukken dat deze aanpak LLM-gedrag behandelt als controleerbaar in plaats van vaststaand, een concept dat zij suggereren in de toekomst naar andere variabelen zoals decoding-strategieën of redeneerdiepte zou kunnen worden uitgebreid.